1.字节转中文

本工作由第一作者在字节跳动智创北美团队实习期间完成第一作者卞宇轩目前为香港中文大学计算机科学与工程系博士二年级学生，研究方向为可控视频生成，师从徐强教授，并曾在字节跳动、腾讯等公司实习个人主页：https://yxbian23.github.io/。

2.字节 实时音视频

视频创作中，你是否曾希望复刻变成 Labubu 的特效，重现吉卜力风格化，跳出短视频平台爆火的同款舞蹈，或模仿复杂有趣的希区柯克运镜？在现在的 AI 视频生成中，这些依赖抽象语义控制的创作，因缺乏统一的条件表征，实现起来往往异常困难。

3.字节跳动(香港)有限公司

最基础和直接的想法是针对每一种抽象语义单独训练 LoRA 或针对某一类语义条件设计专门的模型架构完成针对性的特征提取和可控生成然而，语义条件可能无穷无尽，一个条件训练一个模型会导致实际使用非常复杂，计算消耗非常庞大，且面对未曾训练的其他语义条件，模型没有任何泛化性能；针对某一类语义设计模型架构一定程度上在单独子集解决了这个问题（例如：相机控制，风格迁移），但面对着不同语义类别，仍需要不断切换模型，其任务专一的设计也无法完成不同语义类别的统一建模，阻碍了统一模型和模型规模化的进展。

4.字节转汉字

为了解决这一痛点，香港中文大学与字节跳动团队联合提出了一种全新的语义可控的视频生成框架

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。