Seedream 2.0— 字节豆包推出的原生中英双语图像生成模型

字节跳动豆包团队全新发布的seedream 2.0，是一款原生中英双语图像生成模型，有效解决了现有模型在文本渲染和文化理解方面的不足。它采用自研双语大语言模型(llm)作为文本编码器，能够直接从海量数据中学习本土知识，从而生成兼具文化细节和审美表达的高保真图像。seedream 2.0运用glyph-aligned byt5模型实现灵活的字符级文本渲染，并通过scaled rope技术支持未训练分辨率的图像生成。

Seedream 2.0核心功能：

• 强大的双语能力: 精准理解并遵循中英文指令，生成符合不同语言文化语境的图像。
• 卓越的文本渲染: 显著降低文字出错率，字体更自然美观，尤其擅长国风元素的图像生成。
• 多分辨率生成: 基于升级的DiT架构，支持各种分辨率，包括未经训练的尺寸。
• RLHF优化: 通过自研奖励模型和反馈学习算法，提升图像文本匹配度、美学效果、结构准确性和文本渲染质量。

Seedream 2.0技术架构：

Seedream 2.0 的技术优势体现在数据预处理、模型预训练和模型后训练三个阶段：

• 数据预处理: 精心构建高质量数据集，涵盖多种描述类型，并进行严格的数据清洗和质量控制。
• 模型预训练: 采用扩散变换器(DiT)、自研双语LLM和Glyph-Aligned ByT5模型，确保模型的双语理解和文本渲染能力。
• 模型后训练: 通过持续训练(CT)、监督微调(SFT)、RLHF和提示工程(PE)等技术，不断优化模型性能，并使用细化器提升图像分辨率和细节。 此外，Seedream 2.0 还支持与SeedEdit等指令式图像编辑模型的无缝衔接。

Seedream 2.0的性能在提示遵循、美感、文本渲染和结构准确性方面均表现优异，其输出结果与人类偏好高度吻合。

Seedream 2.0访问方式及应用场景：

用户可通过豆包或即梦官方网站访问Seedream 2.0，输入详细的提示词，选择生成模式和参数，即可生成图像。开发者也可通过API接口进行调用。

Seedream 2.0 的应用场景广泛，包括海报设计、社交媒体内容创作、视频内容制作、绘画创作、教学辅助以及游戏场景生成等。

相关链接：

• 项目官网: https://www.php.cn/link/ba855911ee51cc2a48d2e6e26659138f
• arXiv技术论文: https://www.php.cn/link/ba855911ee51cc2a48d2e6e26659138f