StoryDiffusion：用AI一键生成连贯故事图像

字节跳动与南开大学联合推出的 StoryDiffusion，在 AI 生成领域引起了不少关注。它最核心的亮点，是能够根据你提供的故事情节，生成多张风格高度一致的图像，看起来就像一本连贯的漫画。简单来说，就是让 AI 具备了“讲一个视觉故事”的能力。 当然，这款工具带来的商业想象空间也不小。比如，制作前段时间很火的 AI 故事绘本，或者直接根据小说情节生成连贯图片，再配合剪映等工具制作成常见的小说短视频，都是可行的路径。 这里需要说明一下，StoryDiffusion 虽然也能生成视频，但它的逻辑和 Sora 这类工具不太一样。它并非直接根据提示词生成视频，而是先生成一系列风格一致的图片，再将这些图片快速拼接成视频，本质上更像是一种“视频化的图片序列”。 那么，它到底能生成哪些风格的图片呢？ 从官网放出的示例来看，卡通动物、卡通人物以及真实人物风格都能驾驭，具体效果取决于你选择的底层模型。 1、卡通动物示例图 2、卡通人物示例图 3、真实人物示例图 从这些示例中可以发现，StoryDiffusion 生成的作品可以同时包含多个角色，比如画面中同时出现的人物和狗，而不仅仅是单一主体。 接下来大家最关心的，恐怕就是如何亲自上手体验了。目前主要有三种路径。 **方式一：自行部署** 这种方式对硬件要求不低，不太推荐普通用户尝试。官方建议的显存至少需要 20G，虽然没明确说低于 20G 就不能跑，但体验肯定会有折扣。而且部署过程需要一定的编程基础，对非技术用户不太友好。 **方式二：Colab 部署** 官方在 Github 上提供了一个 `Comic_Generation.ipynb` 文件，熟悉 Google Colab 的朋友可以直接在上面运行。Colab 免费提供的 GPU 显存大约为 15G，CPU 为 12G，大概率也跑不动这个模型，不过有空可以验证一下。 **方式三：HuggingFace 在线体验** 这是目前最方便的方式。StoryDiffusion 在 HuggingFace 上有免费的在线体验空间，缺点是人多时需要排队等待，生成失败的几率也不低。但好处是无需任何本地部署，打开浏览器就能用。 体验地址：**https://huggingface.co/spaces/YupengZhou/StoryDiffusion** 多蹲一会儿，运气好的话还是能成功生成的。 话说回来，当部署成功之后，如何操作这个工具呢？假设你用的是 Gradio 搭建的界面，浏览器会显示一个左右分栏的界面，左侧是参数调整区，右侧是图片预览区。 下面逐一拆解几个关键参数。 1、**sd_type**：底层模型选择，类似于 Stable Diffusion 的“底模”。HuggingFace 上目前只有两种可选，但从 `Comic_Generation.ipynb` 文件里可以看出，实际支持四种。官方说明也提到，模型是可插拔的，兼容所有 SD1.5 和 SDXL-based 的模型，这意味着理论上可以替换使用 C 站（Civitai）等平台的模型。 2、**model_type**：类似于 Stable Diffusion 的“文生图”和“图生图”模式切换。 3、**Textual Description for Character**：角色提示词区域。在这里描述你想要的主角形象，例如 `man, black hair, shirt`。`Negative_prompt` 是反向提示词，用于排除不想要的元素。 4、**Style template**：出图风格预设，直接选择即可。 5、**Comic Description**：核心的故事情节描述。每一行对应一帧图像，也就是一张图片。这部分可以借助其他 AI 工具来生成情节描述。 6、**Tune the hyperparameters**：这部分参数看起来是控制模型内部的层数或注意力机制，官方没有详细解释，有空再深入研究。 7、**Seed + steps**：种子值和采样步数。熟悉 Stable Diffusion 的用户应该不会陌生。 8、**height + width**：图片分辨率。在 HuggingFace 上体验时，建议先调低一些，比如 512×512，这样出图的成功率会更高。 9、**Typesetting style**：控制图片的排版风格。 最后，如果你对 StoryDiffusion 出图的具体细节感兴趣，建议多逛逛它的 HuggingFace 页面，里面有不少注意事项和非常实用的提示词示例，能帮你快速上手。