最强多模态内容审核开源 AI 模型：Mistral 推出 Shieldstral，单张 16GB GPU 可运行

8月5日，Mistral AI正式发布了Shieldstral内容审核AI模型，总参数量为3B（30亿），采用开放权重，基于Apache 2.0许可证开源。这个模型已经在Hugging Face上线，支持12种语言，而且只需要单张16GB的GPU就能跑起来。Mistral方面表示，在内容安全方面，Shieldstral的性能可以媲美7倍规模的开放模型，并且已经在多模态内容审核领域达到了最先进的水平（SOTA）。

注：SOTA全称为state-of-the-art，指的是在特定AI任务或基准测试中表现最优秀、最先进的模型或算法集合，它会随着技术迭代和新研究的发布而不断变化。

过去大多数防护模型有个通病——把伤害类别体系直接固化在模型权重里。一旦产品更换使用场景，开发者往往得重新训练模型，费时又费力。而Shieldstral的做法完全不同：它把审核政策放到了输入内容里。操作者可以写入一个“是或否”的问题，再提供评估场景和严格程度说明，模型随后从单个输出词元中生成经过校准的安全分数。

模型把每项审核任务都转化为二元问答，输入包含三个带标签的字段：

：说明评估场景和严格程度。
：提出单个“是或否”问题，比如“这段内容是否宣传身体暴力？”
：提供待审核内容，可以是提示词、回答、提示词与回答的组合，也可以是附带可选文本的图像。

推理时，模型只读取“是”和“否”两个词元的逻辑值，通过softmax归一化为连续分数，再以0.5为阈值输出二元判断。这套机制可以覆盖提示词分类、回答审核、拒答检测和毒性检测等多种场景。简单来说，Shieldstral让审核变得更灵活、更可控，开发者可以根据实际需求自由定义审核规则，而不用被模型的固有分类所束缚。