微软Phi-3.5-Mini-Instruct全参微调中文版来啦

2024年8月21日，微软正式发布了Phi-3.5-mini-instruct。这是Phi系列的最新成员——38亿参数，128K上下文，核心数据来自合成数据和筛选过的公开网站，特别针对推理密集任务做了优化。

简介

Phi-3.5-mini-instruct是Phi-3模型家族的最新成员，专为高效、先进的自然语言处理任务而设计。该模型具有38亿个参数，基于Phi-3的数据集（合成数据和经过筛选的公开网站）构建，重点关注高质量、推理密集的数据。该模型属于Phi-3模型系列，支持128K令牌上下文长度。经过了严格的增强过程，结合了监督微调、近端策略优化和直接偏好优化，以确保精确遵守指令和强大的安全措施。 图片：[http://img.318050.com/uploads/20260530/17801106426a1a5532d6cc8529717154.webp](http://img.318050.com/uploads/20260530/17801106426a1a5532d6cc8529717154.webp) 与原始instruct版类似，Phi-3.5 mini在中文场景有所增强，但受限于模型的大小，依然会有较多的事实错误。为了更好地适应中文场景，OpenCSG社区对Phi-3.5-mini-instruct模型进行了全参数微调，推出了中文版。这一版本基于大量中文语料，进行了深度优化，以提升模型在中文自然语言处理任务中的表现。经过微调的中文版在语义理解、上下文关联和文本生成的质量上均有显著提升，能够更好地满足中文用户在各种应用场景中的需求。

推理效果

从实际对比测试来看，中文微调版在中文自然语言处理任务中的表现显著优于原始版本。这验证了微调的有效性，也展示了模型在中文语境下的适应能力。具体来说，语义理解更准确，上下文关联更强，文本生成质量更高。 图片：[http://img.318050.com/uploads/20260530/17801106506a1a553ae13fb566335131.webp](http://img.318050.com/uploads/20260530/17801106506a1a553ae13fb566335131.webp) 经过中文微调的模型在各种应用场景中，如语义理解、上下文关联和文本生成等方面表现优秀。以上对比测试显示，Phi-3.5 Mini Instruct 中文版在中文自然语言处理任务中的表现显著优于原始版本，这验证了微调过程的有效性，并展示了模型在中文语境下的适应能力和强大的生成性能。