一款小而强大的编程助手：零一万物正式开源 Yi-Coder 系列模型 | FM 01.AI
在AI赛道里，代码生成与编辑工具一直是开发者们最关注的方向之一。毕竟，谁不想有个靠谱的编程助手呢？
2024年9月5日，零一万物开源了Yi-Coder系列模型。作为Yi家族中专门负责代码的“编程小能手”，它的表现有些出乎意料。这是继今年5月开源Yi-1.5系列后，零一万物在开源领域的又一重磅动作。
模型Demo的创意，借鉴自https://github.com/nutlope/llamacoder的体育宝贝Logo。不过，真正的实力还得看内部。
模型简介
Yi-Coder系列模型专为编码任务而生，提供1.5B和9B两种参数版本。特别值得一提的是，Yi-Coder-9B在10B参数以下的模型里表现相当亮眼，不仅超越了CodeQwen1.5 7B和CodeGeex4 9B，甚至能跟DeepSeek-Coder 33B这样的大家伙掰一掰手腕。
模型特点
小参数，强性能
128K长序列建模
强大的代码生成能力
模型成绩
代码生成基准测试中名列前茅
LiveCodeBench是一个非常全面的评测平台，它从LeetCode、AtCoder、CodeForces等竞赛平台实时收集新问题，构建了一个动态的基准测试库。
为了彻底消除数据污染的隐患，由于Yi-Coder的训练数据截止于2023年底，我们专门选取了2024年1月至9月的题目进行测试。结果显示：Yi-Coder-9B-Chat的通过率达到了23.4%——在10B以下参数量的模型中，它是唯一一个通过率超过20%的。这一成绩甚至超过了DeepSeek-Coder-33B-Instruct的22.3%、CodeGeex4-All-9B的17.8%、CodeLLama-34B-Instruct的13.3%和CodeQwen1.5-7B-Chat的12%。
除了这些高难度的竞赛级题目，我们还采用Zero-shot HumanEval、3-shot MBPP和CRUXEval-O等业内常用基准测试来评估其基础代码生成和推理能力。
结果同样漂亮：Yi-Coder-9B-Chat在HumanEval和MBPP上的通过率分别达到了85.4%和73.8%，超出其他同类模型。特别值得一提的是，它在CRUXEval-O上的准确率，在开源Coder模型中首次突破了50%。
代码编辑和补全能力强劲
CodeEditorBench涵盖代码调试、翻译、优化和需求转换四个关键领域。测试结果显示，Yi-Coder-9B-Chat在开源代码大语言模型中拔得头筹，无论Primary还是Plus子集，都稳定优于DeepSeek-Coder-33B-Instruct和CodeQwen1.5-7B-Chat。
至于代码补全，Yi-Coder同样不遑多让。与常规的代码生成不同，跨文件补全要求模型能理解并访问多个文件中的依赖关系。这次评估采用CrossCodeEval基准，在检索和不检索上下文两种场景下进行。
结果也相当明显：有检索和无检索两种情况下，Yi-Coder的表现都优于其他同等规模模型。这验证了，经过较长上下文长度的软件仓库级代码语料训练，Yi-Coder能够有效捕捉长期依赖关系，从而提升性能。
长序列建模表现优秀
为了更直观地测试长序列能力，我们模仿文本领域流行的长序列评测，构建了一个128K长序列的“Needle in the code”评估任务。任务逻辑并不复杂：在一个超长的代码库中随机插入一个简单的自定义函数，然后看模型能否在代码库末尾准确重复这个函数。这本质上是在检测模型从长文本中提取关键信息的能力。
结果全绿，这意味着Yi-Coder-9B在128K长度范围内，完美地完成了任务。
数学推理能力毫不逊色
DeepSeek Coder之前的研究发现，强大的编码能力可以反过来增强数学推理能力。Yi-Coder在7个数学数据集上评估了代码辅助(PAL)解题能力：每个数据集里，模型通过生成Python代码并执行代码来得出最终答案。
七个任务的平均准确率结果表明，Yi-Coder 9B的准确率达到70.3%，超过了DeepSeek-Coder 33B的65.8%。
模型使用
如果要立刻上手把玩一番，可以参阅Yi-Coder的README文档，那里有具体下载与使用步骤。
目前，Yi开源系列模型家族已经包含Yi、Yi-1.5、Yi-VL、Yi-Coder等多款模型。希望大家能积极去探索大语言模型的更多可能，把Yi系列模型集成到自己的项目中，亲手试试它到底有多能打。
共勉。
END
-
- 关于宇宙的好的网名有哪些
- 角色扮演 | 1
- 网名