网易首页 > 网易号 > 正文 申请入驻

小而强大的编程助手的Yi-Coder系列模型开源,wisemodel零门槛在线体验

0
分享至

始智AI wisemodel.cn开源社区

始智AI wisemodel.cn社区将打造成huggingface之外最活跃的中立开放的AI开源社区。欢迎《》以及《》。wisemodel社区上升级了,两步完成模型部署和,并。


在 AI 领域中,代码生成和编辑工具一直是开发者们关注的焦点。 9 月 5 日,零一万物开源了 Yi-Coder 系列模型,它作为 Yi 系列模型家族中的“编程小能手”,展现了卓越的代码生成能力。 这是继今年 5 月 13 日开源 Yi-1.5 系列模型之后,零一万物在开源方向上的又一重要成果。


至此,Yi 开源系列模型家族现已包含 Yi、Yi-1.5、Yi-VL、Yi-Coder 等多款模型, 我们鼓励大家探索大语言模型的更多可能,将 Yi 系列模型以及wisemodel社区上的各类开源模型可以集成到各自的项目中,亲身体验其强大的性能。



Yi-Coder 模型Demo展示

01

模型概述

Yi-Coder 系列模型专为编码任务而生,提供 1.5B 和 9B 两种参数。其中,Yi-Coder-9B 的表现优于其他 10B 参数以下的模型,如 CodeQwen1.5 7B 和 CodeGeex4 9B,甚至能够与 DeepSeek-Coder 33B 相媲美。

▪ 小参数,强性能:尽管 Yi-Coder 的参数量相对较小,但它在各种任务,包括代码生成、代码理解、代码调试和代码补全中的表现十分出色。10B 以下的大小也让它易于使用,方便端侧部署。

▪ 128K 长序列建模:Yi-Coder 能够处理长达 128K tokens 的上下文内容,有效捕捉长期依赖关系,适用于复杂项目级代码的理解和生成。

▪ 强大的代码生成能力:支持 52 种主要编程语言,Yi-Coder 在代码生成和跨文件代码补全方面表现优异。

02

模型表现

▪ Yi-Coder 在代码生成基准测试中名列前茅

LiveCodeBench 是一个旨在为大语言模型提供全面公平的评测平台。它实时收集来自 LeetCode、AtCoder、CodeForces 等竞赛平台的新问题,构成了一个动态而全面的基准测试库。

为确保没有数据污染,由于Yi-Coder的训练数据截止时间是 2023 年底,我们选取了 2024 年 1 月到 9 月的题目进行测试。在下图榜单中,Yi-Coder-9B-Chat 的通过率达到了 23.4%,在 10B 以下参数量的模型中是唯一一个通过率超过 20% 的模型。这一成绩超过了 :

DeepSeek-Coder-33B-Instruct 的 22.3%

CodeGeex4-All-9B 的 17.8%

CodeLLama-34B-Instruct 的 13.3%

CodeQwen1.5-7B-Chat 的 12%


除了竞赛级别的高难度评测,我们还选取了Zero-shot HumanEval、3-shot MBPP 和 CRUXEval-O 等业内流行基准测试,用于评估模型的基础代码生成和推理能力。

下图评测结果表明,Yi-Coder 在这三个评估任务之下都取得了优异的性能。具体来说,Yi-Coder-9B-Chat 在 HumanEval 和 MBPP 的通过率分别达到了 85.4% 和 73.8%,超过其他 Coder 模型。此外,Yi-Coder 9B 在 CRUXEval-O 的准确率在开源 Coder 模型中首次达到了 50% 以上。


▪ 代码编辑和补全能力强劲

CodeEditorBench 涵盖了四个关键领域:代码调试、代码翻译、代码优化和代码需求转换。结果表明,在开源代码大语言模型中,Yi-Coder-9B-Chat 取得了优异的成绩,在 Primary 和 Plus 两个子集中始终优于 DeepSeek-Coder-33B-Instruct 和 CodeQwen1.5-7B-Chat。


代码补全方面,Yi-Coder 也表现出色。与代码生成不同,跨文件代码补全要求模型访问并理解跨多个文件的资源库,这些文件之间存在大量的跨文件依赖关系。本次评估采用了 CrossCodeEval 基准,在两种不同的情况下进行:检索相关上下文和不检索相关上下文。

下图结果表明,Yi-Coder 在有检索和无检索的情况下都优于其他同等规模的模型。这一成功验证了在具有较长上下文长度的软件仓库级代码语料库上进行训练能够使 Yi-Coder 有效捕捉长期依赖关系,从而提高其性能。



▪ 长序列建模表现优秀

我们效仿文本领域流行的长序列评测,合成了一个 128K 长序列的“Needle in the code” 评估任务,长度双倍于 CodeQwen1.5 所构建的 64K 长序列评测。它通过在长代码库中随机插入一个简单的自定义函数,测试模型能否在代码库最后重复这个函数。该测试旨在检测模型LLM是否能从长文本中提取出这些关键信息,从而反映 LLM 其对长文本的理解基础能力。

下图全绿结果表示,Yi-Coder-9B 在 128K 长度范围内完美完成了这一任务。


▪ 数学推理能力毫不逊色

DeepSeek Coder 先前的研究表明,模型强大的编码能力可以增强其数学推理能力。Yi-Coder 在七个数学题数据集上评估了代码辅助(PAL: Program-aided Language Models)解题能力,在每个数据集中,模型都要通过生成Python代码然后执行代码得出最后的答案。这七个任务的平均准确率得分如下图所示,Yi-Coder 9B的准确率达到 70.3%,超过了 DeepSeek-Coder 33B 的 65.8%。


03

模型部署在线体验和API服务



从“应用”模块的“新建体验”或“新建API服务”按钮,或者在模型详情页面的“在线部署”按钮下在“部署在线体验”或“部署API服务”按钮,可以开始模型在线部署的流程。


在模型部署的弹窗里选择Yi-Coder-9B-Chat的模型镜像,然后根据指引填写相应的各项信息,然后直接“下一步”。


第二步是确认计费方式,如果按量计费,可以选择自动停止时间,未选自动停止时间的需要前往“用户中心-我的资源-在线体验/API服务”停止相应的服务。也可以选择包周或包月等计费方式,大家可以根据自身的需求。如果账户余额不足时需要先进行充值,也可以直接前往“用户中心-财务信息-财务总览”进行充值。直接点击“提交订单”按钮之后,后台开始进行模型的部署工作,状态变成“启动中”,大概1分钟左右模型就部署好可以进行正常工作了。下面我们就一起来试试吧:



上面试了两个例子,模型好像会更倾向于用英文回复。上面部署的API服务,大家可以看到右侧是API调用的方式,支持openAI 的API格式。欢迎大家到wisemodel在线部署试试。平台现在已经支持超过80 个大模型的直接在线部署和使用,不仅可以直接有wisemodel平台上在线体验,wisemodel也可以通过API服务的方式提供模型的托管,欢迎大家合作。

----- END -----

wisemodel相关

系统升级

系列模型:


关于wisemodel更多


1

欢迎持续关注和支持

开源社区建设需要长期坚持和投入,更需要广大用户的积极参与、贡献和维护,欢迎大家加入wisemodel开源社区的志愿者计划和开源共创计划。期待更多开发者将开源成果,包括模型、数据集和代码等发布到 wisemodel.cn 社区,共建中立、开放的AI开源社区生态。欢迎扫码添加wisemodel微信,申请加入wisemodel社群,持续关注wisemodel.cn开源社区动态。

2

欢迎加盟wisemodel开源社区

始智AI wisemodel社区自2023年9月上线以来,逐渐成为影响力日益扩大的中立开放的AI开源社区,为了加快公司发展,我们长期需要技术、运营等人才加盟,技术侧重在AI infra、后端开发,熟悉K8S、模型训练和推理等技术, 以及熟悉开发者生态运营的成员,欢迎感兴趣的朋友加盟,可以通过添加wisemodel微信,或者将简历投递到邮箱:liudaoquan@wisemodel.cn

3

欢迎投稿优质内容

欢迎投稿分享人工智能领域相关的优秀研究成果,鼓励高校实验室、大企业研究团队、个人等,在wisemodel平台上分享各类优质内容,可以是AI领域最新论文解读、最新开源成果介绍,也可以是关于AI技术实践、应用和总结等。投稿可以发邮件到liudaoquan@wisemodel.cn,也可以扫码添加wisemodel微信。

4

关于wisemodel开源社区

始智AI wisemodel.cn开源社区由清华校友总会AI大数据专委会副秘书长刘道全创立,旨在打造和建设中立开放的AI开源创新社区,将打造成“HuggingFace”之外最活跃的AI开源社区,汇聚主要AI开源模型、数据集和代码等,欢迎高校科研院所、大型互联网公司、创新创业企业、广大个人开发者,以及政府部门、学会协会、联盟、基金会等,还有投资机构、科技媒体等,共同参与建设AI开源创新生态。

向上滑动查看

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
比北欧便宜一半不止!全球看极光最便宜的地方!电子签0拒签,去纯净雪国,实现帝王蟹自由!

比北欧便宜一半不止!全球看极光最便宜的地方!电子签0拒签,去纯净雪国,实现帝王蟹自由!

马蜂窝旅游攻略
2024-11-27 17:59:10
美国超市上架茅台?网友都瞅着看笑话,谁知看到单价:我们不配?

美国超市上架茅台?网友都瞅着看笑话,谁知看到单价:我们不配?

江湖一碗酒
2024-11-29 09:02:11
郑思维退役了,黄雅琼怎么办?她在评论区的留言或给出了暗示

郑思维退役了,黄雅琼怎么办?她在评论区的留言或给出了暗示

真理是我亲戚
2024-11-29 14:06:06
狂轰71+21+19,掘金三巨头打疯了,约基奇再创历史,威少大提升

狂轰71+21+19,掘金三巨头打疯了,约基奇再创历史,威少大提升

青山隐隐啊
2024-11-29 12:42:28
坏消息!全国4所新大学已停建,将不再招生!

坏消息!全国4所新大学已停建,将不再招生!

教育导向分享
2024-11-27 22:46:57
22投43分!抱歉科比:你从历史第一变成了历史第二

22投43分!抱歉科比:你从历史第一变成了历史第二

篮球大视野
2024-11-28 22:02:24
哈马斯的手里,到底有没有东大人质?

哈马斯的手里,到底有没有东大人质?

西楼饮月
2024-11-28 14:16:41
国羽奥运冠军郑思维发文,决定正式退出国际赛场

国羽奥运冠军郑思维发文,决定正式退出国际赛场

界面新闻
2024-11-29 11:24:10
终于拍板了,中国有2套以上房产的要注意,房产税或“这样”开征

终于拍板了,中国有2套以上房产的要注意,房产税或“这样”开征

巢客HOME
2024-11-29 09:20:02
年薪1150万!美记:快船无法交易掉PJ-塔克 球员本人也一直未随队

年薪1150万!美记:快船无法交易掉PJ-塔克 球员本人也一直未随队

直播吧
2024-11-29 09:40:48
被关了4年,黎智英熬不住了,供出3条大鱼,背后果然有美国政府

被关了4年,黎智英熬不住了,供出3条大鱼,背后果然有美国政府

大白话瞰世界
2024-11-28 09:50:33
罗滕:姆巴佩已经成为一名普通球员,他的衰退不是数据方面的

罗滕:姆巴佩已经成为一名普通球员,他的衰退不是数据方面的

懂球帝
2024-11-29 08:10:58
A股收评:创业板指低开高走涨2.5%,全市场近4300股飘红,机器人概念午后掀涨停潮

A股收评:创业板指低开高走涨2.5%,全市场近4300股飘红,机器人概念午后掀涨停潮

界面新闻
2024-11-29 15:03:06
湖人生死战伤情!4人缺席2人大概率出战,赢球仍可能小组出局

湖人生死战伤情!4人缺席2人大概率出战,赢球仍可能小组出局

体坛小李
2024-11-29 10:11:13
正式告别!奥斯卡发声官宣重要决定,上港俱乐部批准,球迷送祝福

正式告别!奥斯卡发声官宣重要决定,上港俱乐部批准,球迷送祝福

小海要说球
2024-11-28 20:13:00
网友:妈呀!杭州479户业主众筹3000万,涂料升级铝板外立面…

网友:妈呀!杭州479户业主众筹3000万,涂料升级铝板外立面…

火山诗话
2024-11-28 18:03:50
印度政府消息人士:印度正在俄罗斯、蒙古、智利和赞比亚探索关键矿产资源

印度政府消息人士:印度正在俄罗斯、蒙古、智利和赞比亚探索关键矿产资源

财联社
2024-11-28 22:20:10
陈博彰任湖南省财政厅厅长,此前担任湖南省审计厅厅长

陈博彰任湖南省财政厅厅长,此前担任湖南省审计厅厅长

澎湃新闻
2024-11-29 11:46:26
普京警告:若乌克兰拥有核武器 俄罗斯将动用一切毁灭手段

普京警告:若乌克兰拥有核武器 俄罗斯将动用一切毁灭手段

财联社
2024-11-28 22:42:30
又一顶流!“最难买冰箱贴”!它,太火了

又一顶流!“最难买冰箱贴”!它,太火了

环球网资讯
2024-11-27 07:15:16
2024-11-29 19:04:49
wisemodel开源社区
wisemodel开源社区
始智AI wisemodel.cn开源社区,打造中国版“huggingface”
145文章数 7关注度
往期回顾 全部

科技要闻

2024新一代AI(深圳)创业创新大赛决赛

头条要闻

俄国防部:俄防空部队一周内击落10枚美制ATACMS导弹

头条要闻

俄国防部:俄防空部队一周内击落10枚美制ATACMS导弹

体育要闻

中国足球需要什么样的舆论环境

娱乐要闻

叶珂被曝独自去产检,他俩真分了吗

财经要闻

专家建议将农民养老金提升至每月500元

汽车要闻

问界M7今年累计交付量已突破18万辆

态度原创

家居
旅游
艺术
房产
健康

家居要闻

现代设计感 温馨两居室

旅游要闻

海迪士尼下周电动轮椅入园或要证明

艺术要闻

故宫珍藏的墨迹《十七帖》,比拓本更精良,这才是地道的魏晋写法

房产要闻

大量甩地!114亿,4790亩!海南土地市场全面爆发!

花18万治疗阿尔茨海默病,值不值?

无障碍浏览 进入关怀版