网易首页 > 网易号 > 正文 申请入驻

OpenAI 的预测输出功能可将 GPT-4o 模型的输出速度提高 5 倍

0
分享至

对于大多数 LLM 相关用例而言,延迟都是一个重要问题。 对于代码建议和修改长文档等情况,延迟更是影响整体用户体验。 想象一下,用户想要重写一份 2 页文档的最后一段。 如果改写后的文档能立即出现是更为合理的,因为改动只涉及一个段落。 然而,目前的 LLM API 需要重新生成整个文档,这给用户带来了很大的延迟。


OpenAI 目前正试图通过一项名为预测输出的新开发人员功能来解决这一问题。 在 LLM 的大部分输出已经提前知晓的情况下,可以使用该功能。 编辑文档或重构代码等任务都可以使用此功能进行改进。 预测输出使用推测解码来跳过已知内容,使迭代速度大大加快。

开发人员可以将现有内容作为预测内容传入,从而大大减少延迟。 通过这种方式,他们可以更快地重新生成整个内容。

OpenAI 与一些外部合作伙伴一起测试了这一功能,结果非常积极。 例如,根据微软 GitHub 团队的内部基准测试,Copilot Workspace 工作负载中的预测输出速度提高了 5.8 倍。

感谢@openaidevs! 我们在 Copilot Workspace 工作负载上对其进行了基准测试,测得速度提高了 5.8 倍!https://t.co/FOCwYJheUc - Eddie Aftandilian (@eaftandilian) 2024 年 11 月 4 日
预测输出非常快。 我们与@openai合作,帮助测试和改进 API,从中获得了很多乐趣。 注册获得 Exponent 的早期访问权限并亲自试用:https://t.co/eC3XD4F3Iwhttps://t.co/1jUzMEARCC - Exponent (@exponent_run) November 4, 2024

要使用"预测输出",开发人员会受到一些限制。 首先,它只支持 GPT-4o 和 GPT-4o-mini 系列机型。 不支持最新的 o1 型号。 此外,在使用预测输出时,不支持以下现有 API 参数:

  • n values greater than 1

  • logprobs

  • presence_penalty greater than 0

  • frequency_penalty greater than 0

  • audio options

  • modalities other than text

  • max_completion_tokens

  • tools - function calling is not supported

在提供预测时,所提供的词元如果不是 API 最终完成的一部分,则按完成词元费率收费。 虽然存在一些限制,但这项新的预测输出功能的潜在优势是巨大的,它为更灵敏、更高效的 LLM 工具铺平了道路。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
德克萨斯州打响对华“脱钩断链”第一枪!

德克萨斯州打响对华“脱钩断链”第一枪!

沃德舆情观察
2024-11-23 16:14:25
俄罗斯消息传来,普京住所遇袭,美乌突破红线,12枚导弹从天而降

俄罗斯消息传来,普京住所遇袭,美乌突破红线,12枚导弹从天而降

说天说地说实事
2024-11-23 21:33:48
悲喜两重天!海港夺冠后崔康熙下课 奥斯卡自宣留队

悲喜两重天!海港夺冠后崔康熙下课 奥斯卡自宣留队

球事百科吖
2024-11-24 00:50:57
中雪局部大雪!山东预报!济南发布寒潮蓝色预警,降雪时段公布

中雪局部大雪!山东预报!济南发布寒潮蓝色预警,降雪时段公布

鲁中晨报
2024-11-23 20:36:26
俄罗斯扔了一枚洲际导弹,搞笑的来了……

俄罗斯扔了一枚洲际导弹,搞笑的来了……

侃半仙
2024-11-21 22:03:40
开始“变脸”了?台积电、三星纷纷宣布,外媒:大陆不要了

开始“变脸”了?台积电、三星纷纷宣布,外媒:大陆不要了

小蘑菇壹号
2024-11-23 17:20:45
一周去3次!男子去理发上瘾:老板娘每天穿不一样,越看越上头

一周去3次!男子去理发上瘾:老板娘每天穿不一样,越看越上头

唐小糖说情感
2024-11-22 16:44:24
0-4!瓜迪奥拉惨遭羞辱!一战创5大耻辱纪录,5连冠接近梦碎!

0-4!瓜迪奥拉惨遭羞辱!一战创5大耻辱纪录,5连冠接近梦碎!

英超这些事儿
2024-11-24 03:59:31
突然闭店!天津这家10多年的老商超也黄了?在津仅剩5家门店!有卡的快去··

突然闭店!天津这家10多年的老商超也黄了?在津仅剩5家门店!有卡的快去··

天津人
2024-11-23 10:10:18
采用我国独创技术!全球首款,正式发布

采用我国独创技术!全球首款,正式发布

环球网资讯
2024-11-22 22:36:07
53岁杨钰莹游扬州被偶遇,胖了一大圈,一身名牌乱穿一通被吐槽

53岁杨钰莹游扬州被偶遇,胖了一大圈,一身名牌乱穿一通被吐槽

古希腊掌管月桂的神
2024-11-20 15:06:26
终于迎来首秀了!崔永熙三分球全部命中,赢得16分大胜

终于迎来首秀了!崔永熙三分球全部命中,赢得16分大胜

德译洋洋
2024-11-23 11:51:52
香港这一夜,看到77岁汪明荃和44岁林峯,TVB的尴尬一览无余

香港这一夜,看到77岁汪明荃和44岁林峯,TVB的尴尬一览无余

简读视觉
2024-11-22 15:03:58
取消编制?地方财政高度紧张,越来越多的地区开始谋划砸铁饭碗了

取消编制?地方财政高度紧张,越来越多的地区开始谋划砸铁饭碗了

户外阿毽
2024-11-06 07:35:02
网上晒出卓伟的朋友圈,王宝强看见估计要闹心了!

网上晒出卓伟的朋友圈,王宝强看见估计要闹心了!

紫雨说娱乐
2024-11-23 18:53:52
山西沁源女教师出轨男学生后续,高清照被扒

山西沁源女教师出轨男学生后续,高清照被扒

说真话的小陈
2024-11-23 16:08:18
张纪中女儿满月宴直播带货,杜星霖全程黑脸,餐厅地址被扒太离谱

张纪中女儿满月宴直播带货,杜星霖全程黑脸,餐厅地址被扒太离谱

舍长阿爷谈历史
2024-11-22 18:07:02
美国斯坦福大学公布全球AI活力排名,美国断层第一、中国排第二位

美国斯坦福大学公布全球AI活力排名,美国断层第一、中国排第二位

随波荡漾的漂流瓶
2024-11-23 18:00:03
中国不承认双重国籍!被美国遣返的华人,会被送到哪?能入境吗?

中国不承认双重国籍!被美国遣返的华人,会被送到哪?能入境吗?

影孖看世界
2024-11-23 23:37:59
新骗局来了!不需要转账、也不用输密码,骗子就能轻松转走你的钱

新骗局来了!不需要转账、也不用输密码,骗子就能轻松转走你的钱

历史阿务
2024-11-23 17:58:12
2024-11-24 06:43:00
cnBeta.COM
cnBeta.COM
提供IT行业即时资讯
56477文章数 69135关注度
往期回顾 全部

科技要闻

华为徐直军首谈鸿蒙生态是什么

头条要闻

拜登政府常务副国务卿放话:我们在努力"拆散"中俄

头条要闻

拜登政府常务副国务卿放话:我们在努力"拆散"中俄

体育要闻

那个"最惨背景帝" 41岁还是五大联赛主力

娱乐要闻

德云社人事大变动!烧饼担任副总

财经要闻

钟睒睒的“愤怒”,谁能消解?

汽车要闻

对话张纯伟:80万!捷途立了一个新Flag

态度原创

游戏
本地
健康
旅游
公开课

再没新预告 玩家们真得“疯”《GTA6》近期事件汇总

本地新闻

云游中国 | 拒绝特种兵!北方也有“真江南”

花18万治疗阿尔茨海默病,值不值?

旅游要闻

吉林长春:机器狗上岗 服务雪场游客

公开课

一块玻璃,如何改变人类世界?

无障碍浏览 进入关怀版