网易首页 > 网易号 > 正文 申请入驻

OpenAI 的预测输出功能可将 GPT-4o 模型的输出速度提高 5 倍

0
分享至

对于大多数 LLM 相关用例而言,延迟都是一个重要问题。 对于代码建议和修改长文档等情况,延迟更是影响整体用户体验。 想象一下,用户想要重写一份 2 页文档的最后一段。 如果改写后的文档能立即出现是更为合理的,因为改动只涉及一个段落。 然而,目前的 LLM API 需要重新生成整个文档,这给用户带来了很大的延迟。


OpenAI 目前正试图通过一项名为预测输出的新开发人员功能来解决这一问题。 在 LLM 的大部分输出已经提前知晓的情况下,可以使用该功能。 编辑文档或重构代码等任务都可以使用此功能进行改进。 预测输出使用推测解码来跳过已知内容,使迭代速度大大加快。

开发人员可以将现有内容作为预测内容传入,从而大大减少延迟。 通过这种方式,他们可以更快地重新生成整个内容。

OpenAI 与一些外部合作伙伴一起测试了这一功能,结果非常积极。 例如,根据微软 GitHub 团队的内部基准测试,Copilot Workspace 工作负载中的预测输出速度提高了 5.8 倍。

感谢@openaidevs! 我们在 Copilot Workspace 工作负载上对其进行了基准测试,测得速度提高了 5.8 倍!https://t.co/FOCwYJheUc - Eddie Aftandilian (@eaftandilian) 2024 年 11 月 4 日
预测输出非常快。 我们与@openai合作,帮助测试和改进 API,从中获得了很多乐趣。 注册获得 Exponent 的早期访问权限并亲自试用:https://t.co/eC3XD4F3Iwhttps://t.co/1jUzMEARCC - Exponent (@exponent_run) November 4, 2024

要使用"预测输出",开发人员会受到一些限制。 首先,它只支持 GPT-4o 和 GPT-4o-mini 系列机型。 不支持最新的 o1 型号。 此外,在使用预测输出时,不支持以下现有 API 参数:

  • n values greater than 1

  • logprobs

  • presence_penalty greater than 0

  • frequency_penalty greater than 0

  • audio options

  • modalities other than text

  • max_completion_tokens

  • tools - function calling is not supported

在提供预测时,所提供的词元如果不是 API 最终完成的一部分,则按完成词元费率收费。 虽然存在一些限制,但这项新的预测输出功能的潜在优势是巨大的,它为更灵敏、更高效的 LLM 工具铺平了道路。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
杨议空降曹云金直播间,曹云金调侃:五爷,我替您给二爷花钱了啊

杨议空降曹云金直播间,曹云金调侃:五爷,我替您给二爷花钱了啊

娱乐的小灶
2024-11-07 12:19:03
毕福剑,爆出瓜!!

毕福剑,爆出瓜!!

华人星光
2024-11-07 13:27:42
无耻!盲人女孩被中医师摸胸、舌舔私处猥亵,家属发声,评论炸锅

无耻!盲人女孩被中医师摸胸、舌舔私处猥亵,家属发声,评论炸锅

今日养生之道
2024-11-07 00:13:57
WTT今日赛程出炉!11月7日中央5套节目表:CCTV5、CCTV5+节目单

WTT今日赛程出炉!11月7日中央5套节目表:CCTV5、CCTV5+节目单

浪子阿邴聊体育
2024-11-07 10:40:42
空军正式宣布3种重大的装备,歼-35A只排第三,红旗19站上C位

空军正式宣布3种重大的装备,歼-35A只排第三,红旗19站上C位

张斌说
2024-11-07 10:18:52
川普孙女穿超短裙惊艳亮相,风头赛过伊万卡,成家族新一代女神

川普孙女穿超短裙惊艳亮相,风头赛过伊万卡,成家族新一代女神

白宸侃片
2024-11-07 13:52:54
随着萨巴伦卡1-2爆冷输球,郑钦文2-0出线,总决赛最新排位出炉

随着萨巴伦卡1-2爆冷输球,郑钦文2-0出线,总决赛最新排位出炉

知轩体育
2024-11-07 01:39:25
大S的钱都哪里去了?真相曝光,黄春梅已再婚,重金迎娶小鲜肉!

大S的钱都哪里去了?真相曝光,黄春梅已再婚,重金迎娶小鲜肉!

花花lo先森
2024-11-07 09:08:53
又一家停播!电视台迎来关停潮,谁在杀死电视?

又一家停播!电视台迎来关停潮,谁在杀死电视?

财话连篇
2024-11-06 12:38:30
发现一个奇怪现象,如今很多人连村长,镇长,市长是谁都不知道了

发现一个奇怪现象,如今很多人连村长,镇长,市长是谁都不知道了

农夫也疯狂
2024-11-05 11:16:30
杀害王亚樵的军统特务,伪装多年相安无事,情妇为嫁人将其举报

杀害王亚樵的军统特务,伪装多年相安无事,情妇为嫁人将其举报

知否否知
2024-11-06 08:28:07
特朗普宣布胜选!中国超10万亿人民币的新债要来了吗?

特朗普宣布胜选!中国超10万亿人民币的新债要来了吗?

醉井观商
2024-11-06 17:37:41
世界首富并不是马斯克,他只是明面上的,真正的首富是这神秘家族

世界首富并不是马斯克,他只是明面上的,真正的首富是这神秘家族

坦然风云
2024-11-07 00:52:45
骑士9胜0负创造队史最佳开局纪录!米切尔:得给阿特金森点赞

骑士9胜0负创造队史最佳开局纪录!米切尔:得给阿特金森点赞

直播吧
2024-11-07 12:22:11
国务院任命!这位院士任正部长级职务

国务院任命!这位院士任正部长级职务

上观新闻
2024-11-06 16:26:04
乌克兰走上不归路!中国人从小就懂的道理,泽连斯基政府却不懂?

乌克兰走上不归路!中国人从小就懂的道理,泽连斯基政府却不懂?

海事先锋
2024-11-06 13:19:25
太突然!他宣布离开!曾让全上海人沸腾,网友不舍:当之无愧第一人!

太突然!他宣布离开!曾让全上海人沸腾,网友不舍:当之无愧第一人!

鲁中晨报
2024-11-07 09:16:19
特朗普再次当选!马斯克的推特此前上传了一张照片,已暗示一切…

特朗普再次当选!马斯克的推特此前上传了一张照片,已暗示一切…

火山诗话
2024-11-06 13:47:01
女人是不是经常过夫妻生活,看她这三个地方就知道了!

女人是不是经常过夫妻生活,看她这三个地方就知道了!

十二生肖运势分析
2024-11-07 05:25:03
2025年起中国或将迎四大降价潮:除房价外,这三类也准备降价了

2025年起中国或将迎四大降价潮:除房价外,这三类也准备降价了

小盖纪实
2024-11-07 10:59:18
2024-11-07 16:48:49
cnBeta.COM
cnBeta.COM
提供IT行业即时资讯
55959文章数 69104关注度
往期回顾 全部

科技要闻

特朗普上任后,马斯克会拿到哪些好处?

头条要闻

月薪3万的90后"北漂"回乡卖腊味 辞职后退了600多个群

头条要闻

月薪3万的90后"北漂"回乡卖腊味 辞职后退了600多个群

体育要闻

郑钦文又跳一级:打出本赛季最好的网球

娱乐要闻

黄圣依再次选择不离引发炒作质疑

财经要闻

沪指大涨2.57% 金融消费股集体爆发

汽车要闻

翻了10年的数据 现在是最适合买车的时候

态度原创

教育
亲子
旅游
数码
公开课

教育要闻

校考院校个性化政策情况对比

亲子要闻

当孩子告诉爸爸,妈妈已经睡着时,让我请他们吃一顿烧烤“这种情况下,应该怎么补救”

旅游要闻

立冬当天穿秋裤免门票 洛阳一景点推出暖心福利

数码要闻

超能力量,科技盛宴:索泰点燃电脑报校园行郑州站

公开课

AI如何揭开大自然和宇宙的奥秘

无障碍浏览 进入关怀版