粉嫩小缝口太窄了进不去GPT-4o加钱能变粉嫩小缝口太窄了进不去快！新功能7秒完成原先23秒的任务_ZAKER新闻
GPT-4o加钱能变粉嫩小缝口太窄了进不去快！新功能7秒完成原先23秒的任务_ZAKER新闻
监制丨王敬东
OpenAI 出了个新功能，直接让 ChatGPT 输出的速度原地起飞！这个功能叫做" 预测输出 "（Predicted Outputs），在它的加持之下，GPT-4o 可以比原先快至多 5 倍。以编程为例，来感受一下这个 feel：为啥会这么快？用一句话来总结就是：跳过已知内容，不用从头开始重新生成。因此，" 预测输出 " 就特别适合下面这些任务：在文档中更新博客文章迭代先前的响应重写现有文件中的代码而且与 OpenAI 合作开发这个功能的 FactoryAI，也亮出了他们在编程任务上的数据：从实验结果来看，" 预测输出 " 加持下的 GPT-4o 响应时间比之前快了 2-4 倍，同时保持高精度。并且官方还表示：原先需要 70 秒完成的编程任务，现在只需要 20 秒。值得注意的是，目前 " 预测输出 " 功能仅支持 GPT-4o 和 GPT-4o mini 两个模型，且是以 API 的形式。对于开发者而言，这可以说是个利好消息了。网友们在线实测消息一出，众多网友也是坐不住了，反手就是实测一波。例如Firecrawl 创始人Eric Ciarla 就用 " 预测输出 " 体验了一把将博客文章转为 SEO（搜索引擎优化）的内容，然后他表示：速度真的超级快。它就像在 API 调用中添加一个预测参数一样简单。另一位网友则是在已有的代码之上，" 喂 " 了一句 Prompt：change the details to be random pieces of text.将详细信息更改为随机文本片段。来感受一下这个速度：也有网友晒出了自己实测的数据：总而言之，快，是真的快。怎么做到的？对于 " 预测输出 " 的技术细节，OpenAI 在官方文档中也有所介绍。OpenAI 认为，在某些情况下，LLM 的大部分输出都是提前知道的。如果你要求模型仅对某些文本或代码进行细微修改，就可以通过 " 预测输出 "，将现有内容作为预测输入，让延迟明显降低。例如，假设你想重构一段 C# 代码，将 Username 属性更改为 Email ：/// /// Represents a user with a first name, last name, and username./// public class User{ /// /// Gets or sets the user's first name. /// public string FirstName { get; set; }/// /// Gets or sets the user's last name. /// public string LastName { get; set; }/// /// Gets or sets the user's username. /// public string Username { get; set; }}你可以合理地假设文件的大部分内容将不会被修改（例如类的文档字符串、一些现有的属性等）。通过将现有的类文件作为预测文本传入，你可以更快地重新生成整个文件。import OpenAI from "openai";const code = `/// /// Represents a user with a first name, last name, and username./// public class User{ /// /// Gets or sets the user's first name. /// public string FirstName { get; set; }/// /// Gets or sets the user's last name. /// public string LastName { get; set; }/// /// Gets or sets the user's username. /// public string Username { get; set; }}`;const openai = new OpenAI ( ) ;const completion = await openai.chat.completions.create ( { model: "gpt-4o", messages: [ { role: "user", content: "Replace the Username property with an Email property. Respond only with code, and with no markdown formatting." }, { role: "user", content: code } ] , prediction: { type: "content", content: code }} ) ;// Inspect returned dataconsole.log ( completion ) ;使用 " 预测输出 " 生成 tokens 会大大降低这些类型请求的延迟。不过对于 " 预测输出 " 的使用，OpenAI 官方也给出了几点注意事项。首先就是我们刚才提到的仅支持 GPT-4o 和 GPT-4o-mini 系列模型。其次，以下 API 参数在使用预测输出时是不受支持的：n values greater than 1logprobspresence_penalty greater than 0frequency_penalty greater than 0audio optionsmodalities other than textmax_completion_tokenstools - function calling is not supported除此之外，在这份文档中，OpenAI 还总结了除 " 预测输出 " 之外的几个延迟优化的方法。包括 " 加速处理 token"、" 生成更少的 token"、" 使用更少的输入 token"、" 减少请求 "、" 并行化 " 等等。文档链接放在文末了，感兴趣的小伙伴可以查阅哦 ~One More Thing虽然输出的速度变快了，但 OpenAI 还有一个注意事项引发了网友们的讨论：When providing a prediction, any tokens provided that are not part of the final completion are charged at completion token rates.在提供预测时，所提供的任何非最终完成部分的 tokens 都按完成 tokens 费率收费。有网友也晒出了他的测试结果：未采用 " 预测输出 "：5.2 秒，0.1555 美分采用了 " 预测输出 "：3.3 秒，0.2675 美分嗯，快了，也贵了。OpenAI 官方文档：https://platform.openai.com/docs/guides/latency-optimization#use-predicted-outputs参考链接： [ 1 ] https://x.com/OpenAIDevs/status/1853564730872607229 [ 2 ] https://x.com/romainhuet/status/1853586848641433834 [ 3 ] https://x.com/GregKamradt/status/1853620167655481411koa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:孙寿康
TOP1热点：我放弃了让机器人转机枪
72岁的杨女士和106岁的母亲生活在这间房子里已经40余年，房子部分硬件设施老化，存在着诸多安全隐患。日前，西城区民政部门的工作人员上门为她们的住宅环境进行适老化改造评估，建议她们对隐患区域进行改造，并在洗手间等易跌倒区域安装扶手，方便老人行动。。
在京沪高铁廊坊站，常见的爱心候车区、爱心哺乳室之外，还出现了爱心伞、爱心车等。“我们进一步延伸服务内容，全程保障旅客温馨出行。”京沪高铁廊坊站党委书记李想说。
TOP2热点：小松力压群雄，美食王争霸赛正式开始
本报成都7月29日讯（记者高毅哲）今天，成都FISU世界学术大会开幕。教育部部长、成都第31届世界大学生夏季运动会组委会主席怀进鹏出席会议并讲话。四川省省长、成都大运会组委会执行主席黄强宣布大会开幕。教育部副部长、大运会组委会副主席王嘉毅、陈杰，四川省副省长、大运会组委会副主席郑备，成都市市长、大运会组委会副主席兼秘书长王凤朝，国际大体联代理主席艾德，联合国教科文组织副总干事曲星出席会议。
TOP3热点：手工制作纳米级的电动机，微型电动机，机械爱好者DIY过程皇帝在御花园进入贵妃的小说
雨像卡准了时间，刚过零点便飘落下来，董建军不禁打起了寒颤。
TOP4热点：对不起..财神爷美国伦理小樱桃
7月是下半年经济运行开局的关键时段。面对国内需求不足等挑战，各地凝心聚力、真抓实干，积极扩大消费提振投资，持续增强发展内生动力，全力做好防汛抗旱、迎峰度夏保供工作，大力推动现代化产业体系建设，扎实推动经济高质量发展。
“网售的很多含保健功能的衣服、配饰、床品等,并不属于医疗器械,它们只是普通商品,不应宣传治疗功能。”从事医疗器械销售工作的沈雨菲表示。
TOP5热点：新年快乐 奶奶.我就在外面赠一赠
习近平说道
中指研究院常务副院长黄瑜：今年以来出台的相关政策应该说更加精准，确实是根据不同城市的特点，更加契合因城施策，包括一线、二线、三线等有不同的策略，通过这种不断地系统这种优化促进市场平稳过渡。
TOP6热点：《春晚机器人》最想删除的小品中国macbookpro高清在线播放
歌曲《夏天的风》演唱：妙静鸥（央视）
“军人戍守边关，使命重如泰山，须臾不可懈怠。”杨炳榉2014年入伍，一路在边防当兵考学提干，军校毕业后又回到清河口。无论节日还是平时，守边就是守家，他和战友一同喝苦水、斗风沙，坚守不凡青春。
TOP7热点：过年如何对待讨厌亲戚？姐妹们有在家里光着做饭的吗
每周一次，连队送物资的车来了。
“军人戍守边关，使命重如泰山，须臾不可懈怠。”杨炳榉2014年入伍，一路在边防当兵考学提干，军校毕业后又回到清河口。无论节日还是平时，守边就是守家，他和战友一同喝苦水、斗风沙，坚守不凡青春。
TOP8热点：得得得得得得得得得得得得得得得得得得得得得一杆银枪战四母
新华社昆明7月30日电（记者严勇）近日，云南大理旅游执法人员走上旅游大巴，向游客询问旅行社是否有强制购物、车上兜售物品、擅自变更行程等行为，受到游客肯定。不只是大理，近段时间，迎来暑期旅游高峰的云南，正统筹协调全省各级各部门执法力量，加强旅游市场整治，坚决保障广大游客合法权益。
TOP9热点：穿越斗罗大陆，你为了打败唐三，竟然.......？爱爱小说
29日，北京青年报记者专访了中国游泳队营养师于良，他从2019年就开始跟队负责运动员的饮食营养，有着很丰富的专业知识与大赛经验。于良透露，覃海洋与其他运动员的一个鲜明不同之处是，他特别爱喝牛奶，一日三餐每餐都要喝一大杯牛奶。据统计，覃海洋每日的牛奶摄入量达800毫升左右，其他运动员基本上只是在400毫升至500毫升。
TOP10热点：【特效向】极 泄 挑 战（年度大片）JAVAPARSER偷乱中国
（《广西民族师范学院学报》编辑部主任黄尚茂）