OpenAI前首席科学家伊利亚：数据没有增长，预训练将终结

OpenAI前首席科学家、 安全超级智能（Safe Superintelligence，SSI）公司联合创始人伊利亚·苏茨克维（Ilya Sutskever）日前罕见地公开露面，他在温哥华神经信息处理系统大会（NeurIPS）上表示，虽然计算在增长，但数据却没有增长，预训练毫无疑问会结束；并预测未来的人工智能系统将能够以更类似于思考的方式逐步解决问题，具有推理能力的人工智能将更难以预测。

所谓“预训练”，即使用大量未标记数据来训练人工智能模型以理解语言模式和结构的阶段。由于更多数据和算力，OpenAI在2022年推出了ChatGPT。伊利亚说，他的团队在10年前探索过一个想法，即扩大数据规模以“预训练”人工智能系统将使它们达到新高度，但这个想法开始达到极限，“预训练毫无疑问会结束。”他表示，虽然计算在增长，但数据却没有增长，因为我们只有一个互联网。“我们已经达到了数据峰值，不会再有了。”

伊利亚曾担任OpenAI首席科学家，今年早些时候，他从OpenAI辞职，随后成立了SSI，今年9月SSI融资10亿美元。此前，伊利亚也曾表示，扩大预训练的结果已经达到了平台期。“2010年代是规模扩大的时代，现在人们又回到了奇迹和发现的时代。每个人都在寻找下一个东西。”

伊利亚提供了一些方法来突破这个难题。他表示，技术本身可以产生新的数据，人工智能模型可以在为用户确定最佳回答之前评估多个答案，以提高准确性。

他预测，下一代模型将“以一种真正的方式实现代理化（agentic）”，未来的系统除了具有自主性，还具有推理能力。据科技媒体The Verge报道，伊利亚表示，今天的人工智能主要是根据模型此前见过的内容进行模式匹配，未来的人工智能系统将能够以更类似于思考的方式逐步解决问题。

另据路透社报道，伊利亚表示，AI智能体在未来将结出硕果，拥有更深入的理解和自我意识，人工智能将像人类一样推理问题。不过，“它推理得越多，就越难以预测。”对数以百万计的选项进行推理，可能会导致任何结果都不明显。例如DeepMind开发的围棋人工智能程序AlphaGo在2016年的一场比赛中击败了韩国棋手李世石，令人费解的第37步让围棋专家们感到惊讶。伊利亚表示，真正优秀的人工智能对于最优秀的人类棋手来说是不可预测的。