万字长文：大模型(LLM)市场竞争格局推演——谁将一统江湖？

来源｜Leo的思考笔记
作者｜Elad Gil

译者｜Leo Wang

最近国内各大科技公司纷纷发布了自主开发的大语言模型（LLM），很多创业公司也宣布要进军大模型领域。一时间，大模型如雨后春笋般涌现出来。那么未来，大模型的市场格局会如何演进？是一家独大、寡头垄断、还是百花齐放？是一两个通用大模型吃掉所有市场份额，还是众多专用模型各自占据细分市场？

著名的硅谷投资人、创业者Elad Gil在他的博客文章“AI Platforms, Markets, & Open Source”，对大模型的最终市场格局做了精彩的推演。Elad认为，大模型最有可能演变成寡头垄断市场，类似当今的云服务市场格局。开源模型受限于高昂的模型训练成本，以及AI前沿研究更多来自业界而非学界的趋势，将始终落后领先的闭源模型1-2代。领先的闭源模型（如OpenAI的GPT系列）将始终保持领先，直至遇到技术极限值。

01

大语言模型 (LLM) VS 图像生成模型

1.1 截然不同的几类模型

AI领域大致可分为三个领域（当然，这是一个极简概括）：

1. 大语言模型(LLM)：这些是通用模型，例如GPT-4或Chinchilla，可以吸收互联网内容（或其他语言/文本来源），应用领域极其广泛——概括各类文档、当作搜索引擎或聊天机器人使用等。

2. 图像生成模型：包括Midjourney、Dall-E或Stable Diffusion等模型，以及当前简单的视频和3D模型，例如NeRF。这些模型允许你输入提示(prompt)生成图像。

3. 其他领域（实际包括很多其他技术和市场，不应该自然聚集在一起）。这包括机器人、自动驾驶汽车、蛋白质折叠和其他许多应用领域。在这里，我非常简单地将将其归为一大类。显然，AlphaFold 2和自动驾驶汽车存在不同的模型架构和终端市场。然而，由于本文旨在简短，而非书籍，请原谅我忽略了此类东西。

当人们谈论“生成式AI”（Generative AI）时，他们倾向于将这些领域混为一谈。实际上，每个市场都有不同的底层AI模型架构、算力和规模化需求、质量标准和应用领域。重要的是将它们分开以尝试推断它们可能带来的未来。

1.2 大语言模型(LLM) VS 图像生成模型

图像生成 vs 大语言模型——全方位对比

图像生成将极有可能改变多个领域，包括：社交产品和图像、图形和视觉设计、电影/漫画/动漫、游戏、CAD、建筑、电子商务等诸多领域。当然，表现良好的视频（和语音）也将开辟更多的应用领域。

图像生成能带来的社会变革性应用的潜力虽然很大，但在非常近的未来，其影响力可能比文本和语言生成能带来的影响小得多。当然，这种情况可能会随着未来视频、语音和其他交互方式的发展而改变。目前，大多数B2B应用程序都以语言为中心（文本，以及一定程度的语音），而消费者应用则是混合的（类似Twitter、Facebook、TikTok、YouTube的社交媒体，以及像亚马逊、Airbnb这样的电商平台）。

虽然上面列举的图像生成机会都是庞大的市场，但与潜在语言生成应用公司的市值和收入相比是相形见绌的。从经济角度来看，LLM（大语言模型）在非常近的未来可能比图像生成重要几个数量级，即使图像生成本身已经难以置信地重要。

图像生成的建模成本相对于大型语言模型来说很低

一般来说，取得巨大成功的图像生成模型可以用相对较少的资金和算力进行训练。例如，最新版本的Stable Diffusion模型可能最多只需要几十万到几百万美元的GPU时间进行训练。

图像生成的质量：像素替换和单词交换的影响完全不同

总体而言，与语言相比，图像生成的质量标准更加主观。每个人对图像之美都有不同的理解，即使一个不完美的图像也可以提供有用的输出。替换两个像素可能对图像的价值影响不大，而替换两个单词可能会极大地改变一个段落的意义。

1.3 图像生成模型的市场格局推演

预测图像生成模型未来的发展路径似乎更容易—最可能的是我们将看到专有的闭源模型（用于制作迪士尼图像的“迪士尼模型”）和开源模型（例如Stable Diffusion）以及通用闭源工具（Midjourney、Dall-E）和面向特定领域的闭源模型（“平面设计AI创业公司”）。这些模型可能训练成本较低（数十万到数千万美元），主要区别在于知识产权或特定用例（例如“漫威漫画数据集”与“专业照片设计工具”）。这些模型的合理子集也将能够在手机或其他设备上本地运行，而不仅仅是在云上运行—这将进一步拓展应用领域。

在短期内，图像生成可能最终基于专有数据集和训练方法而非资本/计算和数据的规模来形成差异化。大多数图像生成方法基于扩散模型，同时一些人也在探索转换为transformer或混合模型。其他模型也可能影响这些模型的方法或经济模型，从而影响行业的发展。然而，在短期内，对于未来几年的图像生成领域的走向，存在较少的不确定性。开源在这个领域的产品演变中将继续发挥关键作用。

这意味着更大的不确定性领域是-大语言模型发展的可能路径是什么？

02

大语言模型的市场格局推演

语言模型包括以下应用领域：

• 搜索

• 大多数B2B互动、销售、ERP、文档使用和管理、电子邮件等

• 代码、数据交互、代码生成、SQL、Excel等

• 金融

• 大多数社交和消费品类产品

• 聊天、短信和其他应用

• “一切的副驾驶”（Co-pilot for everything）——所有白领工作（法律、会计、医学等）

目前还有一些开放性问题，即哪些领域需要大型语言模型，哪些需要较小的专业模型。迄今为止，大型语言模型在某些领域表现优于专用模型(niche model)，但并非所有领域都如此。

大型语言模型有几条可能的发展路径，以及几类不同的潜在最终市场结构。最终市场结构非常重要，因为它决定了生态系统中的经济和人才赢家（谁将获得所有收入、人才、利润、市值和创新）。

2.1 “台积电的世界”—唯一的大规模赢家（随着时间的推移，可能性逐渐降低）

图：全球半导体代工厂市场份额（22年Q1） 来源：counterpoint

台积电是全球最大的半导体晶圆代工厂，它掌握了工艺工程和规模化生产，并使用了全球最先进的半导体设备。其市值比任何其他半导体晶圆代工厂都要大得多，并且具有高度专业化的内部工艺knowhow来支撑其市值。

在台积电的比喻中，OpenAI在成为唯一赢家的方向上处于领先地位。通过与微软（或其他公司）的合作，以及其明显越来越快的汇聚数据、人才、knowhow和算力的速度，其当前的领先地位得到了巩固。

谷歌是是继OpenAI之后最有可能成为唯一赢家的候选者，当然前提是其新产品能够超越OpenAI。谷歌对OpenAI等竞争对手的竞争威胁已经开始觉醒。其他初创公司，如Anthropic、Character或试图构建AGI（通用人工智能）的初创公司，未来也可能成为最终AI赢家的一个重要因素。

“台积电世界”大致上是一个垄断市场，一个唯一的供应商占据主导地位。随着竞争的加剧，这种情况似乎越来越不可能。

2.2 云服务提供商的世界—寡头垄断的市场 （最有可能发生）

图：美国云服务市场份额（22年Q1） 来源：Canalys

云服务之争最终以AWS（亚马逊）、Azure（微软）和GCP（Google）三巨头并存而结束。这是一个寡头垄断市场，没有单一的赢家。根据我们当前对这个世界的了解，这似乎是基础语言模型最有可能在短期内出现的市场结构，但现在还为时过早，未来充满不确定性。

大模型的寡头垄断市场，将是OpenAI、谷歌和其他1-2家公司在大模型的API和服务市场中占据大多数份额。我与使用大模型平台的许多客户交谈时，他们希望有第二个模型来替代OpenAI，即使只是为了拥有更多的议价权或体验更多的数据隐私，这表明还有另一个竞争对手的机会。例如，人们可以认为Juniper的存在是为了企业找到Cisco以外的第二供应商。

之所以我认为近期会出现寡头垄断市场，而不是碎片化的市场格局，原因在于目前每个性能更好的大模型模型所需的海量资本、算力和规模化数据成本。如果当时GPT-3的训练成本为几百万到千万美元，从零开始估计GPT-4可能为数千万至一亿美元，那么GPT-5可能是几亿美元，GPT-N可能是十亿美元。当然，这里的前提假设是大模型训练成本的上涨速度，比技术实现突破的速度或GPU（或专用硬件）成本下降的速度更快—这些假设可能是错误的。

然而，总的来说，“规模”已被证明对许多深度学习方法很重要，而算法方法通常会在规模上重新应用。

如果更大的模型持续需要更大的资本规模支持，那么我们不难得出如下启示：

• 在一段时间内，基础模型公司将拥有强大的护城河，让新进入者难以进入（或迫使每个创业公司拥有一个财务实力雄厚的“战略”支持者）。例如，如果最终每次新模型的培训成本超过5亿美元，那么将没有多少公司能够承受竞争[1]。

• 单一架构下的基础模型能力应该会靠近渐近线，最终导致此模型的竞争优势不复存在，或导致其不再能大幅提升。这可能需要一些时间，在极端情况下，是渐近线与AGI之间的竞争，以及可能无限加速进展的进一步技术突破。摩尔“定律”—这一更多是一种观察而不是真实法则的“定律”，其持续时间比任何人最初预期的都更久。

• 重新训练一个模型（此模型水平等同于领先模型的老版本）的成本可能会更低，这意味着开源模型将落后闭源模型一代。例如，想象一下，训练GPT N需要花费10亿美元，而训练GPT N-1的等效模型可能只需要1/10的价格，GPT N-2的等效模型可能只需要1/100的价格。因此，使用早期版本模型的任何应用程序都不再需要依赖主平台API，可以转向开源或其他模型。

思考案例：半导体行业演进史

短期内，大模型很可能类似于90年代和2000年代的微处理器行业。在当年，英特尔在技术上明显领先，始终比其竞争对手（如AMD）领先2-3年，使用英特尔芯片会明显提高PC的性能。

每个英特尔CPU的设计和制造的成本比前一代高得多（大约在18个月的迭代时间框架内—听起来熟悉吗？）。凭借这一领先优势，再加上巧妙的销售和市场策略，英特尔构筑了自己的护城河。这道护城河从20世纪80年代一直持续到最近。

图：每代芯片的设计成本（左）和制造成本（右）

每个人都渴望拥有比上一代更强的最新一代英特尔CPU，这意味着最前沿的应用需要最新的微处理器。然而，上一代芯片在价格上只有最新一代的1/10或1/100，因此仍然有很多应用愿意用上一代的芯片。

同理，大模型的上一代或上两代可能非常便宜（例如，如现在从头开始培训GPT-2）。以前的模型可能会转向开源或分化。我们可能会看到这样的世界：GPT N（或等效的领先模型）处于最前沿，在关键应用中有明显的差异化，而GPT N-1或N-2可以很便宜，广泛适用于精确度要求较低的应用或“够用就行”的模型。

如果你假设基础模型训练成本将随着每个后续模型的推出而增加，那么未来2-3年可能是创业公司在没有像微软、谷歌、Facebook、苹果或亚马逊等深口袋“战略”支持者的情况下进入这个市场的最后机会。

此后，创业公司需要从收入和技术进步的角度获得逃逸速度才能获胜。然而，也可能会有有趣的技术突破会影响到这一点—例如，如果创业公司发明了AGI或可以通过编写自己的代码和更快的培训速度超过人类的程序。

思考案例：云计算平台竞争史

尽管拥有构建云平台的基础设施，但谷歌仍花费了2年时间才推出其第一个GCP (Google Cloud Platform) 服务，并在此之后的几年内才将GCP变成更完整的解决方案。同样，微软Azure在亚马逊AWS推出4年后才推出。大公司通常需要几年时间才能对威胁做出回应和行动。大模型的竞争可能也类似，谷歌和AWS可能也要花费比较久的时间才能形成竞争力。

思考案例：代理人战争—阿里巴巴/腾讯模式

有时公司可能会通过“代理人”进行竞争。例如，当看到有创业公司推出了有竞争力的产品和应用时，阿里巴巴、腾讯经常会选择投资/收购公司的股份，然后帮助其进行分发。同样，IBM曾经资助Linux以抗衡微软，而Google、苹果和Mozilla都支持不同分支的Webkit，作为一种浏览器代理人战争。对于人工智能市场，大公司通过“代理人”展开竞争的原因可能包括公关和安全考量，间接子公司或“代理人”具有更高的敏捷性和自由度、更好的财务激励制度，或其他原因。

一个潜在的未来世界可能是OpenAI/微软 vs Anthropic/谷歌vs Stability/亚马逊vs Cohere/Meta（这些都是虚构的配对）。换句话说，每个现有公司都会选择一个创业公司合作伙伴来承担品牌和安全风险，同时购买该创业公司的重要所有权。作为交换，创业公司将获得现有公司的数据、分销和其他资源。在某种程度上，这将导致与当今的云服务市场类似的市场结构。

2.3 专用模型很重要，或者有一家开源模型的主要支持者登场。

另一个可能出现的世界是，针对大多数应用（或至少是最重要的几个应用），专用模型的最终表现并不逊于大模型。在这个世界里，一个高度精准的稳健数据集将与一个大型基础模型一样有效，这意味着市场准入门槛将大大降低，算力和数据标注/清洗的成本将降至几十万到数百万美元。早期数据显示，用小众数据集增强的大模型（例如Codex和Github copilot）往往表现出色，但几代之后可能不再是这样。这在未来1-2年内不太可能，但在未来可能会变得非常重要。在这种情况下，AI的世界会分化，大模型在某些领域的重要性会降低。

与此相关的是，一家资助开源的大金主出现了，以创建“可供选择的开源模型（open model alternative）。也许海湾国家会创建“从石油到AI基金”，或者一家有钱的公司认为开源基础模型对其市场结构很重要（类似于IBM在90年代成为Linux的主要支持者以对抗微软等公司）。如果有足够的资本资助开源模型方案，这将导致更为分散的市场。

2.4 品牌、分销和产品很重要。

有一种观点认为，模型将迅速商品化，但品牌、分销和产品将同样重要甚至更重要。例如，Bing在许多指标上与Google大致相当，但Google通过购买付费分发、打造品牌维持了其市场地位。在未来的某个版本中，我们将拥有由大公司提供的2-3个核心API平台（例如OpenAI+微软、谷歌，以及可能是亚马逊或Facebook+Anthropic），然后是一组联合的开源或定制模型来覆盖众多应用案例。

03

开源模型 VS 闭源模型—谁会在未来独领风骚？

大型资金来源或者始终落后1-2代（1-2年）？

大多数成功的开源项目（webkit、linux等）最终都有大公司赞助其资金和开发。例如，Linux在1990年代得到IBM的大力资助，以抗衡微软的服务器端软件。加密货币（比特币和以太坊）是这种情况的明显反例，尽管人们可以认为，由于加密协议中直接内置了货币化，等同于这些团体自我资助。在某种程度上，加密货币是自己的公司赞助者。

开源模型的潜在支持者可能包括政府（例如Bloom部分由法国资助）、主权财富（海湾国家的“石油到AI”交易）、没有自己的大模型“赛马”但可能从更多大模型使用中获益的大公司（NVIDIA？亚马逊？），或者一项大型慈善行动。

如上所述，算力规模对于前沿大模型非常重要。这意味着，在中期内，除非有一家大规模的开源模型支持者出现，否则由于训练成本的高昂，开源模型可能会比闭源模型落后1-2代（1-2年？）。

落后一代的模型将对各种开发人员和应用程序非常有用，但用于最先进应用的最尖端、精确度最高的模型可能仍然是闭源的。例如，当GPT-7出现时，如果训练成本为5亿美元，那么可能开源基础模型将等同于GPT-6或5。根据其在S曲线上的位置（如下图），对许多应用程序可能很重要，也可能不重要，而对于某些应用程序而言，开源可能是一个很好的替代方案。

图：大模型的性能与训练成本S曲线

从开源模型转向专有模型的转变趋势，也反映在AI/ML中来自学术界和业界的研究比例的变化上。很多业界的研究团队表示，随着市场竞争的加剧，他们将停止发布像以前一样多的研究成果，这样的行为降低了开源软件和学术界对该领域最新进展的获取能力。

图：来自学术界的大模型研究成果占比逐渐降低

从长远来看，性能S曲线可能会逐渐靠近渐近线（除非真正的AGI起飞），这意味着如果没有大金主的资助，开源软件仍然会追赶，并最终可能超过闭源模型。

04

几个有意思的问题

4.1 大模型规模化的方法和瓶颈

一个由资本构成护城河的世界也是一个纯规模（算力、数据和其他因素）至关重要的世界。基于资金的护城河存在的前提是，我们能够以比行业成本上涨更快的速度扩大数据输入。图像生成是一个很好的反例，因为今天的资金和GPU规模并没有阻止新进入者或创新。

对于大模型，可能会随时间影响模型成本和扩展的因素有：

• 数据可用性和规模。在某个时刻，互联网作为数据来源将会被耗尽。视频（YouTube、Vimeo、TikTok等）、语音（呼叫中心日志）、代码存储库、所有已出版的书籍以及其他数据来源在某个时候可能会耗尽，或剩下的都是无法获取的专有数据。人们可以想象一个未来的世界，人们会被付费来记录他们的生活，并将这些记录被动地将其捕获到模型中。随着时间的推移，合成数据(synthetic data)将越来越重要，并已成为自动驾驶和其他基于机器学习的领域的关键组成部分。对于大模型，它们可能会变得越来越重要。

  
  

• 人类反馈和训练。从人类反馈进行强化学习（RLHF）是减少需要提示工程（prompt engineering）+对特定人类派生任务进行模型训练的核心组件。在特定领域，这种扩展最终可能会变得非常资本密集，最终会从基于人类的反馈转变为基于机器的反馈。

  
  

• 微调（Fine-tuning）和培训。在适当微调时，小模型可能会表现得比大模型更好。

  
  

• 半导体层。在芯片级别上还有大量优化工作要做—早期TPU就是很好的例子，这个例子展示出行业可以从增量定制的ASICs获得多大的收益。同时，通过改造GPU或TPU来挤出现有硬件的额外性能仍存在很大空间。

  
  

• 系统优化。对于大模型的系统和基础架构方面有很大的优化空间。同样，按复杂性或信息内容差异性加权的tokens正在探索中。

  
  

• 推断与训练。通常，当人类面临一个问题时，她会在行动前停顿几秒钟或几分钟思考。类似地，尽管在培训方面有巨大的强调，但在推断时应用更多的方法（和算力）可能有所帮助。

  
  

• 新的架构。新的突破性架构可能会在AI中创造一个新的飞跃，就像Transformer曾经对卷积模型进行过改进一样。可能有一些AI训练方法的价值只有在很大规模上才能显现出来，但在今天由于过于昂贵而无法探索。

  
  

• 在Transformer之上的其他算法/模型。大脑有专门的模块用于特定的功能。增量或专用类型的模型可能会优化整体大模型系统和输出。

总的来说，虽然有很多并不纯粹依赖于资本的规模化方法，但在中期，即使你实现了这些事情，规模仍将为大模型创造优势。

4.2 基于规模的价值何时逼近渐近线

许多技术最终都会接近一个渐近线，通常是在S曲线（Sigmoid函数）上。有时，这条曲线有基础的物理驱动因素—例如晶体管线宽最终会达到一个原子限制，从而限制了某些半导体技术的应用。一个开放的问题是，在多长的时间范围内，规模化算力会饱和渗透现有数据集和AI架构。如果AI扩展计算迅速达到S曲线的顶点，则市场将迅速分化为更多的参与者和开源用途（随着时间的推移成本将下降，而模型性能不会大幅增长）。相反，如果达到渐近线的时间范围很长，则行业结构很可能会保持更为静态和有限，如上述潜在结果所述。最终，技术创新的步伐、新数据集的可用性以及新的AI架构的出现将在确定基于规模的价值何时达到渐近线方面发挥作用。

图：创新技术的S曲线

4.3 价值归于平台层还是应用层？

在某些世界中，大部分价值聚集到平台上，因为它向最适合它的几个应用程序进行前向整合。例如，微软曾经收购或淘汰了所有MS Office的竞争对手。

相比之下，AWS、Azure 和 GCP虽然都是大平台，然而几乎所有的SaaS、企业和消费者公司都从这些平台中受益，将价值聚集在自己的应用里，并没有被这些大平台前向整合掉。总的来说，拥有最先进技术和最大规模的科技巨头（苹果、亚马逊、谷歌、微软）拥有设备平台（iOS、webkit、MS OS、Android）和云平台（Azure、AWS、GCP）。然而，许多其他平台或 API 企业（Stripe、Adyen、Twilio 等）、数据基础架构（Snowflake、Databricks、dbt）和应用程序（Meta、Salesforce等）在这个世界中都实现了蓬勃发展。

关于平台与应用程序的答案最有可能是“两者都有”。一些平台将前向整合到明显的应用程序中（ChatGPT？），而大多数应用程序将是独立的，并能够创造自己的巨大价值。其他一些应用程序将使用定制的专用模型和专有数据来实现差异化。我在其他地方讨论了有关 AI 初创公司与现有公司价值捕获的相关问题（详见AI: Startup Vs Incumbent Value - by Elad Gil - Elad Blog）。

以上所有内容都可能是错误的。

在人工智能领域，事情发生得非常快。一项技术或性能突破可能颠覆上述所有内容。我们还不知道所有大型科技公司将如何应对。因此，唯一的真正确定性是我们正在经历一个令人兴奋的时刻和技术的不连续性。令人兴奋的时代！

图：ML(machine learning)+AI月度arXiv论文数

感谢Ben Thompson和Nat Friedman对这篇文章的点评。

注释：

[1] 这里有一些细微的差别，因为云服务提供商有提供计算资源以换取股权的激励措施，然后他们会将计算利用率视为收入进行确认。这意味着资助大模型公司可能会增加云服务提供商自身的收入和市值，并导致短到中期内有继续与基础公司进行“战略”交易的激励。

更多内容，点击下方关注