一个开源项目，如何走到异构算力的关键接口？

“我们想做的是，把「烟囱」拆了，让GPU变成一个可选的插件。”

作者丨魏溶

编辑丨包永刚

WAIC结束了一段时间，密瓜智能CEO张潇回忆起当时现场的情况，依然历历在目。

WAIC的H1和H2两个展馆之间，是一条宽阔的过道。展会高峰期，这里的观众摩肩接踵，张潇站在过道上，观察着两个展馆里的不同景象：一个展馆聚集了大量GPU厂商，另一个展馆则有不少Token工厂和算力服务公司。

在张潇看来，这个场景恰好映射出当前AI产业链的结构：一边不断制造和供应GPU，另一边试图将算力转化为Token和AI服务。两端在物理空间上只隔着百米，真正让不同算力进入同一套生产系统，却没有这么简单。

“前店后厂”是这届WAIC上被反复提及的概念。GPU厂商希望芯片进入Token工厂，Token工厂则希望把底层算力转化为可以直接交付给用户的Token和智能服务。

听起来，这已经是一条完整的产业链。但问题在于，不同品牌的GPU，并不是可以直接接入同一套生产体系的标准化零件。

过去几年，AI Infra最紧迫的问题是有没有足够多的GPU；但当国产GPU不断进入市场、企业开始同时采购多种算力之后，新的问题出现了：卡越来越多，却分属于不同的软件栈、调度体系和资源池，很难进入同一套生产系统。

算力市场正在从单一生态下的资源扩张，进入多种芯片并存的异构时代。连接GPU厂商与Token工厂的，也不再只是一笔采购订单，而是一套能够统一管理和调度不同算力、降低异构复杂度的基础软件。

01

一个GitHub项目的意外成长

HAMi项目的全称是Heterogeneous AI Computing Virtualization Middleware，中文叫做异构AI计算虚拟化中间件。听起来很复杂，实际上解决的是来自于企业在真实业务场景中遇到的GPU利用率问题。

当时，Kubernetes已经成为云原生时代的标准，但它对GPU资源的管理依然较为粗放：调度器通常只按照整卡分配资源，一个任务申请了GPU就独占一整张卡，哪怕只用了一半算力，另一半也只能空转。

密瓜智能两位创始人张潇（右）和李孟轩（左）

（密瓜智能供图）

那时候模型还很小，只有几百兆的模型放到一张GPU上根本跑不满。密瓜智能CTO李孟轩在服务金融客户时发现，随着模型规模扩大，GPU资源利用效率成为一个越来越明显的问题。于是他尝试开发一个项目，让多个任务能够共享同一张卡。项目最初命名为K8s-vgpu-scheduler。

与此同时，张潇在云计算PaaS平台服务企业客户时，也遇到了类似的GPU调度需求。他在开源社区寻找解决方案时，发现了这个尚未完善的项目，K8s-vgpu-scheduler。

两个人在GitHub上建立联系，发现彼此的解决思路的问题高度一致，于是两人开始协作迭代。张潇说，李孟轩是从用户侧出发，解决具体业务场景里的GPU碎片问题；他自己从平台侧出发，解决大规模集群里GPU调度和管理的需求。“一个由上往下，一个从下往上”，最终汇集到一起。

2021年7月，项目正式开源，取名HAMi。

简单来说，HAMi试图解决两个问题：一是提高GPU利用率，让多个任务共享同一张GPU；二是降低不同GPU之间的管理复杂度，让异构算力能够在统一平台上被调度。

在HAMi开源后，张潇和团队发现，有包括金融、保险、汽车制造甚至头部云厂商都开始使用HAMi。一个源于具体业务需求而诞生的项目，进入了开发者社群，遇到了不少有相同困难的团队。

张潇笑言：“没想到自己写的东西能被行业大量采用，这对我们是最大的正反馈。”

但渐渐地，随着更多国产GPU进入市场，团队逐渐意识到，当前单一或少数GPU的虚拟化及异构调度，已经无法覆盖新的算力需求。

02

算力的异构时代

几年前，AI算力市场高度依赖英伟达生态。对于许多企业而言，采购GPU往往意味着围绕单一芯片体系搭建计算资源、开发工具和管理流程，异构算力尚未成为最优先需要解决的问题。

但随着AI应用的快速扩展，算力需求的爆发式增长，市场环境也开始发生变化。供应链的不确定性，不同应用场景对算力类型的差异化需求，以及更多国产芯片的出现，让企业逐渐开始面对一个新的现实：未来的算力资源不可能只来自单一芯片体系。

但问题随之出现，英伟达、昇腾、沐曦、寒武纪、昆仑芯、海光等不同芯片，往往拥有各自的技术栈、开发工具和调度逻辑。当一家企业同时采购了多种算力资源时，原有围绕单一芯片建立的管理方式难以直接复用，企业可能需要针对不同体系配置相应的技术团队和管理系统。

如果说HAMi诞生时解决的是一张GPU内部的资源碎片，那么随着国产GPU增加，它要面对的已经是不同算力体系之间的割裂。

张潇称这种状态为“烟囱式架构”： 不同算力资源像一个个独立运行的“烟囱”，彼此之间缺少链接。

与此同时，算力的价格在以惊人的速度上涨。一台英伟达B300服务器价格达到千万级别，但在实际的日常业务运行中，很多企业的GPU利用率只有20%到30%。“跑一个7B的模型，一张卡很多时候是吃不满的，”张潇说，“或者两张卡各用50%。”

对于企业而言，GPU的增加所带来的算力并非线性增长，挑战并不只是获得更多算力，而是如何管理和利用已有的算力资源。

HAMi最初诞生于GPU利用率问题，专注于英伟达芯片；但异构算力的出现，重新定义了这个项目需要解决的关键问题。

“我们想做的，就是拆掉这个‘烟囱’，把GPU变成可选的插件。客户不需要因为GPU品牌的变动而改造，把复杂性留给GPU厂商。”张潇说，“让异构管理从烟囱式的架构向更高效的方式转变。”（有关GPU虚拟化及异构算力调度，欢迎添加作者微信treelog10交流，分享见解。）

03

“如果不开源，连牌桌都上不去”

2024年初，团队决定把项目捐给CNCF（云原生计算基金会）。

CNCF是Linux基金会旗下的开源软件基金会，管理和维护Kubernetes、Prometheus等云原生项目。对于开源基础设施项目而言，进入CNCF意味着项目需要建立更开放的治理机制，避免由单一公司主导发展方向。这也是HAMi希望进一步扩大生态影响力的重要一步。

“捐给CNCF的初衷也是因为，这个项目只有我们自己的团队来做是做不好的，”张潇说，“它可以跑得稍微快一点，但一定跑不够远。”

2024年8月，HAMi成为CNCF沙盒项目。目前社区覆盖20多个国家，有数百名贡献者参与其中。来自不同地区的开发者通过社区参与项目建设，也带来了新的应用需求。

张潇提到，一位西班牙贡献者曾提出VLM与HAMi结合的需求，团队进一步沟通后发现，这背后对应的是实际业务场景。

“国内算力相对便宜，海外算力更贵，”张潇说，“贵的时候用软件去提效，效果更明显。”

对于HAMi而言，开源带来的不仅是用户规模的扩大，也让团队接触到更多元化、更真实的算力使用场景。张潇坦言，当初HAMi选择开源，这是一个主动的选择，也是一个被动的的选择。“如果不开源，我们可能都上不了牌桌。”

2026年7月，HAMi晋升为CNCF的孵化项目，进入了更成熟的开源治理体系。随着非英伟达GPU不断增加，当初那个“对用户有点小用”的项目，也正在面对新的问题：随着算力生态逐渐多元化，针对单一场景的解决方案已经难以满足企业需求。

对HAMi而言，国产GPU的增加改变的不只是需要适配的设备数量，也改变了项目本身的角色。

它最初解决的是一张GPU如何被多个任务共享，后来需要回答的则是：当企业同时拥有多种GPU时，能否通过同一套方式进行资源管理和调度。从单卡内部的资源切分，到不同芯片体系之间的统一管理，HAMi面对的问题正在从一个具体工具，扩大为异构计算基础设施中的一层。

04

从开源到商业化

2024年国庆前后，张潇和李孟轩正式成立密瓜智能。创业的决定比项目开源晚了三年多。

创业其实并不是HAMi诞生之初的目标。“早期没想过要创业，”张潇说，“那时候出发点很单纯。程序员嘛，做一个项目，对用户有点小用，就已经很满足了。”

但随着HAMi社区扩大，团队逐渐意识到，仅依靠开源项目本身维持长期发展并不容易。与此同时，异构算力和芯片多元化的趋势逐渐显现，企业对于算力管理和调度的需求也开始增加。

“2024年的Q3，当时我们做了一些行业的判断和研究，我们觉得这个未来一定是异构算力的世界。”张潇说。

“说句叛逆的话。”张潇笑着调侃，“天下苦英伟达久矣。”但在张潇看来，问题并不是某一家厂商本身的问题，而是市场实在太大了。

AI行业方兴未艾，全世界的GPU不可能由任何一家GPU厂商完全包揽；几十家GPU厂商、几百家云厂商、几万家客户，也不可能只通过一个闭源的方案解决。

对于开发者而言，开源版HAMi提供了一套解决GPU虚拟化和异构调度的基础能力；但在大规模生产环境中，企业还需要进一步解决稳定性、性能优化以及部署支持等问题，这成为了密瓜智能探索商业化路径的重要原因之一。

张潇举例称，一家头部互联网公司此前已经使用了开源版HAMi，但在规模化部署中依然选择购买企业版的服务。“因为我们是这个项目的原厂。”张潇坦言，“这些企业会优先找到技术的发起者直接去交流，也能减少噪音的损耗。”

令团队感到惊讶的还有另一件事。某大型股份银行全行已部署HAMi做异构调度管理，有GPU厂商想要进入该行，对方直接要求GPU厂商先来找HAMi原厂做适配，需要完成适配才会采购。

这一要求意味着，HAMi在这家客户内部已经不只是一个提高GPU利用率的工具，而开始成为新算力进入现有基础设施的一道接口。过去是客户采购GPU后再解决适配问题，现在则是GPU厂商需要先进入客户已经使用的调度体系，才有机会获得订单。

对于一家开源基础软件公司而言，这种位置远比单纯增加用户数量更重要：只有当芯片厂商、云厂商和算力使用者都愿意围绕同一套接口协作，HAMi才可能从一个项目变成异构算力生态中的基础层。

不过，GPU虚拟化并非应对所有算力问题的万能钥匙。张潇对雷峰网表示：“我们不能鼓吹虚拟化有多好，依然要针对不同场景权衡利弊。”

张潇进一步解释，训练场景没有虚拟化的需求，因为大模型训练需要的是大规模集群组网和算力规模化建设，虚拟化派不上用场；HAMi目前聚焦的更多是推理侧，尤其是中小模型的推理场景。

目前在推理场景中，虚拟化带来的性能开销，可以控制在一定范围内。张潇介绍，开源版HAMi未经深度优化时，性能损耗约为5%；企业版通过Turbo模式，可以进一步将损耗压缩至1%-2%。但在他看来，损耗数字本身并不是客户决策的核心，企业更关注的是整体效率和成本。“只要场景匹配，延迟在可接受范围内，客户就愿意采用。”

基于这一判断，密瓜正在重新定义自身定位。张潇表示，密瓜智能并不是要成为一个完整的AI操作系统，而是希望成为“AI操作系统的内核”，在底层弥合不同算力资源之间的差异，为上层应用提供统一的调度能力。

05

一条需要被填上的通道

再次回望那条狭长的通道，一侧是不断增加的GPU厂商，另一侧是快速扩张的Token工厂。

国产GPU越多，用户的选择越丰富，但管理的复杂度也越高。英伟达、昇腾、沐曦、寒武纪等算力资源分别生长在不同的软件生态中，如果每引入一种GPU，都需要重新建设一套资源管理和调度体系，多元化的算力供给也很难真正转化为可用的生产力。

张潇认为，AI Infra已经从算力扩张进入效率竞争阶段。去年，密瓜在全国举办开源活动时，使用的口号就是“不卷算力，卷效率”。

HAMi试图占据的，正是两者之间的调度层：先在资源管理层屏蔽不同GPU的部分差异，让上层平台能够用相对统一的方式申请、切分和调度算力。

这也是张潇所说“AI操作系统内核”的含义。目前，大约10%的Token工厂已经与HAMi形成开源生态联动。张潇希望，未来HAMi在Token工厂中的开源渗透率能够提升至80%以上，并让约六成Token工厂成为密瓜的商业伙伴。

“先做到60%吧，不要100%。”张潇笑着说。

但从GPU虚拟化走向异构算力基础设施，HAMi仍然需要证明更多事情。调度层无法独立解决编译器、算子、模型适配和芯片性能差异；芯片厂商、云厂商也都在建设自己的资源管理体系。一个开源项目能否成为产业共同采用的接口，取决于它能否同时获得GPU厂商、Token工厂和最终客户的接受。

密瓜智能正在继续扩大HAMi的边界。按照目前规划，团队将在2026年底至2027年初推进大模型PD分离，并在2027年探索Agent沙盒调度。从单卡内部的资源切分，到集群中的异构调度，再到Agent触发大量子任务后的资源管理，AI调度面对的问题正在持续扩大。

五年前，HAMi解决的是“一张GPU没有被充分使用”；五年后，它试图回答的是“越来越多不同的GPU，如何进入同一套生产体系”。

那条通道仍然存在。只是AI Infra接下来的竞争，除了谁能制造更多GPU，也将包括谁能定义不同GPU被使用、被调度和进入生产系统的方式。

（关于AI Infra行业动态、资讯，欢迎添加作者微信 treelog10 交流，互通有无。）