【直播预告】昇腾 × 大模型：如何让AI“跑得快”又“用得好”？

OSCHINA

当前，人工智能技术正加速向大模型时代迈进，在政务、金融、医疗、工业等领域展现出颠覆性潜力。

然而，大模型的训练与部署面临算力成本高、技术生态依赖性强、行业落地门槛高三大挑战。在此背景下，昇腾与国产大模型的深度结合，为破解上述瓶颈提供了新路径。

为加速技术普惠，4 月 23 日晚，开源中国直播栏目《数智漫谈》邀请昇腾生态技术专家与行业先行者，分享一线开发经验，聊一聊昇腾结合大模型，如何促进创新，助力开发者与企业用户抓住国产 AI 新红利。

演讲议题 1：昇腾插件化接入 vLLM 加速大模型推理创新最佳实践

演讲专家：姚圣伟，华为云 HCDE、微软 Insider Dev Tour China

议题简介：

随着大模型技术的快速发展，如何高效部署与加速推理成为业界核心挑战。基于自主研发的昇腾处理器及 CANN 异构计算架构，昇腾推出插件化接入方案，与开源推理框架 vLLM 深度适配，为大模型推理提供高性能、低时延的创新实践。

用户可以实现自己的 Woker、ModelRunner、Attention、Communicator 以及自定义算子。在进一步促进 vLLM 多样性发展的同时，尽可能的解决了兼容性、可维护性的问题。

实践案例覆盖自然语言处理、多模态交互等场景，验证了昇腾生态的开放性与技术普适性，为行业提供可复用的国产化大模型部署范式，推动 AI 基础设施高效进化。

演讲议题 2：基于昇腾 + 大模型的国内智慧园区项目实践

演讲专家：李小雨，唐山爱尚产品总监，AI 应用探索者与出海实践者

议题介绍：

年初 Deepseek 引发了国产大模型浪潮，国内涌现大量需要通过 AI 提效、优化体验的需求。但是目前大部分传统行业对于 AI 提效的具体实践还在探索中，没有明确的 AI 落地场景。

智慧园区为我们为某国企开发的系统，包括车辆道闸、人脸终端消费、考勤机、监控筒机等多种类业务、多种类设备，是集成一脸通、一平台、数据共享、数据可视的完整解决方案。

本次分享，我们站在企业的角度分析 AI，能给实际业务带来哪些方式的效率提升，并结合实际的某智慧园区项目，分享如何结合昇腾与大模型，在产品体验和功能形态上做出创新和提效。

演讲议题 3：基于香橙派 AI Studio 实现本地大模型部署和应用最佳实践

演讲专家：徐洋帆，香橙派系统工程师，昇腾社区核心开发者

议题简介：

随着大模型技术的快速发展，个人和企业对大模型的需求呈现爆发式增长。在云端大模型层出不穷的同时，隐私安全问题也日渐严峻。

因此实现低成本的本地化 AI 大模型部署和应用势在必行。香橙派携手华为昇腾，推出了 orangePi AI studio 和 orangePi AI studio Pro 产品，旨在为用户提供低成本的本地化 AI 大模型部署能力。

在本次议题中，香橙派将展示算力高达 352Tops，超大的 192G 显存的 orangePi AI studio Pro 产品上极简部署 AI 大模型的步骤，半小时实现从 0 到体验本地 AI 聊天机器人。

↓一键预约直播↓

另外，我们还建了一个交流群，一起聊聊自己 AI 技术～～当然啦，如果你有什么特别棒的开源项目，可以推荐过来呀～

【数智漫谈】

OSCHINA 视频号直播畅聊栏目【数智漫谈】，每期一个技术话题，三五位专家围坐，各抒己见，畅聊开源。给大家带来最新的行业前沿、最热门的技术话题、最有趣的开源项目、最犀利的思想交锋。

如果你手上也有新点子、好项目，想要跟同行交流分享，欢迎联系我们，讲坛随时开放～

↓分享、在看与点赞~Orz