初创加速计划 | NVIDIA TensorRT 和 Triton 加速深空灵智 AI 服务

案例简介

本案例中，深空灵智 AI 大模型与 NVIDIA 团队合作，通过NVIDIA GPU、TensorRT 加速器，借助NVIDIA Triton高性能模型推理能力，不但大幅提升了深空 AI 多模态、多模型的推理效能，而且在吞吐效率和首包延时率方面也得到了显著优化。同时，深空灵智 AI 大模型助力企业级客户，为其定制的企业私有大模型在多业务场景中实现增收提效的终极目标。

本案例主要应用到 NVIDIA GPU、NVIDIA TensorRT 和 Triton 推理服务器。

深空灵智利用其私有化大模型能力，结合具体的业务痛点，打造企业级个性化解决方案。产品不仅能通过智能分析客户需求、自动生成用户画像、个性化生成企业视频内容等功能，带来收入的大幅提升，还可以通过虚拟 AI 培训、理解重构企业图文视频资料库等方式，有效降低人力成本。深空灵智利用其灵活部署、安全可靠的产品优势，进一步驱动企业智能化飞轮，用 AI 赋能企业的新增长。

在保证模型训练速度的同时

应对企业级客户的双重压力

基于深空 AI 大模型的产品属性，团队面临着如下两大方面问题：

首先，就深空 AI 大模型本身而言，模型处理能力是衡量模型质量的重要标准之一。当大量数据灌入模型之中，如何保证模型的推理速度，就成为了团队要面临的第一大问题。同时，多模态能力作为产品的重要亮点，如何快速理解、识别、拆解海量图文、视频内容，并生成对应物料，都是深空团队要面对的挑战。

其次，面对企业级客户，深空同样面临着双重考验。第一，当大量企业级用户同时在线，高并发使用时，必然会对首包延时有着苛刻的要求，否则用户将会因较长的反馈迟滞而感到不适，这就要求 “多轮交互”工作管线的每个模块的推理能够高效地执行。第二，不同企业对部署的需求不尽相同，同时他们对企业数据的安全性也极为重视，因此如何在满足企业部署需求的前提下，保障企业的数据安全，便成为了深空企业级客户成功落地的关键环节。

借助 NVIDIA 显著增强

深空 AI 大模型的整体能力

基于以上挑战，深空灵智与 NVIDIA 团队合作，采用NVIDIA TensorRT对模型进行推理加速，并利用NVIDIA Triton 推理服务器在NVIDIA GPU上进行部署，形成了一套高效的大模型部署方案。NVIDIA Triton 推理服务器具有高可靠性、稳定性的特征，助力深空灵智大模型向工业级水平跃升，在提升用户体验的同时，大幅降低了服务成本。团队目前搭载的高性能NVIDIA GPU，使深空 AI 大模型训练速度得到了数倍提升，不但满足了高性能、高可靠性的训练要求，更兼顾了高安全性的业务需求。

在 NVIDIA TensorRT 和 Triton 的技术支持下，深空灵智结合企业营销、销售、培训、售后等全流程环节，打造了深空智客、深空智售、深空智练和深空智汇四大产品，旨在提升各业务环节的收入转化和人员效率，从而达到让企业在竞争中保持优势地位的终极目标。

1. 深空智客：利用 AI，高质量分析客户需求。AI 智能助手嵌入企业官网、官微等官方渠道，为企业打造 7*24 小时无人力流量入口。它通过主动引导、多轮交互以及文字与视频相结合的对话模式，让潜客清晰地了解产品价值，并根据咨询的内容，将线索自动分级，生成潜客报告，让销售跟进变得有的放矢。
2. 深空智售：借助 NVIDIA 高性能 GPU，深空智售实现了个性化宣传物料的高效生成。销售人员可以根据用户关注的产品特点，一句话生成有针对性的销售视频，提升客户信任感。同时，销售人员还可以随时跟踪用户读取状态，轻松掌握用户反馈。
3. 深空智练：专业 AI 陪练模拟真实客户，与销售沉浸式智能实训。深度植入了产品信息和销冠话术的 AI 陪练，充分满足了销售随时随练的需求；并根据对话情况，个性化生成成绩测评，打造员工专属成长路径。
4. 深空智汇：采用 NVIDIA TensorRT 对模型进行推理加速的深空智汇，原子级解构企业知识，深度理解企业文本、视频资料，根据用户的对话问答，生成个性化视频内容。让企业知识，持续驱动业务发展。
5. 
   

不但如此，NVIDIA 从网络安全、物理安全、数据加密等多个方面进行安全防护，为企业的数据安全保驾护航。

在 NVIDIA GPU 的加持下，借助 NVIDIA TensorRT 和 Triton 推理服务器的产品能力，深空 AI 大模型的整体能力已经显著增强，并广泛应用于汽车、教育、金融、零售等多个行业，为这些领域的企业带来了强大的支持与赋能。今年深空灵智加入了 NVIDIA 初创加速计划，成为会员公司，将与 NVIDIA 开展更加深入和全面的合作。

关于深空灵智

深空灵智作为国内领先的人工智能创新科技企业，专注于为企业打造专业的 AI 多模态大模型。团队已经把先进的生成式人工智能技术与多行业深度融合，致力于将企业的知识资产转化为可计算、可交互、生成式的数字资产，从而助力企业实现收入与效率的双增长。深空灵智的大模型能力已成功落地企业的具体业务场景，借助“多轮引导”、“多模态”等大模型技术，让企业级客户在高效收集线索、深度理解生成个性化文本与视频，以及知识库多层检索等方面取得了显著成果。

NVIDIA 初创加速计划

深空灵智是 NVIDIA 初创加速计划 (NVIDIA Inception) 会员企业。NVIDIA 初创加速计划为免费会员制，旨在培养颠覆行业格局的优秀创业公司。该计划联合国内外知名的风投机构、创业孵化器、创业加速器、行业合作伙伴以及科技创业媒体等，打造创业加速生态系统。能够提供产品折扣、技术支持、市场宣传、融资对接、业务推荐等一系列服务，加速创业公司的发展。

想获得 NVIDIA 初创加速生态助力？扫描下方二维码，仅需一分钟填写意向申请表单，获得快速联系。

NVIDIA Inception19

NVIDIA Inception · 目录

上一篇初创加速计划 | NVIDIA 助力深原质药实现基于深度生成的功能蛋白质设计