从模型推理到应用开发，大模型落地“最后一公里”为何那么难？

今年以来，全球AI应用呈现爆发式增长，也被称为是AI大模型应用的元年。

据Gartner预测，到2027年，企业使用的AI模型中将有一半以上具有特定行业或业务功能，而在2023年这一比例仅为不到1%。从模型训练到应用开发的过程中，企业如何将大模型进行业务场景化落地始终是核心问题，投入成本大于可见收益、应用效果不达预期、后续模型效果退化等问题屡屡出现。

关于未来企业进行大模型产业落地的主流形式，如何打通模型到应用的“最后一公里”，各行各业仍在探索之中。

11月6日，在百度智能云举办的千帆媒体沙龙现场，分享了企业在大模型使用过程中的三大路径：一种选择是直接调用模型，也就是模型推理；第二种是模型应用效果优化，包含了提示词优化、模型精调以及模型能力增强；第三种则是大模型应用开发。在前不久的百度云智大会上，升级发布了千帆大模型平台3.0，能够为用户提供最专业的应用开发工具，以进一步满足企业客户对模型调用、模型开发、应用开发的需求。

首要是选好基座模型，但关键在于效果优化

众所周知，一个好的基座模型基本上决策整个大模型在实际自己落地效果是否可用。以百度智能云千帆大模型平台为例，其就提供了最全的模型服务，其中ERNIE 4.0等旗舰模型适用于通用的复杂场景；ERNIE Speed、ERINIE Lite等主力模型，适用于垂直场景定制训练或构建行业模型；此外，还有轻量级、垂直场景模型，分别适用于特定垂直场景调用。

针对大模型落地成本高的问题，百度智能云今年将文心主力大模型ERNIE Speed、ERNIE Lite全面免费开放，对文心旗舰大模型ERNIE 4.0、ERNIE 3.5进行了大幅降价，进一步帮助企业降低大模型使用门槛和试错成本，加速业务创新。

选择了适合自己的基座模型，后续更为重要在于如何优化模型应用效果。这其中有三个关键点：

其一、是提示词优化，激发模型交互效果。对于直接使用大模型推理调用服务的企业来说，首先要看模型能力。“模型能力决定应用体量的下限，场景适配度决定上限”已成行业共识。

一方面，是由于大模型应用存在场景化差异，不同行业、企业与场景需要大模型的能力侧重点并不一致，“一把钥匙开一把锁”的差异化能力仍待普及。满足大模型调用需求的当务之急，是建构丰富的模型服务，提高模型场景适配度。另一方面是由于提示词并不精准、详细，无法真正激发大模型的推理、规划能力。

比如，在法律咨询场景下，相比于“经济合同纠纷案的流程是什么”这类泛泛的提问，优化后的Prompt加上了“你是一位优秀的律师，你沉着冷静”，“注意回答清晰、简洁，并充分考虑当事人的利益和需求”等人设、场景等提示词，优化后的回答更像真人律师，更符合用户的预设与期待，而非冷冰冰的生硬步骤陈列。

此外，千帆大模型平台还优化了Prompt，并预置了近300个行业场景的prompt模版，在保障大模型能力“为我所用”的同时，辅助激发大模型使用效果，提高模型的交互效率、输出质量。

其二、模型精调训练，是企业使用大模型的必经之路。现阶段，企业在使用大模型的过程中，重点关注场景应用效果、推理服务性能、使用成本等三大维度指标。企业要让应用在自身垂直场景发挥最大效果，就需要模型精调。但各行各业的模型开发和训练过程中，无论是开发者还是企业，都遇到了很多挑战，比如如何通过精调来实现可靠性的保障；如何全面做大模型的效果评估；如何解决计算与推理资源不足的问题等。

针对以上企业进行模型精调训练中的难点，千帆大模型平台开发出了完善的数据洞察、清洗和回流能力，能够确保输入数据的准确性和有效性。同时，平台还拥有独家的高质通用语料数据，这些数据经过精心筛选和整理，为模型训练提供了丰富的素材。在模型训练过程中，千帆大模型平台还提供了最全的量化压缩工具链，能够有效地降低模型的复杂度和计算量，提高模型的运行效率。

此外，千帆还提供了最全的偏好对齐训练方法，通过这种方法，可以确保模型在输出时能够与用户的需求和偏好保持一致。另外，千帆大模型平台还凝聚了众多最佳实践的精调样板间。这些样板间为模型训练提供了可借鉴的范例和模板，有助于模型在风格和行为上实现更好的对齐。

通过千帆，用户可以把自身模型应用变成数据飞轮，从数据生成、回流、筛选、人工标注到二次训练和效果评估，形成循环，使大模型更加适应企业级自身场景需要。在大模型产业落地实践中，千帆平台积累了丰富的模型精调经验。目前，千帆ModelBuilder已帮助用户精调了3万个大模型。

其三、模型能力增强，RAG、Tool的灵活运用。企业逐步探索如何将大大模型融入自身的业务体系中，RAG以及各类工具的使用结合是必不可少的，RAG可以帮助企业构建更加精准、更具精准性的问答助手，从而更好地服务于客户。千帆AppBuilder正是为企业提供企业级RAG的最佳应用开发平台，拥有极致效果、无限容量、灵活调配等企业级功能。

从“问题解释“到“问题解决”，工具平台决定AI应用能力天花板

过去，传统应用开发流程复杂，需要先进行高层设计，再分解为子模块开发，最后集成到一起，这一过程耗时且风险极高。在大模型时代，AI原生应用在产品形态上显著变化，依托大语言模型的理解、生成、逻辑、记忆四大核心能力，应用交互从传统的表单和按钮，转变为自然语言对话。

目前，通过工具进行大模型应用开发主要有三大类：第一类是原来有一套APP或者一套应用系统，能够将大模型作为 Copilot 优化交互体验，这也是最常见的形式；第二类是原来的业务流程还在，能够用大模型降低成本提升效率、节省时间；第三类是能够做到原来做不到的事情，比方说用大模型去生成一个 CAD 的图纸，产生更大的创新生产力。

同时，各行各业的企业在应用大模型落地过程中，在准确可靠性、与内部系统关联性、安全性、使用门槛上仍有许多问题。

针对这四大类问题，百度智能云千帆 AppBuilder为提供企业级大模型应用开发平台，不仅满足企业级Agent的开发、企业级集成和安全部署，另外沉淀了工业、政务、能源等6大行业应用开发解决方案。通过千帆AppBuilder，用户可以生成具有自主规划能力的Agent，支持用户自定义创建组件，并被Agent自动编排调用。同时，在沙龙现场透露，在即将举办的2024百度世界大会上，千帆AppBuilder还将进行更先进的Agent编排方式发布，进一步提升AI应用能力天花板。

此外，为了进一步降低应用开发门槛，千帆大模型平台提供应用开发工具——AI速搭，支持零代码自然语言构建与Copilot自动生成，用户几分钟即可生成一个应用。截至目前，千帆大模型平台已经帮助用户开发了超过70万个应用。千帆AppBuilder、AI速搭等工具，已在旅游助手、图书管理系统等场景中实现快速落地，并针对AI智能导购、新闻资讯、医疗健康、民生服务等领域输出大模型应用样板间，帮助企业加速大模型应用落地。