近年来开发的检索增强生成(Retrieval-Augmented Generation, RAG)技术,为构建领域专属的应用提供了高效方案。然而,这项技术仍存在一些局限性,包括向量相似性与知识推理相关性之间的差距,以及对知识逻辑(如数值、时间关系、专家规则等)的不敏感性,这些问题限制了其在专业知识服务中的有效性。
为了解决这些问题,蚂蚁集团提出了一种专业领域知识服务框架,称为知识增强生成(Knowledge Augmented Generation, KAG)。KAG 的设计初衷是充分发挥知识图谱(KG)和向量检索的优势,通过双向增强大型语言模型(LLMs)和知识图谱(KG),提高生成和推理的表现。将 KAG 与现有的 RAG 方法在多跳问题回答任务中进行了对比,结果表明 KAG 显著优于当前最先进的方法,在 HotpotQA 数据集上的 F1 分数相对提升了19.6%,在 2Wiki 数据集上的提升达到了33.5%。(链接在文章底部)
01 技术原理
KAG 的目标是在专业领域构建知识增强的 LLM 服务框架,支持逻辑推理、事实问答等。KAG 充分融合了 KG 的逻辑性和事实性特点,其核心功能包括:
知识与 Chunk 互索引结构,以整合更丰富的上下文文本信息
利用概念语义推理进行知识对齐,缓解 OpenIE 引入的噪音问题
支持 Schema-Constraint 知识构建,支持领域专家知识的表示与构建
逻辑符号引导的混合推理与检索,实现逻辑推理和多跳推理问答
在私域知识库场景中,KAG 提出LLMFriSPG知识表示框架,基于 DIKW 层次结构升级 SPG,使其兼容 LLM。框架支持无 schema 信息提取与有 schema 知识构建,提供图结构与文本块的互索引,有助于构建倒排索引,统一逻辑表示、推理与检索。同时,通过知识理解和语义对齐,降低抽取噪声,提升知识准确性与一致性。
KAG 框架由kg-builder、kg-solver和kag-model组成:
- kg-builder
基于 DIKW 层次升级 SPG 表达,支持无 schema 信息提取与有 schema 知识构建,提供图结构与文本互索引,实现高效检索。
- kg-solver
通过逻辑驱动的混合引擎,整合规划、推理、检索三类运算符,支持精确匹配、文本检索、数值计算与语义推理,集成检索、知识推理、语言推理与计算四种求解方式。
https://github.com/OpenSPG/KAG
https://arxiv.org/pdf/2409.13731
https://www.youtube.com/watch?v=E-7rQf6hr5k (部分内容参考)欢迎交流~,带你学习AI,了解AI
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.