网易首页 > 网易号 > 正文 申请入驻

通用图大模型HiGPT:一己之力建模任何图结构关系!

0
分享至

  • 汤嘉斌 投稿
    量子位 | 公众号 QbitAI

一个模型建模所有图结构关系——

香港大学数据智能实验室最新图结构大模型来了。

它叫HiGPT,由GraphGPT原班人马打造。

后者是将图数据与大模型结合的代表方法之一

通过用图指令微调将图数据与大模型对齐,在下游任务上一度彰显了惊人的泛化性(Zero-Shot)。

不过,GraphGPT仅针对同质图进行了验证,对于生活中更常出现的异质图“无能为力”。

简而言之,也就是只擅长简单的任务,复杂的还不行。

(异质图:即结点和边的类型更多样。例如社交网络中用户、帖子和评论之间的关系)

基于此,HiGPT诞生,专攻复杂的异质图学习任务,并真正做到了“一个模型,建模任意关系类型”。

由此,一个通用图大模型就诞生了。

以后我们无论是用大模型做社交网络分析、生物信息还是城市计算这些常见图任务,都能hold更多有难度的case了。

Hi,异质图GPT

想要一个模型实现所有异质结构关系的泛化,面临的挑战有三:

C1. 关系类型异质性偏移:

当前几乎所有的异质图神经网络在建模异质关系是常常会为单个异质图的每个节点和关系类型定制参数,这使得当不同异质图之间结点和关系类型发生改变时,即关系类型异质性偏移,zero-shot的泛化将非常困难。

C2. 复杂异质图结构:

由于异质图存在多种多样的异质结点和关系类型,如何让大语言模型具有分辨不同异质类型的能力,从而提取有用的异质结构信息,进一步完成各种下游任务的泛化也是需要考虑的问题。

C3. 模型微调的数据稀缺:

在图学习研究社区,数据不足或者数据确实问题是公认的挑战。如何在有限的监督信号下学习得到更强泛化的模型也是不可避免的问题。

那么,具体来看看,HiGPT是如何实现的。

该方法的框架图如下所示:

针对C1,C2,C3,作者分别提出S1,S2,S3对应解决:

S1. 上下文异质图Tokenizer。

为了在具有不同节点和边类型的各种异质图场景中实现泛化性,我们引入了上下文异质图Tokenizer。

这个Tokenizer捕捉到了不同异质图中存在的各种语义关系,提供了一个统一的建模方法。

它包括两个重要组件:1)上下文参数化异质性投影器:利用自然语言对不同的节点和边类型进行编码;2)参数分配器:动态地为Tokenizer分配定制的参数。

为了优化性能并将Tokenizer无缝集成到HiGPT框架中,作者采用了轻量级的文本-图对比对齐范式来预训练Tokenizer。

预训练之后,直接将Tokenizer集成到HiGPT中,经过预训练的Tokenizer提高了其语义建模能力,并确保了其在整个模型架构中运行平稳。

S2. 异质图指令微调。作者引入了一种新颖的异质图指令微调框架,该框架引入了跨类型和同类型token匹配任务来微调大语言模型。

框架专门针对提高大语言模型对异质关系感知和同质关系感知的理解。通过这些任务,作者的目标是增强大语言模型在以下方面的能力:
(i)区分不同类型的图tokens(异质关系感知),(ii)区分相同类型的图tokens直接的对应关系(同质关系感知),以及(iii)在下游任务中有效利用异质关系感知和同质关系感知能力。

设计的指令微调任务的指令模版如下表所示:

S3. Mixture-of-Thought指令增强。为了解决异质图学习下游任务监督信号不足的问题,作者引入了一种用于增强图指令的新机制Mixture-of-Thought(MoT),即混合各种提示技术结合使用。

这种集成使我们能够生成一组多样化和全面的信息丰富的下游任务指令。

通过无缝地将这些增强的图指令集成到框架中,将有效地解决数据稀疏性的挑战。

具体地,作者结合了四种常见的提示技术,即Chain-of-Thought,Tree-of-Thought,PanelGPT和Generated Knowledge Prompting,通过ChatGPT模拟正确的推理结果,最后将多样的推理结果作为下游任务指令微调的训练数据,做到不增加监督信号的情况下增加(增强)了训练数据规模。

工作流程如下图所示:

具体提示与增强指令模版如下图所示:

HiGPT不仅在监督学习(Supervised)和零样本(Zero-shot)学习中超越了一众主流模型:

同时,作者探索了用训练得到的HiGPT进行图上下文学习(Graph In-Context Learning),然后惊奇地发现,在不优化模型参数,仅仅添加图问答示例就可以使得在1 shot训练的模型打败60 shot模型。

进一步的案例分析作者发现HiGPT不仅可以根据问题灵活调整回答推理模式,甚至会从主动从图数据角度分析问题,有了一定的图-意识(Graph-Awareness)。

研究团队

本项研究由港大数据智能实验室的GraphGPT原班人马以及百度等机构的研究人员完成。

港大数据智能实验室由黄超老师带领,在图学习,推荐系统,城市计算等诸多数据挖掘领域都有持续的探索,尤其是近期与大语言模型的诸多开源工作:GraphGPT,HiGPT,LLMRec,RLMRec,UrbanGPT,GraphEdit等。

欢迎大家来Github进一步探索!

传送门:
论文:https://arxiv.org/abs/2402.16024
代码:https://github.com/HKUDS/HiGPT
项目网站:https://higpt-hku.github.io/
https://sites.google.com/view/chaoh/group-join-us
https://github.com/HKUDS

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

/阅读下一篇/

o3-pro正式推出!说声“嗨”就花了80美元,思考1+1用时16分钟

返回网易首页 下载网易新闻客户端
相关推荐
热点推荐
C罗前保镖:C罗是最好的老板,他每天支付给我850英镑

C罗前保镖:C罗是最好的老板,他每天支付给我850英镑

懂球帝
2025-06-09 18:17:18
韦东奕账号3天涨粉2400万,成赚钱工具,家人不愿注销,本人回应

韦东奕账号3天涨粉2400万,成赚钱工具,家人不愿注销,本人回应

来条娱吃
2025-06-09 20:27:06
重庆铜梁龙主帅萨尔瓦多观看国足比赛:中国已经成为我的第二个家

重庆铜梁龙主帅萨尔瓦多观看国足比赛:中国已经成为我的第二个家

直播吧
2025-06-11 11:43:20
受台风“蝴蝶”影响,部分进出海南岛列车停运

受台风“蝴蝶”影响,部分进出海南岛列车停运

界面新闻
2025-06-11 12:50:12
国足收官第2天,王钰栋留洋法甲重大突破,范志毅承诺帮他找关系

国足收官第2天,王钰栋留洋法甲重大突破,范志毅承诺帮他找关系

二哥聊球
2025-06-11 10:11:52
3名华人在美盗窃樱桃被捕!身份曝光,保释金高达百万,评论炸锅

3名华人在美盗窃樱桃被捕!身份曝光,保释金高达百万,评论炸锅

奇思妙想草叶君
2025-06-09 23:11:05
重温《亮剑》原著:孔捷之所以能活到最后,是因为他有这个保命符

重温《亮剑》原著:孔捷之所以能活到最后,是因为他有这个保命符

掠影后有感
2025-06-11 08:43:16
凌晨2点,随着一场0-2大爆冷,郑钦文迎来利好消息,有望直通4强

凌晨2点,随着一场0-2大爆冷,郑钦文迎来利好消息,有望直通4强

大秦壁虎白话体育
2025-06-11 08:29:48
洛杉矶骚乱成双刃剑:纽森硬刚特朗普塑人设?批评称一些图片或让他2028总统梦碎

洛杉矶骚乱成双刃剑:纽森硬刚特朗普塑人设?批评称一些图片或让他2028总统梦碎

红星新闻
2025-06-10 20:07:14
东体:国足选帅要尊重总局意见,不出意外还是洋帅执教

东体:国足选帅要尊重总局意见,不出意外还是洋帅执教

懂球帝
2025-06-11 10:39:47
女大学生深夜在宿舍玩“狼牙棒”!这不是可爱,是没素质

女大学生深夜在宿舍玩“狼牙棒”!这不是可爱,是没素质

狐狸先森讲升学规划
2025-06-10 14:49:13
王大雷捂脸痛哭!收官战3神扑零封对手,3门将或集体退出国足

王大雷捂脸痛哭!收官战3神扑零封对手,3门将或集体退出国足

奥拜尔
2025-06-10 21:22:16
中领馆就美方以走私生物材料为由逮捕起诉中国学者答问

中领馆就美方以走私生物材料为由逮捕起诉中国学者答问

澎湃新闻
2025-06-11 10:42:07
美记:杰伦·格林在火箭的日子快到头了,被交易只是时间问题

美记:杰伦·格林在火箭的日子快到头了,被交易只是时间问题

雷速体育
2025-06-11 10:17:28
农村最大的痛,就是一家人拼尽全力,让孩子读大学,然后远走他乡

农村最大的痛,就是一家人拼尽全力,让孩子读大学,然后远走他乡

加油丁小文
2025-06-06 13:00:02
东方卫视主持人程雷罕见现身!50岁了风采依旧

东方卫视主持人程雷罕见现身!50岁了风采依旧

金牌娱乐
2025-06-10 09:26:19
柳州一医院惊现大蛇!1米多长,手腕般粗……

柳州一医院惊现大蛇!1米多长,手腕般粗……

极目新闻
2025-06-11 11:22:00
贼眉鼠眼就别演杜甫!看朱亚文的表现,才彻底明白“诗圣”什么样

贼眉鼠眼就别演杜甫!看朱亚文的表现,才彻底明白“诗圣”什么样

头号剧委会
2025-06-10 00:00:05
阿根廷战平哥伦比亚尾声阶段现激烈争执,梅西指责裁判引冲突

阿根廷战平哥伦比亚尾声阶段现激烈争执,梅西指责裁判引冲突

懂球帝
2025-06-11 11:21:27
离谱!高考生OPPO手机闹钟没响,疑似系统更新后被删

离谱!高考生OPPO手机闹钟没响,疑似系统更新后被删

说财猫
2025-06-09 23:06:46
2025-06-11 13:27:00
量子位 incentive-icons
量子位
追踪人工智能动态
10634文章数 176168关注度
往期回顾 全部

科技要闻

比亚迪凌晨宣布!助力中小企业健康发展

头条要闻

挂职副县长搜集密件给妻子复印携带出境 夫妻双双获刑

体育要闻

一位中国老板,复兴了欧洲百年俱乐部

娱乐要闻

唐嫣卷入热巴换角风波 杨幂也被牵连?

财经要闻

Labubu神话下的杂音

汽车要闻

5万级5座纯电微型车 奇瑞QQ多米正式上市

态度原创

时尚
本地
艺术
家居
房产

今夏穿“渣女衫+半裙”的你,好看极了!

本地新闻

非遗里的河南 | 黄河泥变身千年墨宝,写字都带仙气儿~

艺术要闻

故宫珍藏的墨迹《十七帖》,比拓本更精良,这才是地道的魏晋写法

家居要闻

木质灰调 现代轻奢质感

房产要闻

45亿!突然,又一民企巨头杀入海南旧改!