网易首页 > 网易号 > 正文 申请入驻

一款释放数据价值的项目,开源了!

0
分享至

在大数据和 AI 的时代背景下,数据已经成为了重要财富,大到政务数据、企业核心数据,小到个人信息、银行卡余额,这些数据无一例外都是“隐私数据”,如果在使用和流转时发生泄漏都会造成巨大的损失。

那有没有什么方法,可以在不暴露数据隐私的前提下,让数据流动起来发挥更大的价值呢?在这个问题的驱使下我们找到了今天的主角——隐私计算。

一、什么是隐私计算?

隐私计算是指在不泄露数据本身的情况下,实现数据分析和计算的技术,具有“数据可用不可见”的特点,让数据安全合规地流动起来。

下面用一个经典的百万富翁问题,来帮助理解什么是“数据可用不见”。

假设有两个百万富翁,他们都想知道谁更富有,但又不想让对方或者第三方,知道自己具体有多少钱。

  1. 数据本身:具体的财富值(数据)
  2. 计算:比大小(可用)
  3. 不泄露:对方或第三方(不可见)

按照常理,进行比大小的计算是需要知道两个数是多少,才能比较大小,但这里不知道具体的数字。所以上面这个问题在普通人看来是无解的,但其实这是一个密码学问题,也被称为“多方安全计算”(MPC)问题,由姚期智院士在 1982 提出,并给出了解决方案——混淆电路,实现了数据的可用不可见。

从隐私计算的技术发展时间线,我们不难看出隐私计算还是一个比较“新”的技术。随着零知识证明、差分隐私、全同态加密、联邦学习等技术的相继问世,目前已形成三大应用技术路线多方安全计算(MPC)、联邦学习(FL)、可信执行环境(TEE),隐私计算作为数据流通的重要技术已应用于金融、医疗、政务、广告等领域。

  1. 金融:联合反洗钱、银(行)证(券)数据共享等
  2. 医疗和健康:流行病接触者追踪等
  3. 政务:案件调查、人口普查等

随着欧盟 2018 年生效的《通用数据保护法案》,Google、Facebook 等科技巨头都收到了巨额罚单。近两年,我国也相继出台了 《数据安全法》《个人信息保护法》。因此,如何让数据安全地流通起来,已经不再是一道附加题而是一道必答题。

如果我们把上面的“百万富翁”换成企业/机构的话,就可以很容易得出隐私计算技术就是数据安全流通的答案 。

二、PrimiHub

那么,对于没有隐私计算技术背景的程序员、或是没有相关研发团队的企业/机构,如何才能快速用上隐私计算技术,让数据流通起来创造更大的价值呢?

今天,HelloGitHub 给大家带来一款由密码学专家团队打造的开源隐私计算平台——PrimiHub,它开箱即用、支持 CLI 和可视化 Web 界面,让你无需具备隐私计算技术背景,就能上手发起隐私计算任务。

GitHub 地址:github.com/primihub/primihub

下面,我将先介绍如何快速上手 PrimiHub,最后通过演示一个完整的应用案例,让你能够真正的入门 PrimiHub,并将隐私计算应用到实际的业务中。

三、快速上手

PrimiHub 是在隐私计算应用技术之上构建的隐私计算平台,封装了底层的密码学协议让开发者专注于业务、更容易上手。下面就让我们实际上手体验一下,让数据流动起来吧!

3.1 安装

虽然 PrimiHub 提供了 Docker、可执行文件、本地编译的安装方式,但是如果你只是想在本地体验一下,我强烈推荐 Docker 一键安装,因为真的是太 easy 了 ~

# 第一步:下载 git clone github.com/primihub/primihub.git
# 第二步:进入目录 cd primihub
# 第三步:启动 docker-compose up -d

3.2 发起任务

PrimiHub 将复杂的隐私计算技术封装成了一个个任务,只需要修改配置文件,然后执行命令发起任务即可。

PrimiHub 目前支持联合统计、隐私求交、匿踪查询、联邦学习等功能。

  1. 联合统计:多个参与方在不暴露私有数据的情况下,共同完成均值(AVG)、求和(SUM)、最大值(MAX)、最小值(MIN) 等计算
  2. 隐私求交:在不暴露参与方私有数据的情况下,实现两个或多个参与方之间的数据交集计算。
  3. 匿踪查询:保证用户向数据源方提交查询请求时,在数据源方不知道用户查询条件和结果的前提下完成查询。
  4. 联邦学习:一种分布式模型训练技术,在数据不动、模型出域的前提下完成全局模型的训练。

下面是通过命令行发起一个「隐私求交」任务的全过程,task_config_file 参数指定配置文件。

3.3 更多配置示例

为了方便用户上手,PrimiHub 在 example 目录下,提供了 50 多种隐私计算任务的配置文件,可作为模板快速配置自己的数据源发起任务。

这里我们将通过在 PrimiHub 管理平台模拟演示一个匿踪查询(隐匿查询)的应用案例:检察院要向公安机关查询张三(身份证号)是否有涉毒记录,但是公安机关不想把全量数据提供给检察院查询,检察院也不想暴露他们当前正在侦查的对象。

上面的场景,双方可以通过 PrimiHub 的隐匿查询功能来满足双方需求,实现公安机关看不到检察院的查询,检察院也不用拿到公安机关的全量数据,下面开始操作。

4.1 注册并登陆

匿踪查询需要两方以上进行协同,所以需要选择「节点 1:模拟检察院」和「节点 2:模拟公安机关」进行注册。

节点 1:node1.primihub.com/#/register
节点 2:node2.primihub.com/#/register

注册完成后打开两个网页分别登陆,刚模拟注册的检察院和公安机关的账号。

4.2 匿踪查询
4.2.1 准备工作

本地准备好待查询的数据如下表,以及查询条件身份证号:110221xxxxx

打开「节点 2」网页(公安机关账号)在「我的资源」点击「添加资源」按钮,将上面表格作为数据资源上传(实际场景中可通过配置数据库进行查询),最后点击保存。

打开「节点 1」网页(检查院)在「隐匿查询」发起一次查询任务,在「选择查询资源」处选择上一步模拟公安机关上传的数据资源,最后点击「查询」按钮。

在「节点 1」网页(检查院)的「隐匿查询」下可以查看上一步创建的「匿踪查询」任务状态,任务运行结束后,点击「导出结果」即可下载结果文件,查看匿踪查询返回的记录。

至此,我们就用 PrimiHub 管理平台完成了一次完整的「匿踪查询」任务。模拟了检察院在公安机关提供的涉赌记录数据中,查询目标对象(110221xxxxx)的涉赌信息。在查询过程中,检察院仅获得查询对象的信息,公安机关也看不到检察院的查询记录,保证了检察院的办案独立性

五、最后

PrimiHub 是由原语科技开源的隐私计算平台,具有开箱即用、功能丰富、容易上手、灵活配置等特点。

  1. 开箱即用:拥有 Web 界面、命令行 和 Python SDK 多种使用方式
  2. 功能丰富:支持匿踪查询、隐私求交、联合统计、联合建模、数据资源管理等功能
  3. 灵活配置:支持自定义扩展语法、语义、安全协议等
  4. 自主研发:多方安全计算、联邦学习、同态加密、可信计算等隐私计算技术

隐私计算作为前沿技术,其开发难度可想而知,开源不易如果体验后觉得 PrimiHub 还不错,就点一个 Star✨ 吧!

GitHub 地址:github.com/primihub/primihub

在国内外科技巨头纷纷布局隐私计算产业的当下,花些时间学习一下「隐私计算」属实是波只赚不亏的技术投资。虽然目前隐私计算受限于性能等因素还远没到普及的程度,但从各国对于隐私保护的重视程度,隐私数据安全合规的使用和流动注定是未来的趋势。相信待时机成熟之时,隐私计算会和现在的大模型一样,迎来属于自己的时代。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
李易峰大变样!黑眼圈严重,眼袋吊起,穿旧衣服,被嘲精气神全无

李易峰大变样!黑眼圈严重,眼袋吊起,穿旧衣服,被嘲精气神全无

娱圈小愚
2024-09-28 09:59:50
将西海情歌据为己有,与刀郎对簿公堂42次,降央卓玛现在怎样了?

将西海情歌据为己有,与刀郎对簿公堂42次,降央卓玛现在怎样了?

小盖纪实
2024-09-06 14:30:34
伊万真会甩锅!1场比赛否定申花后腰,本赛季4球5助,无缘18强赛

伊万真会甩锅!1场比赛否定申花后腰,本赛季4球5助,无缘18强赛

球场没跑道
2024-10-01 09:52:28
美菲已经用行动证明:若开战,中国航母或无法通过巴士海峡?

美菲已经用行动证明:若开战,中国航母或无法通过巴士海峡?

慎独赢
2024-09-29 16:28:15
可能是“老年痴呆”的10大征兆,越早发现越好!

可能是“老年痴呆”的10大征兆,越早发现越好!

北青网-北京青年报
2024-09-17 20:00:07
南部战区组织舰艇编队位南海有关海域进行战备巡航

南部战区组织舰艇编队位南海有关海域进行战备巡航

央广网
2024-10-01 12:40:03
为什么俄罗斯放着几十万正规军不用,却大量使用雇佣兵?

为什么俄罗斯放着几十万正规军不用,却大量使用雇佣兵?

凯撒谈兵
2024-08-26 22:24:56
一年喝了10次以上,2岁女童查出极重度铅中毒!医生怒了:这种偏方千万别信

一年喝了10次以上,2岁女童查出极重度铅中毒!医生怒了:这种偏方千万别信

福建卫生报
2024-09-30 19:03:45
夫妻“私房话”误发学校群,其他家长眼睛亮了,这下没脸接孩子吧

夫妻“私房话”误发学校群,其他家长眼睛亮了,这下没脸接孩子吧

熙熙说教
2024-09-28 11:00:03
A 股暴涨的背后,隐藏着巨大异常信号,万千散户只有这样才能爆赚

A 股暴涨的背后,隐藏着巨大异常信号,万千散户只有这样才能爆赚

农村阿祖
2024-10-01 03:25:58
马龙老婆夏露现身wtt北京大满贯,高清图来了,颜值真的很高!

马龙老婆夏露现身wtt北京大满贯,高清图来了,颜值真的很高!

娱乐的小灶
2024-10-01 09:47:28
太好了!柳岩不用嫁老头,和印小天恋爱,见双方家长,太般配了

太好了!柳岩不用嫁老头,和印小天恋爱,见双方家长,太般配了

观察鉴娱
2024-09-28 14:14:48
16岁女孩考704被清华录取,却因长得太美,被老师骂是班里老鼠屎

16岁女孩考704被清华录取,却因长得太美,被老师骂是班里老鼠屎

艾米儿育儿
2024-09-27 17:36:48
被迫无奈,具俊晔很快做出回应,发文向大S表明了自己的衷心!

被迫无奈,具俊晔很快做出回应,发文向大S表明了自己的衷心!

圈里的甜橙子
2024-09-27 20:52:25
小伙帮大妈调大手机字体,却意外看到了……

小伙帮大妈调大手机字体,却意外看到了……

上观新闻
2024-09-30 06:52:10
国乒18人出战!孙颖莎迎来内战,林诗栋大战张本,王楚钦有望大胜

国乒18人出战!孙颖莎迎来内战,林诗栋大战张本,王楚钦有望大胜

小李子爱体育
2024-10-01 03:37:26
74分!碾压状元榜眼,谢泼德强势登顶第一,美媒也向火箭发出请求

74分!碾压状元榜眼,谢泼德强势登顶第一,美媒也向火箭发出请求

室内设计师阿喇
2024-10-01 11:21:39
第一批比亚迪开始换电池了,这样的费用你能接受吗?

第一批比亚迪开始换电池了,这样的费用你能接受吗?

沙雕小琳琳
2024-10-01 08:46:20
上海知青抛丈夫和女儿回城,走前解开衣扣:让我们为过去画上句号

上海知青抛丈夫和女儿回城,走前解开衣扣:让我们为过去画上句号

华人星光
2024-06-26 16:43:48
萧敬腾惊喜曝光婚纱照!亲证实「10月办婚礼」宣布:礼金将全捐出

萧敬腾惊喜曝光婚纱照!亲证实「10月办婚礼」宣布:礼金将全捐出

ETtoday星光云
2024-10-01 09:54:10
2024-10-01 14:02:45
HelloGitHub
HelloGitHub
带你玩GitHub开源社区
190文章数 5247关注度
往期回顾 全部

科技要闻

“双11”开战在即 京东、阿里重金砸向香港

头条要闻

石破茂称应让日自卫队驻扎关岛 美专家:有占领的味道

头条要闻

石破茂称应让日自卫队驻扎关岛 美专家:有占领的味道

体育要闻

穆大叔,最老的树,最高的山

娱乐要闻

王诗龄14岁全身名牌现身巴黎

财经要闻

恒大地产和许家印等,严惩!

汽车要闻

拒绝平庸 深蓝S05是台更有范儿的家用SUV

态度原创

数码
房产
亲子
游戏
时尚

数码要闻

苹果 AirPods 助攻,警方成功追回价值 57.5 万美元的被盗法拉利

房产要闻

国庆到啦!快来查收你的买楼大礼包

亲子要闻

夏天多给孩子吃山药,搭配红枣鸡蛋搅一搅,做法简单、营养又健康

《纸嫁衣6千秋魇》Steam页面上线 发售日待定

早秋风尚:小西装邂逅九分裤,演绎时尚与气质的双重奏

无障碍浏览 进入关怀版