“创业公司的内部全都是车祸现场。只是有的你能在媒体上看到,有的看不到。” 山姆·阿尔特曼(Sam Altman)的导师,硅谷孵化器 YC 创始人保罗·格雷厄姆曾这么总结他看过的千百家创业公司。
得益于阿尔特曼和特斯拉 CEO 埃隆·马斯克的争斗和诉讼,现在我们也能看到 OpenAI 早年的真实样子。双方各自公布了数批共 75 封内部邮件以及短信记录,时间跨度从 2015 年 OpenAI 筹备到 2019 年组建营利实体,展示了一群硅谷名流和天才 AI 研究者如何因为理想聚在一起,又如何随着 OpenAI 的发展争权夺利。
这些长达 3 万多字的内部记录也像是一堂 OpenAI 出品的创业课,涉及这家全球最大的 AI 创业公司早期如何讲故事、组建精英阵容,到薪酬设计、股权分配的方方面面;从低价与 Google 争夺人才到与微软谈判合作,甚至还包括曾考虑过的加密货币融资方案。而且,我们还能看到首席科学家伊利亚·苏茨克维 (Ilya Sutskever) 如何写双周报,制定 AGI 研究计划,以及阿尔特曼如何一步步控制 OpenAI,推动转型的过程。
今天分享的这篇文章,全文翻译了这些内部交流记录,在保留语言风格、不改变原意的前提下适当编辑,并按照时间线整理,以尽可能完整呈现他们交流的情况。希望对你有所启发,enjoy~
|2015 年:邀约马斯克 - 从 YC AI 到 OpenAI - 初始团队
问题
参与者:
山姆·阿尔特曼(Sam Altman),2014 年接任硅谷孵化器 YC 总裁,2019 年全职担任 OpenAI CEO。
埃隆·马斯克(Elon Musk),时任特斯拉、SpaceX CEO,为 OpenAI 出资 4000 多万美元,2018 年 2 月退出 OpenAI 董事会。
主题:问题
发件人:山姆·阿尔特曼
收件人:埃隆·马斯克
时间:2015 年 5 月 25 日 21:10(周一)
我一直在思考,是否有可能阻止人类开发 AI。
我认为几乎不可能。
既然它迟早会发生,最好是让 Google 之外的其他人先做这件事。
你觉得 YC 启动一个类似曼哈顿计划的 AI 项目怎么样?我觉得我们可以让排名前 50 的顶级人才中的很多人参与其中。我们可以设定一个架构,让这项技术通过某种形式的非营利机构属于全世界。如果项目成功,参与其中的人能获得类似加入创业公司的报酬。当然,我们会遵守并积极支持所有的监管规定。
山姆
Re:问题
发件人:埃隆·马斯克
收件人:山姆·阿尔特曼
时间:2015 年 5 月 25 日 23:09(周一)
这可能值得进一步讨论。
Re:Re:问题
发件人:山姆·阿尔特曼
收件人:埃隆·马斯克
时间:2015 年 6 月 24 日 10:24(周三)
我们的使命是,创造用于增强个人的能力的第一个通用人工智能(AGI)——即那个未来看起来最安全的分布式版本。更宽泛地说,安全应当是我们的首要追求。
我觉得,理想的启动团队是 7 到 10 人,然后逐步扩大。我们在山景城有一栋空余的建筑,他们可以用。
至于治理架构,我建议从 5 个人开始,我提议你、比尔·盖茨、皮埃尔·奥米迪亚(eBay 创始人)、达斯汀·莫斯科维茨(Facebook 联合创始人)和我。技术由基金会拥有,用于 “全人类的福祉”。如果遇到不确定如何应用的情况,我们 5 个人做决定。研究人员有可观的财务回报,但与他们开发的技术无关。这样可以减少一些冲突(我们会付他们有竞争力的薪水,并给他们 YC 股权)。我们将持续讨论哪些工作成果应该开源,哪些不应该开源。某个时候,我们会找一个人领导团队,但他 / 她可能不该在治理委员会内。
除了治理之外,你是否会参与其中?我认为这非常有助于工作朝着正确的方向发展,并招募到最优秀的人才。理想情况下,你可以每个月(或者类似的频率)来看看他们的进展。我们通常会称那些以某种有限的方式参与 YC 的人为 “兼职合伙人,Part-Time Partner”(比如我们和彼得·蒂尔 [Peter Thiel,Paypal 联合创始人] 的合作就这样,尽管他现在非常积极),你可以随意决定我们该怎么称呼你。即使你不能投入太多时间,能公开表示支持,对招募人才也非常有帮助。
我觉得关于监管信的正确做法是,等到这项工作启动后,我可以发布一条消息,类似于 “既然我们已经开始做这件事了,我最近也在认真思考世界需要什么样的约束来保障安全。” 如果你不想签字,我也很乐意把你从签署名单中去掉。我觉得,信发布之后,会有更多人愿意支持它。
山姆
Re:Re:Re:问题
发件人:埃隆·马斯克
收件人:山姆·阿尔特曼
时间:2015 年 6 月 24 日 23:05(周三)
我同意所有的提议。
AI docs
新增参与者:
伊利亚·苏茨克维 (Ilya Sutskever),Google 原资深研究科学家,放弃数百万美元年薪加入 OpenAI,担任首席科学家,2023 年 11 月联合 OpenAI 董事驱逐阿尔特曼,今年 5 月离职。
主题:AI docs(OpenAI 披露)
发件人:山姆·阿尔特曼
收件人:埃隆·马斯克
时间:2015 年 11 月 20 日 11:48(周五)
埃隆-
我们的计划是让你、我和伊利亚三个人组成 YC AI (注:OpenAI 早期名称)的董事会,它将是一个位于特拉华州的非营利组织。我们还会描述清楚,由董事会成员选举两位外部人士加入董事会。
我们会在章程中写明,任何可能危害人类安全的技术,必须经过董事会的同意才能发布。我们也会在研究人员的聘用合同中提到这一点。
整体来说,你觉得这个方案怎么样?
我抄送给了我们的法律顾问 <****>(OpenAI 隐藏的内容,下同),请问你那边是否有人可以跟他对细节?
Re:AI docs(OpenAI 披露)
发件人:埃隆·马斯克
收件人:山姆·阿尔特曼
时间:2015 年 11 月 20 日 12:29(周五)
我认为它应该由 YC 支持并独立于 YC,而不是听起来像 YC 的一个子公司。
另外,当前的架构似乎不是最理想的。特别是,YC 的股权和非营利组织的薪水,会让激励机制变得模糊。更好的做法,可能是设立一个标准的 C 型公司(注:可以理解为营利公司),并同时设立一个非营利组织。
电话内容跟进
新增参与者:
格雷格·布洛克曼(Greg Brockman),硅谷金融科技独角兽 Stripe 原 CTO,后担任 OpenAI 总裁。
主题:电话内容跟进
发件人:格雷格·布洛克曼
收件人:埃隆·马斯克
时间:2015 年 11 月 22 日 18:11(周日)
嗨,埃隆
很高兴刚才和你聊了下。
正如我在电话中提到的,这是博客文章的最新版本:https://quip.com/6YnqA26RJgKr。(山姆、伊利亚和我正在考虑新的名字,如果你有任何建议,非常欢迎。)
显然,还有很多细节需要修改,但我很好奇你对这样传递信息的看法。我不想避重就轻,如果你觉得合适,我会更直白地传递信息。我认为最重要的是,我们的信息能吸引到做研究的人(或者至少是我们想要招聘的那部分人)。我希望我们能作为一个中立的团队进入这个领域,广泛合作,将对话引导到 “人类的胜利” 上,而不是某个特定的团队或公司。(我认为这是我们成为领先研究机构的最佳途径。)
我附上了我们一直在用的 offer 模板,年薪为 17.5 万美元。以下是我发给候选人的邮件模板:
附件是你正式的 YC offer!请按照你方便时间签署日期。我们还会发送另外两份文件给你:
1. 一封单独的信,向你提供每期 YC 训练营 0.25% 的股份(作为 YC 顾问的报酬)。
2.《自由雇佣协议》《信息保密协议》《发明转让协议》《仲裁协议》
(由于这是我们首次发出正式 offer,如果过程中有任何不顺畅之处,请多多包涵,若有任何疑问,随时告知!)
我们计划提供以下福利:
健康、牙科和视力保险
无限制的假期,建议每年休假四周
带薪育儿假
当你在会议上展示 YC AI 的工作成果,或者受 YC AI 邀请参加会议,相关费用由 YC AI 支付。
我们也很乐意提供签证支持。如果您准备好讨论签证相关事宜,随时联系我,我可以为你对接 YC 的 Kirsty。
如果你有任何问题,请随时联系我——我随时愿意聊!期待一起工作 :)。
gdb(注:格雷格·布洛克曼名字的缩写)
Re:电话内容跟进(OpenAI 披露)
发件人:埃隆·马斯克
收件人:格雷格·布洛克曼
时间:2015 年 11 月 22 日 19:48(周日)
博客内容看起来不错,但需要调整为中立视角,不要过于偏向 YC。
我倾向于将博客调整为更吸引公众的方向——得到公众的支持对我们的成功非常重要——同时,为招聘准备一个更长、更详细、更加专业的版本,在面向公众的版本结尾附上指向该版本的链接。
我们需要提出一个远大于 1 亿美元的数字,否则在 Google 或 Facebook 的支出面前,我们会显得毫无竞争力。我建议宣布一个 10 亿美元的资金承诺。这是切实可行的,我会承担其他人未能提供的部分。
模版总体不错,只需将默认奖励调整为分期发放的现金奖金,同时允许转化为 YC 的股权,或者可能是 SpaceX 的股权(需要进一步确认具体金额)。
开头段落的草稿
主题:开头段落的草稿
发件人:埃隆·马斯克
收件人:山姆·阿尔特曼
时间:2015 年 12 月 8 日 9:29(周二)
把开头的总结部分写好非常重要。这是大家首先阅读的内容,也是媒体通常会引用的部分。发布它就是为了吸引顶尖人才。我不确定格雷格真的明白这一点。
OpenAI 是一家非营利的 AI 研究公司,目标是以最有可能造福全人类的方式推动数字智能的发展,不受追求财务回报的束缚。
我们公司的基本理念是,尽可能广泛地传播 AI 技术,将其作为每个人意志的延伸,确保在自由精神的指导下,数字智能的力量不被过度集中,并朝着全人类共同期望的未来演化。
这一项目的结果尚不确定,薪酬也比其他公司低。但我们相信,我们的目标和架构是正确的。我们希望这是最优秀的人才最看重的东西。
Re:开头段落的草稿
发件人:山姆·阿尔特曼
收件人:埃隆·马斯克
时间:2015 年 12 月 8 日 10:34(周二)
这个怎么样?
OpenAI 是一家非营利的 AI 研究公司,目标是以最有可能造福全人类的方式推动数字智能的发展,不受追求财务回报的束缚。
由于我们没有财务压力,可以专注开发对人类影响最大、影响最积极的 AI 技术,并尽可能广泛地传播。我们相信 AI 应该是个人意志的延伸,并且在自由精神的指导下,避免将其集中在少数人手中。
这一项目的结果尚不确定,薪酬也比其他公司低。但我们相信,我们的目标和架构是正确的。我们希望这是最优秀的人才最看重的东西。
刚刚得到消息 ...…
主题:刚刚得到消息 ...…
发件人:山姆·阿尔特曼
收件人:埃隆·马斯克
时间:2015 年 12 月 11 日 11:30(周五)
刚刚得到消息,DeepMind 明天会给 OpenAI 的每个人提供高价 offer,试图打压我们。
你是否介意我主动提高大家的薪酬,每年增加 10 万到 20 万美元?我认为他们都受到使命的激励,但加钱会向大家传递一个积极的信号——我们会长期关心并照顾他们。
看起来 DeepMind 打算开战,他们甚至在 NIPS (注:AI 领域顶级学术会议)上直接堵人。
Re:刚刚得到消息 ...
发件人:埃隆·马斯克
收件人:山姆·阿尔特曼
时间:2015 年 12 月 11 日(周五)
伊利亚有没有给出确切的答复?
如果有人表现出一丁点犹豫,我都很乐意亲自给他们打电话。我已经告诉 Emma,这件事是我全天候待命的首要任务。
Re:Re:刚刚得到消息 ...…
发件人:山姆·阿尔特曼
收件人:埃隆·马斯克
时间:2015 年 12 月 11 日 12:15(周五)
是的,已经承诺了,刚刚拿到了他的承诺。
Re:Re:Re:刚刚得到消息 ...…
发件人:埃隆·马斯克
收件人:山姆·阿尔特曼
时间:2015 年 12 月 11 日 12:32(周五)
太棒了
Re:Re:Re:Re:刚刚得到消息 ...
发件人:山姆·阿尔特曼
收件人:埃隆·马斯克
时间:2015 年 12 月 11 日 12:35(周五)
大家感觉都很好,还在说一些话,类似 “尽管让 DeepMind 报价好了,遗憾的是,他们没有 ‘坚持做正确的事’ 的价值观支持”。
消息(注:OpenAI 成立)将在太平洋标准时间下午 1:30 发布
OpenAI 公司
新增参与者:
帕梅拉·瓦加塔(Pamela Vagata),Facebook 原 AI 研究工程师,2016 年离职
维琪·张(Vicki Cheung),多邻国、医疗保健公司 TrueVault 原工程师,2017 年底离职
迪亚德里克·金玛(Diederik Kingma),当时博士未毕业,2018 年离职
安德烈·卡帕西(Andrej Karpathy),当时博士未毕业,2017 年离职加入特斯拉,2023 年重返 OpenAI,2024 年再次离职
约翰·舒尔曼(John D. Schulman) ,当时博士未毕业,2024 年离职
特雷弗·布莱克威尔(Trevor Blackwell), YC 原合伙人,2017 年离职
主题:OpenAI 公司
发件人:埃隆·马斯克
收件人:伊利亚·苏茨克维、帕梅拉·瓦加塔、维琪·张、迪亚德里克·金玛、安德烈·卡帕西、约翰·舒尔曼、 特雷弗·布莱克威尔、格雷格·布洛克曼
抄送: 山姆·阿尔特曼
时间:2015 年 12 月 11 日 16:41(周五)
祝贺大家迈出了伟大的第一步!
我们在人数和资源上远不及一些大家熟知的机构,但我们站在正义这边,这一点非常重要。我觉得我们有很大的机会。
我们需要考虑的最重要的事是招募顶尖人才。任何公司的成就,最终都是团队成员共同努力的结果。如果我们能持续吸引到最有才华的人,并且方向和目标一致,那么 OpenAI 一定能够成功。
因此,请大家好好想想,应该让谁加入我们。如果在招聘或其他方面我能提供帮助,请随时告诉我。我建议特别关注那些尚未完成研究生甚至本科学业,但显然非常聪明的人。最好在他们取得突破性成果之前让他们加入。
期待与大家合作,
埃隆
|2016 年:组建团队 - 薪酬架构 - 微软的千万美元订单 - 马斯克的反对
祝贺猎鹰 9 号成功
主题:转发:祝贺猎鹰 9 号成功(OpenAI 披露)
发件人:埃隆·马斯克
收件人:山姆·阿尔特曼、伊利亚·苏茨克维、格雷格·布洛克曼
时间:2016 年 1 月 2 日 8:18(周六)
[转发邮件]
嗨,埃隆,
祝你新年快乐,███!(注:█ 是 OpenAI 隐藏的信息,下同)
恭喜猎鹰 9 号着陆,这真是一个了不起的成就,现在是时候开始打造舰队了!
最近我看到你(还有山姆和其他 OpenAI 的人)频繁接受采访,称赞 AI 开源的优点,但我想你也清楚,这并不是某种万能的方案,它总不能神奇地解决安全问题吧?实际上,有许多有力的证据表明,你们采取的这种方法可能非常危险,甚至可能增加世界的风险。一些显而易见的观点在这篇博客文章中有很好的阐述,我相信你已经看过了,但还有一些其他的重要因素值得考虑:http://slatestarcodex.com/2015/12/17/should-ai-be-open/
我很希望能听到你对这些观点的反驳意见。
Re:转发:祝贺猎鹰 9 号成功(OpenAI 披露)
发件人:伊利亚·苏茨克维
收件人:埃隆·马斯克、伊利亚·苏茨克维、格雷格·布洛克曼
时间:2016 年 1 月 2 日 9:06(周六)
文章的重点是 “迅速突破” 场景:如果发生迅速突破,并且开发一个安全的 AI 比开发一个不安全的 AI 更难,我们开源所有内容,就可能让拥有大量硬件资源的恶意行为者轻易开发出一个不安全的 AI,而这个 AI 将迅速突破。
随着我们离开发 AI 越来越近,减少开放会变得更加合理。在 OpenAI 的语境中,“开放” 意味着 AI 开发完成后,所有人都可以从中受益。但不分享成果是完全可以接受的(不过短期乃至中期,为了招聘,分享所有成果无疑是正确的策略)。
Re:Re:转发:祝贺猎鹰 9 号成功(OpenAI 披露)
发件人:埃隆·马斯克
收件人:伊利亚·苏茨克维
时间:2016 年 1 月 2 日 9:11(周六)
没错。
后续想法
主题:后续想法(OpenAI 披露)
发件人:伊利亚·苏茨克维
收件人:埃隆·马斯克
抄送:格雷格·布洛克曼、山姆·阿尔特曼
时间:2016 年 2 月 19 日 10:28(周五)
几点说明:
解决了 “概念” 问题,并不意味着我们就能获得 AI。还需要解决的其他问题包括无监督学习、迁移学习和终身学习。目前我们在语言理解方面的表现也相当差。这并不意味着,这些问题在未来几年不会取得显著进展。但我们不能说,只有一个问题阻碍着我们实现完全达到人类水平的 AI。
我们今天无法开发 AI,是因为缺乏关键想法(也可能是计算机太慢了,但我们现在还无法确定)。强大的想法来自顶尖的人才。大规模的计算集群确实有帮助,非常值得投入,但作用相对较小。
接下来 6 到 9 个月内,我们有望取得传统意义上的重要成果,因为我们已经有了一支非常优秀的团队。要想取得改变整个领域的突破性成果更难、风险更大,需要更长时间。但我们也有合理的计划来应对这些挑战。
Re:后续想法(OpenAI 披露)
发件人:埃隆·马斯克
收件人:伊利亚·苏茨克维
抄送:格雷格·布洛克曼、山姆·阿尔特曼
时间:2016 年 2 月 19 日 12:05(周五)
坦率地说,AI 社区花了这么长时间才弄清楚这些概念,让我感到惊讶。这看起来并不算太难。将大量深度网络在高层次上连接到一起,听起来像是正确的方法,或者至少是正确方法的关键部分。███████████████████████████████
DeepMind 创造出深度智能的概率每年都在增加。也许在 2 到 3 年内它不会超过 50%,但很可能会超过 10%。考虑到他们的资源,在我看来,这个想法并不疯狂。
无论如何,我认为高估竞争对手总比低估好得多。
这并不意味着,我们应该着急地招聘不够优秀的人才。这么做无法取得任何好结果。我们需要做的是加倍努力,去寻找世界上最优秀的人才,采取一切必要的手段将他们吸引到公司里,并给他们高度的紧迫感。
在接下来的 6 到 9 个月内,OpenAI 必须取得一些重要的成果,来证明我们真正有实力。不一定非得是重大突破,但至少应该足够让全球的关键人才注意到它,并产生兴趣。
████████████████████████████████████████████████████████████████████████████████████████████████████████████
薪酬框架
主题:薪酬框架
发件人:格雷格·布洛克曼
收件人:埃隆·马斯克
抄送:山姆·阿尔特曼
时间:2016 年 2 月 21 日 11:34(周日)
大家好,
我们正在进行成立以来的第一轮全职招聘。这显然非常重要,因为这将对未来产生长期影响。我现在还不太有把握单独做决定,希望能得到一些指导。
以下是我们当前的安排:
创始团队:年薪 27.5 万美元 + 0.25% 的 YC 股权
也可以选择把年薪永久转为每年固定的 12.5 万美元奖金,或者等值的 YC 或 SpaceX 股权。我不确定是否有人选了这个。
新聘人员:17.5 万美元年薪 + 12.5 万美元年终奖或等值的 YC 或 SpaceX 股权。奖金根据绩效评估,可能为 0% 或大于 100%。
特殊情况:格雷格 + 伊利亚 + 特雷弗
我们的计划是基本薪资保持大体一致,用浮动的奖金奖励表现优秀的员工。
一些说明:
股权 8 年内归属完成,我们使用 20% 的年化折算,12.5 万美元的奖金相当于 0.12% 的 YC 股权 。因此,最终价值大约为 75 万美元。虽然这个数字听起来更有吸引力,但估值很难精确。
创始团队最初每人 17.5 万美元年薪。在实验室启动的第二天,我们主动将每个人的薪水加了 10 万美元,告诉他们,我们在实验室成功时会在财务上全力支持他们,并要求他们承诺忽视所有 offer,相信我们会照顾好他们。
我们目前正在面试 Brain (注:Google 的研究部门)的伊恩·古德费洛(Ian Goodfellow),他是我们这个领域内顶尖的两位科学家之一(另一个是 DeepMind 的亚历克斯·格雷夫斯[Alex Graves])。他是 Brain 中最优秀的人,所以 Google 肯定会全力争取他。我们计划将他纳入创始团队的薪酬方案。
一些薪资数据:
约翰在 DeepMind 的年薪总包为 25 万美元,他认为自己可以轻松谈到 30 万美元。
FAIR(Facebook AI 实验室)口头上给 Wojciech(沃伊切赫·萨伦巴)的报价是每年 125 万美元(但没有具体的书面信息)。
安德鲁·图洛克(Andrew Tulloch)在 Facebook 的年薪为 80 万美元(大部分是股票,还在归属中)。
伊恩·古德费洛目前在 Google 的薪酬是 16.5 万美元现金 + 每年 60 万美元股票。
苹果公司有点急着招人,提供 55 万美元现金(加股票,推测还有额外补偿)。不过,我认为没什么优秀的人会接受。
我目前在关注的两个具体候选人:
安德鲁很有可能接受我们的报价,但他担心薪资差距太大。
伊恩说,薪资不是他最关注的事,但湾区的生活成本很高,他希望能买得起房子。如果 Google 给他开出像给伊利亚那样的薪资,我不确定会发生什么。
我现在的问题是:
1. 我预计安德鲁会尝试提高薪资。我们是否应该坚持现有的 offer,并告诉他只有在他非常愿意接受这个薪资后才能加入(并告诉他其他人也放弃了更高的收入)?
2. 伊恩将在周三面试并(我相信)收到 offer。我们是否应该把他的 offer 视为最终方案,还是应该根据 Google 的 offer 调整?
3. 根据 1 和 2 的问题,我在思考这种平衡薪资的策略是否可行。如果我们继续保持现状,我觉得我们可能需要特别强调浮动奖金的价值。或许可以考虑使用签约奖金作为杠杆吸引人才?
4. 虽然不太重要,但我们的实习生薪资低于市场:每月 9 千美元。(Facebook 提供 9 千美元 + 免费住房, Google 提供约 1.1 万美元的月薪)。对实习生来说,薪资并不是最重要的,经验才是重点。但我认为我们可能因此失去了一些合适的候选人。考虑到实习生每小时的薪资比全职员工低很多,我们是否应该考虑提高薪资?
随时可以讨论这些问题。
gdb
Re:薪酬框架
发件人:埃隆·马斯克
收件人:格雷格·布洛克曼
抄送:山姆·阿尔特曼
时间:2016 年 2 月 22 日 0:09(周一)
我们必须全力以赴争取顶尖人才。就提高薪资吧。如果某个时候需要重新调整现有员工的薪资,那也没问题。
我们要么吸引到世界上最优秀的人才,要么被 DeepMind 打败。
不惜一切代价吸引顶尖人才,我完全支持。
DeepMind 正在给我带来极大的心理压力。如果他们赢了,后果将非常严重,他们 “一心统治世界” 的价值观让我非常担心。
显然,他们正在取得重大进展,毕竟那边的天才实在太强了。
Re:Re:薪酬框架
发件人:格雷格·布洛克曼
收件人:埃隆·马斯克
抄送:山姆·阿尔特曼
时间:2016 年 2 月 22 日 0:21(周一)
明白,完全理解你的意思。计划已经定了。我会继续和山姆一起处理具体细节,如果你想了解最新情况,请随时告诉我。
gdb
《连线》杂志采访
新增参与者:
山姆·泰勒(Sam Teller),时任马斯克首席助理
主题:《连线》杂志采访
发件人:格雷格·布洛克曼
收件人:埃隆·马斯克
抄送:山姆·泰勒
时间:2016 年 3 月 21 日 0:53(周一)
嗨,埃隆,
我接受了《连线》杂志关于 OpenAI 的采访,事实核查员向我提出了一些问题。我想特别和你同步两点,确保回答合理并与你的立场一致:
1. OpenAI 是否会公开所有的研究?
在任何时候,我们都会采取最有可能最大化造福世界的行动。短期内,我们认为最好的方式是公开我们的研究成果。但从长期来看,这可能不是最好的方法:例如,某些有潜在危险的技术可能不适合立即共享。无论在任何情况下,我们都会无偿分享我们所有研究的所有成果,并希望这些成果能惠及整个世界,而不是集中于某个特定机构。
2. OpenAI 是否认为,让尽可能多的人掌握最先进的 AI 技术,是防止过于强大的 AI 落入私人手中并威胁世界的最佳路径?
我们认为,用 AI 扩展个体意志,是确保 AI 始终造福人类的最有前景的路径。这种方法的吸引力在于,有许多能力相当的智能体存在时,它们可以相互制衡,防止单一坏人的影响。但我们不会声称已经有了所有的答案:相反,我们正在建立一个能够寻找这些答案的机构,而且无论答案为何,这个机构都能采取最佳行动。
谢谢!
gdb
Re:《连线》杂志采访
发件人:埃隆·马斯克
收件人:格雷格·布洛克曼
抄送:山姆·泰勒
时间:2016 年 3 月 21 日 6:53(周一)
没问题。
关于莫琳·多德的问题
新增参与者:
莫琳·多德(Maureen Dowd),时任《纽约时报》专栏作家
亚历克斯·汤普森(Alex Thompson),时任莫琳·多德的助理
主题:关于莫琳·多德的问题
发件人:山姆·泰勒
收件人:埃隆·马斯克
时间:2016 年 4 月 27 日 7:25(周三)
[转发亚历克斯·汤普森的邮件]
嗨,山姆,
希望你今天过得愉快,很抱歉再次打扰你。我想确认莫琳是否可以了解马斯克先生对扎克伯格先生一些公开评论的回应。特别是扎克伯格称马斯克对 AI 的担忧 “过于夸张”,并批评那些 “危言耸听” 者关于 AI 危险的言论。我在下方附上了扎克伯格先生的评论细节:
最近在德国,当被问及马斯克的担忧时,扎克伯格称这些担忧 “过于夸张”,并赞扬了 AI 的突破,其中包括一个系统。他声称,这个系统可以用手机诊断皮肤病变是否是癌症,准确性堪比 “最好的皮肤科医生”。
“除非我们真的搞砸了,” 他说,机器将始终服从于人类,而不会成为 “超人”。
“我认为,我们可以开发一种 AI,它为我们工作,帮助我们 ...... 有些人渲染 AI 是一种巨大威胁,但我觉得这种担忧过于牵强,远不及疾病、暴力等造成的灾难。” 在 4 月的 Facebook 开发者大会上,他将自己的理念概括为:“选择希望,而不是恐惧。”
亚历克斯·汤普森
《纽约时报》
Re:关于莫琳·多德的问题
发件人:埃隆·马斯克
收件人:山姆·泰勒
时间:2016 年 4 月 27 日 12:24(周三)
历史明确表明,任何强大的技术都是一把双刃剑。假设 AI——可以说是所有技术中最强大的——仅仅只有一面,是非常愚蠢的。
微软最近的 AI 聊天机器人就是一个例子,展示了它如何在短时间内迅速产生负面影响。明智的做法是,对 AI 的到来保持谨慎,确保其力量被广泛分配,而不是被任何一家公司或个人掌控。
这正是我们创立 OpenAI 的原因。
微软托管协议
主题:微软托管协议
发件人:山姆·阿尔特曼
收件人:埃隆·马斯克
抄送:山姆·泰勒
时间:2016 年 9 月 16 日 14:37(周五)
以下是微软的条款:用 1000 万美元,购买价值 6000 万美元的计算资源,我们也可以对他们在云上部署的内容提出建议。如果你有什么反馈,请告诉我。
山姆
微软 /OpenAI 条款
微软与 OpenAI:加速 Azure 和 CNTK 上深度学习的发展
此《非约束性条款清单》(以下简称 “条款清单”)由微软公司(“微软”)与 OpenAI(“OpenAI”)共同拟定,列出了双方潜在商业合作关系的条款。该条款清单用于讨论,并未涉及在签署具有法律约束力的商业协议(“商业协议”)之前需要达成一致的所有事项。该条款清单的存在及内容,以及与之相关的所有讨论,均属于双方于 2016 年 3 月 17 日签署的保密协议(“NDA”)下所定义和约束的保密信息。除保密义务外,本条款清单本身并不具约束力。
合作目的
OpenAI 专注于以造福人类的方式推动深度学习发展。微软希望与 OpenAI 合作,加速微软 Azure 上的深度学习发展。为此,微软将以优惠价格向 OpenAI 提供 Azure 的计算资源,使 OpenAI 能够有效地推进使命。
合作目标
微软
加速 Azure 上的深度学习发展
吸引下一代开发者群体
共同宣传并推动 Azure 上的深度学习发展
OpenAI
在协议期内(3 年)获得大幅折扣的 GPU 计算资源:价值 6000 万美元的计算资源,仅需支付 1000 万美元,用于其非营利研究
宣传和推广 OpenAI 使用 Azure
参与方(法律实体):微软、OpenAI
拟定协议签署日期:2016 年 9 月 19 日
拟定协议生效日期:同协议签署日期
法律文件起草方:微软
合作期限:3 年
工程条款
计算资源:微软将按照商定的价格向 OpenAI 提供 GPU 计算资源,支持他们在 Azure 上运行任务。
地理位置:微软将根据容量和可用性自行决定计算资源的位置,并向 OpenAI 提供部署策略和时间表。
服务水平协议:微软保证,OpenAI 在同一可用性集(Availability Set)部署两个或更多实例的虚拟机,在 99.95% 的时间内,至少有一个可用。微软会遵守 Azure 官方网站上的服务水平协议 。[链接失效]
评估、推广和使用 CNTK v2、Azure Batch 和 HD-Insight:OpenAI 将评估 CNTK v2、Azure Batch 和 HDInsight,用于研究并提供改进建议。OpenAI 与微软合作,在其研究和开发者生态系统中推广这些工具,并将微软 Azure 作为首选的公共云平台。在适合研究的前提下,OpenAI 可自行决定采用这些产品。
扩展计划:微软和 OpenAI 合作制定扩展计划,以平衡各集群的容量。初始扩展时间表为至少 30 天,并根据微软未来的容量扩展计划调整。
容量分配:OpenAI 将在短期内获得位于美国南部中部的试用集群的容量。2016 年四季度上线的 K80 GPU 集群将为 OpenAI 提供配额,预计 2017 年一季度(自然年)进一步扩大容量。
财务条款
微软以大幅折扣的方式提供价值 6000 万美元的计算资源(包括 GPU),OpenAI 在合作期内支付 1000 万美元。如果合作期结束时,OpenAI 使用的计算资源少于 1000 万美元,OpenAI 要支付未使用部分的差价。
营销与公关条款
微软和 OpenAI 承诺共同推广 Azure 平台的深度学习能力,并达成以下共识:
Ignite:在微软 Ignite 活动中宣布合作伙伴关系,由双方高管(OpenAI 的山姆·阿尔特曼和微软的萨提亚·纳德拉)共同见证合作启动。
公关:微软和 OpenAI 将共同发布关于合作伙伴关系的联合新闻稿,并制作博客文章和视频等宣传材料。
Re:微软托管协议
发件人:埃隆·马斯克
收件人:山姆·阿尔特曼
抄送:山姆·泰勒
时间:2016 年 9 月 16 日 15:10(周五)
这真让我感到恶心。这太扯淡了,完全符合我对他们的预期。
评估、推广和使用 CNTK v2、Azure Batch 和 HD-Insight:OpenAI 将评估 CNTK v2、Azure Batch 和 HDInsight,用于研究并提供改进建议。OpenAI 与微软合作,在其研究和开发者生态系统中推广这些工具,并将微软 Azure 作为首选的公共云平台。在适合研究的前提下,OpenAI 可自行决定采用这些产品。
可以这么说,我们愿意让微软把闲置的计算资源捐赠给 OpenAI,并让外界知道这一点,但我们不想签署任何合同或同意 “推广”。他们可以随时终止支持,我们也可以随时退出。
Re:Re:微软托管协议
发件人:山姆·阿尔特曼
收件人:埃隆·马斯克
抄送:山姆·泰勒
时间:2016 年 9 月 16 日 15:33(周五)
读到那部分我也有同样的反应,他们已经同意删除这一条。
我们最初只是希望得到捐赠闲置计算资源,但团队希望确保有足够的资源。我会和微软谈,确保没有任何附加条件。
Re:Re:Re:微软托管协议
发件人:埃隆·马斯克
收件人:山姆·阿尔特曼
抄送:山姆·泰勒
时间:2016 年 9 月 16 日(周五)
我们应该低调处理这事。不要有任何承诺,也不签合同。
Re:Re:Re:Re:微软托管协议
发件人:山姆·阿尔特曼
收件人:埃隆·马斯克
抄送:山姆·泰勒
时间:2016 年 9 月 16 日 18:45(周五)
好的,我会看看这个方向上能争取到多少资源支持。
Re:Re:Re:Re:Re:微软托管协议
发件人:山姆·泰勒
收件人:埃隆·马斯克
时间:2016 年 9 月 20 日 20:05(周二)
以 “由 OpenAI 全权决定、努力保证诚信” 为前提,微软现在愿意达成一项总额为 5000 万美元的协议,并且双方可随时终止合作。没有推广要求,没有附加条件,也不会让我们看起来像微软的营销工具。可以推进了吗?
Re:Re:Re:Re:Re:Re:微软托管协议
发件人:埃隆·马斯克
收件人:山姆·泰勒
时间:2016 年 9 月 21 日 0:09(周三)
只要他们不在宣传中主动提到这件事,我没意见。如果能避免看起来像微软的 “营销工具”,这比 5000 万美元更有价值。
|2017 年(上):首席科学家的双周通报 - 确定 AGI 研究计划 - 初步成果
双周通报
主题:双周通报(OpenAI 披露)
发件人:伊利亚·苏茨克维
收件人:格雷格·布洛克曼、埃隆·马斯克
时间:2017 年 6 月 12 日 22:39(周一)
这是我们双周通报的第一篇。我们的目标是让你随时了解最新情况,并帮助我们更好地利用你到公司的机会。
计算资源:
“计算资源” 有两种用处:一种是快速运行大型实验,另一种是并行运行多个实验。
95% 的进展来自能快速运行大型实验的能力,并行运行多个实验的用处要小得多。
在过去,一个大型集群可以帮你运行更多实验,但它不能帮你快速运行单个大型实验。
因此,学术实验室曾经能与 Google 竞争,因为 Google 唯一的优势是能并行运行多个实验。这并不是一个很大的优势。
最近,将数百个 GPU 和数百个 CPU 结合起来变成可能,可以运行一个比单机实验大 100 倍的实验,花的时间也大致相当。这得益于许多不同团队的努力。结果是,为了保持竞争力,最小计算集群的规模要比以前大 10 到 100 倍。
目前,仅仅是用非常小的神经网络策略开发的小型 1v1 模式,每个 Dota 实验就要使用超过 1000 个内核。仅仅是为了赢得 1v1 模式,我们就需要更多计算资源。要赢得完整的 5v5 模式,我们只要运行更少的实验,但每个实验的规模至少大一个数量级(可能更多!)。
总结:关键在于我们实验的规模和速度。在过去,一个大型集群无法让任何人快速运行更大的实验。今天,借助大型集群,我们可以将一个大型实验的运行速度提高 100 倍。
想要在理论上完成我们的项目,我们要在接下来的 1 到 2 个月把 GPU 的数量增加 10 倍(我们已有足够的 CPU)。我们将在面对面会议中讨论具体细节。
Dota 2:
我们将在 1 个月内解决游戏的 1v1 版本。游戏粉丝们非常关心 1v1 模式。
我们现在已经到了这样一个阶段:* 单个实验 * 消耗数千个内核,增加更多的分布式算力能够提高性能。
这里有一个很酷的视频,展示了我们的机器人做了一些相当聪明的事情:[链接失效]
快速学习新游戏:
基础设施工作正在进行中
我们达到了几个基准线
根本来说,我们还没有达到理想状态,正在调整。
机器人:
当前状态:HER 算法([链接失效])可以快速学习解决许多之前无法解决的低维度机器人任务。它并不是显而易见的,但简单且有效。
6 个月内,我们将用 HER 算法和 sim2real 方法(如 [链接失效])完成以下至少一个目标:单手解魔方、转笔([链接失效])、健身球(Chinese ball rotation)([链接失效])。
上述任务将在机器人手上应用:[Google Drive 链接] [这个视频是人工控制的,而不是算法控制。需要登录 OpenAI 账户才能查看视频]。
自我对弈作为通向 AGI 的关键路径:
多智能体环境中的自我对弈是神奇的:如果你将智能体放到一个环境中,无论它们多聪明(或不聪明),环境都会给它们恰到好处的挑战,它们只有打败竞争对手才能应对。例如,如果你有一群孩子,他们会觉得彼此是竞争关系;同样,一群具有相似智力的超级智能体也会如此。因此,自我对弈的 “解决办法” 就是变得越来越聪明,没有界限。
自我对弈让我们 “从无到有”。一个竞争游戏的规则可以很简单,但玩这个游戏的最佳策略却可能极为复杂。(激励示例:[链接失效])。
在模拟环境中训练智能体,可以用对抗战斗(如摔跤)培养出非常强的灵活性。这里有一个我们训练的蚂蚁机器人的搏斗视频:<****>
当前的自我对弈工作:让智能体学习开发一种语言。(动图在 [链接失效] 中)智能体正在做 “工作中的事”,这还是一个进行中的工作。
我们还有一些更酷的小项目,将在取得重要成果时提供更新。
Re:双周通报
发件人:埃隆·马斯克
收件人:伊利亚·苏茨克维
抄送:格雷格·布洛克曼
时间:2017 年 6 月 12 日 22:52(周一)
谢谢,这是一个很棒的更新。
Re:Re:双周通报
发件人:埃隆·马斯克
收件人:伊利亚·苏茨克维
抄送:格雷格·布洛克曼
时间:2017 年 6 月 13 日 10:24(周二)
好吧。让我们找出最便宜的方式,确保计算资源不会成为瓶颈……
研发 AGI 的事项
主题:研发 AGI 的事项
发件人:伊利亚·苏茨克维
收件人:埃隆·马斯克、格雷格·布洛克曼
时间:2017 年 7 月 12 日 13:36(周三)
我们总是认为问题很难,因为聪明人已经在这些问题上努力了很长时间,却没有成功。人们很容易认为 AI 也是这样。然而,过去 5 年的进展表明,关于 AI 的最早、最简单的想法——神经网络——一直是正确的,而我们需要现代的硬件来让它们发挥作用。
从历史来看,AI 的突破总是发生在那些花 7 到 10 天训练的模型上。这意味着,硬件定义了 AI 突破的潜在边界。这更多是关于人类心理的说法,而不是关于 AI 的。如果实验时间超过这个范围,就很难把所有状态都记在脑海中,并反复迭代和改进。如果实验时间更短,你只要用更大的模型就行了。
AI 的进步不完全是一个硬件游戏,就像物理学不完全是粒子加速器的游戏一样。但如果我们的计算机太慢,再多的聪明人也无法实现 AGI,就像如果粒子加速器太小,我们就无法弄清楚宇宙是如何运作的。足够快的计算机是一个必要条件,过去所有的失败可能都是因为计算机速度不够,无法支持 AGI 实现。
直到最近,还没有办法将许多 GPU 结合起来加速实验。因此,在 “有效算力” 上,学术界与工业界是相同的。但今年早些时候,Google 使用了比通常情况下多两个数量级的计算资源改进了分类器架构,这通常需要研究人员花大量时间。几个月前,Facebook 发布一篇论文,展示如何在 256 个 GPU 上以接近线性加速的方式训练一个大型 ImageNet 模型(前提是使用一个特别配置的集群,具有高带宽的互联网络)。
过去 1 年,Google Brain 取得了令人印象深刻的成果,因为它们拥有比其他机构多一个或两个数量级的 GPU。我们估计,Brain 拥有大约 10 万块 GPU,FAIR 拥有大约 1.5 万到 2 万块,DeepMind 为每个研究员分配 50 块 GPU,并从 Brain 为 AlphaGo 租用了 5000 个 GPU。显然,当有人在 Google Brain 运行神经网络时,它会消耗掉 DeepMind 所有人的配额。
我们仍然缺少研发 AGI 需要的几个关键想法。我们如何利用系统对 “事物 A” 的理解来学习 “事物 B”(例如,我能否教会一个系统先学会计数,再学会乘法,然后解决文字问题)?我们如何开发具有好奇心的系统?我们如何训练一个系统,去发现各种现象的深层次原因——让它像科学家一样工作?我们如何开发一个没有经过精确训练,就能够适应新情况的系统(例如,在陌生的情境中应用熟悉的概念)?但是,如果有足够的硬件,能花 7 到 10 天运行相关实验,历史表明,就能找到正确的算法,就像物理学家只要拥有足够大的粒子加速器,他们就会迅速弄清楚宇宙是如何运作的一样。
有充分的理由相信,在未来 4 到 5 年,深度学习硬件每年都会加速 10 倍。世界已经习惯了相对悠闲的摩尔定律节奏,并且没有准备好迎接这种硬件加速带来的能力剧变。这种加速的发生,并不是因为芯片有了更小的晶体管或更快的处理速度。而是像大脑一样,神经网络本质上是可以并行化的,正在开发中的高度并行硬件将会做好这一点。
接下来 3 年,机器人技术应该能彻底解决,AI 应该会解决一个长期未被证明的定理,在编程竞赛中稳定获胜,应该会出现令人信服的聊天机器人(尽管没有哪个能通过图灵测试)。仅仅 4 年,每一个过夜的实验,都可能使用巨大的算力,如果拥有正确算法,人们一觉醒来可能会面临 AGI 的到来——接下来的 2 到 4 年内,可能会在对抗的多智能体模拟实验中找出这个算法。
要从事研发安全 AGI 的工作,OpenAI 需要:
每年都取得最好的 AI 成果。尤其是随着硬件性能指数级增长,我们要取得更好的成果。以当前的算力水平,我们的 DOTA 和魔方项目将取得令人瞩目的成绩。明年的项目更能突破常规,但主要取决于我们能有多少算力。
尽快将我们的 GPU 集群从 600 块 GPU 增加到 5000 块。按照上限估算,明年需要 1200 万美元的资本支出和 500 万到 600 万美元的运营支出。接下来每年,我们都需要翻倍增加硬件投入。但我们有理由相信,最终实现 AGI 需要的硬件成本不会超过 100 亿美元。
扩大我们的团队规模:2017 年 7 月是 55 人,到 2018 年 1 月增加到 80 人,再到 2019 年 1 月的 120 人,最终在 2020 年 1 月达到 200 人。我们已经学会了如何组织当前的团队,现在的瓶颈主要是能尝试新想法的聪明人不多。
锁定压倒性的硬件优势。<****> 说,他可以在 2 年内开发出等效于 TPU 3.0 的算力芯片,(如果数量足够)可以让我们的算力与 Google 持平。Cerebras (注:成立于 2015 年的 AI 芯片公司)的设计远远领先于它们俩,如果 Cerebras 的设想成真,拥有它的独家供应将让我们大幅领先竞争对手。经过更多的尽职调查,我们对如何做到这一点有了完整的想法,最好通过电话讨论。
2/3/4 最终都需要大量资金。如果我们能够筹集到资金,就有机会为 AGI 的诞生设定初始条件。资金需求将与成果规模扩大一起增长。我们需要讨论获得相关资金的选项,这是我们当前最大的不可控因素。
本周进展:
我们已经击败了我们最强的 1v1 测试玩家(他在北美 1v1 排名前 30,能以大约 30% 的胜率击败北美第一的 1v1 玩家)。但机器人仍然可以被一些特殊的玩法利用。我们正在研究这些漏洞并努力解决它们。
周六会再赛一场,这是我们击败顶级测试选手的第一场比赛:[链接失效]
每多训练一天,机器人就会变得更强大,也更难被利用。
机器人解决魔方问题取得进展。
改进后的解魔方模拟情况,由人类远程操控:<****>
我们防御对抗性样本(注:迷惑 AI 系统的数据)的研我们将在 8 月底前,完全解决对抗性样本问题。
████████████████████████████████████
██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████
███████████████████████████████████████████████████████████████████████████████████████████████████████████████
短信交流记录
新增参与者:
希冯·齐里斯(Shivon Zilis),2016 年加入 OpenAI,2017 年加入特斯拉,担任项目总监,后持续在 OpenAI 活跃,同时帮马斯克监管 Neurlink 等公司;2019 年加入 OpenAI 董事会;2021 年为马斯克生下双胞胎;2023 年退出 OpenAI 董事会。
短信交流记录(OpenAI 披露)
参与人:格雷格·布洛克曼、希冯·齐里斯
时间:2017 年 7 月 13 日(周四)
OpenAI 注:格雷格向希冯·齐里斯(她是马斯克和 OpenAI 的联络人)发送了当天与马斯克会面的要点。
希冯·齐里斯(22:35):
进展如何?
格雷格·布洛克曼(22:35):
进展顺利!!
Ocean:同意在 Ti 国际邀请赛(注:Dota 2 最大的年度赛事)期间公布;他(注:埃隆)建议与获胜队伍中最好的选手对战,我觉得这个主意很棒。我请他打电话给 <****>,他说他会的。我认为这比我们原计划要好——原计划是提前宣布我们已经击败了最强的 1v1 人类选手,然后在 Ti 现场的一个设备上展示我们的机器人████████████████████████████████████████。
GPUs:说按我们需要的去推动
Cerebras:我们简单讨论了反向合并的想法。Cerebras 话题之后,谈话转向了组织架构的讨论(他说非营利组织在早期确实是正确的选择,但现在可能不是最佳选择——伊利亚和我因为多个原因也同意这个观点)。他说他要去太阳谷请 <****> 捐钱。
希冯·齐里斯(22:43):
<****> 和其他人。会努力为你们争取。
双周通报
主题:双周通报
发件人:伊利亚·苏茨克维
收件人:埃隆·马斯克、格雷格·布洛克曼
时间:2017 年 7 月 20 日 13:56(周四)
机器人手已经能在模拟环境中解开魔方:
[网页链接](需要 OpenAI 登录)
实体机器预计 9 月也能完成同样的任务
1v1 机器人已经没有容易利用的漏洞
现在无法用 “非传统” 的策略击败它
有望 1 个月内击败所有人类
运动竞技机器人:
[网页链接](需要 OpenAI 账户登录)
发布了一个对抗示例,能从所有角度同时欺骗摄像头:
[链接失效]
DeepMind 直接用我们的算法生成跑酷结果:
DeepMind 的结果:https://deepmind.com/blog/producing-flexible-behaviours-in-simulated-environments/
DeepMind 的技术论文明确提到,他们直接使用了我们的算法。
关于我们算法的博客文章:[链接失效](DeepMind 使用的是旧版)。
接下来的计划:
设计营利架构
与 Cerebras 谈判合并条款
对 Cerebras 进行更多尽职调查
|2017 年(下):马斯克提出转型营利架构 - 争控制权 - 阿尔特曼赢了
北京希望 2030 年在中国制造 AI
主题:北京希望 2030 年在中国制造 AI (OpenAI 披露)
发件人:埃隆·马斯克
收件人:格雷格·布洛克曼、伊利亚·苏茨克维
时间:2017 年 7 月 21 日 3:34(周五)
他们会想尽办法拿到我们开发的东西。这可能是要改变路线(注:指更封闭、转营利公司)的另一个原因。
[新闻报道链接]
Re:北京希望 2030 年在中国制造 AI
发件人:格雷格·布洛克曼
收件人:埃隆·马斯克
抄送:伊利亚·苏茨克维
时间:2017 年 7 月 21 日 13:18(周五)
100% 同意。我们认为发展路径必须是:
AI 研究非营利组织(到 2017 年底)
AI 研究 + 硬件营利公司(从 2018 年开始)
政府项目(时间:??)
█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████
-gdb
Re:Re:北京希望 2030 年在中国制造 AI
发件人:埃隆·马斯克
收件人:格雷格·布洛克曼
抄送:伊利亚·苏茨克维
时间:2017 年 7 月 21 日 13:18(周五)
我们周六或周日聊一下吧。我有一个初步的计划跟你们讨论一下。
明天下午
主题:明天下午(OpenAI 披露)
发件人:埃隆·马斯克
收件人:格雷格·布洛克曼、伊利亚·苏茨克维、山姆·阿尔特曼
抄送:<****>、希冯·齐里斯
时间:2017 年 8 月 28 日 00:01(周一)
████████████████████████████████ 你们明天下午可以见面或电话聊一下吗?
是时候让 OpenAI 迈出下一步了。这就是触发事件。(注:OpenAI 的 AI 在 Dota 1v1 比赛中击败了人类最强选手。)
OpenAI 笔记
主题:OpenAI 笔记
发件人:希冯·齐里斯
收件人:埃隆·马斯克
抄送:山姆·泰勒
时间:2017 年 8 月 28 日 00:01(周一)
埃隆 ,
正如我之前提到的,格雷格提议这个周末讨论一些事项。伊利亚也加入了讨论,他们基本上分享了他们在想的所有内容。这是那次对话的概要,归为以下 7 个未解问题,我附上了他们的评论。请注意,我并不是支持这些,只是将我听到的信息整理并分享出来。
1. 短期控制结构?
是否需要绝对控制权?他们在想,是否可以设定某种创造性的 “否决条款”,在几乎其他人都反对既定方向时进行干预(不只是他们 3 人 [注:指格雷格、伊利亚和阿尔特曼],还可能是更广泛的董事会)?
2. 控制权的持续时间和过渡安排?
非谈判条款,似乎要必须达成一个坚不可摧的协议,以确保 AGI 创造出来时,绝不会由某一个人拥有绝对控制权。这意味着无论他们 3 人发生什么情况,都必须保证 2-3 年之后,公司控制权将被分散。
3. 投入的时间?
埃隆计划投入多少时间,实际上能投入多少时间?时间范围是多大?是每周一小时、十小时,还是介于两者之间?
4. 如何安排投入的时间?
他们不确定,埃隆在其他公司是如何安排时间的,以及他希望如何在这里安排时间。格雷格和伊利亚有信心可以处理软件 / 机器学习方面的工作,但在硬件方面不太自信。他们希望埃隆能在这方面投入时间,因为这是他们的薄弱环节,但同时也希望他能在他感兴趣的所有领域提供帮助。
5. 投入的时间与控制权的比例?
他们可以接受投入更少时间 / 更少的控制权,或投入更多时间 / 更多的控制权,但无法接受投入更少时间 / 更多的控制权。他们担心如果投入时间太少,就无法充分讨论相关的信息做出正确的决策。
6. 股权分配?
格雷格本能地倾向平等分配。我个人不赞成,他也寻求并愿意听取其他观点来调整他的想法。
格雷格提到,伊利亚放弃了在 Google 赚钱的机会,实际上已经贡献了数百万美元。
他们担心团队规模太小。
7. 融资策略?
他们的直觉是,一开始就筹集超过 1 亿美元。他们认为单是数据中心的成本就需要这么多,因此他们倾向于筹集更多资金。
结论:
不确定这些是否可行,但根据他们抛出的所有数据点,以下情况似乎能打消他们当前的顾虑:
每周投入 5-10 小时,拥有近乎完全的控制权,或者投入更少时间,拥有更少的控制权。
在极端情况下,为格雷格 / 山姆 / 伊利亚之外的人设立一个创造性的短期否决权。
无论格雷格 / 山姆 / 伊利亚的情况如何,都要确保一个为期 2-3 年的有限控制协议。
初步筹资 2 亿到 10 亿美元。
格雷格和伊利亚的股权最终稍微高于埃隆的 1/10(这一点仍然模糊)。
扩大团队规模。
Re:OpenAI 笔记
发件人:埃隆·马斯克
收件人:希冯·齐里斯
抄送:山姆·泰勒
时间:2017 年 8 月 28 日 00:08(周一)
这太烦人了。请鼓励他们去创办一家公司吧。我已经受够了。
短信交流记录
短信交流记录(OpenAI 披露)
参与人:格雷格·布洛克曼、希冯·齐里斯
时间:2017 年 9 月 4 日(周四)
OpenAI 注:此前六周,布洛克曼等人与马斯克就营利组织条款谈判。马斯克要求获得多数股权。马斯克在一次电话中说,他不关心股权,而是要为在火星上建城市积累 800 亿美元。
格雷格·布洛克曼(20:19):
事实上,我对于提议的股权比例和董事会控制权的细节还有点困惑。
听起来埃隆始终会获得最大的控制权(3 个席位或 25% 的席位),且所有权力归属董事会。
希冯·齐里斯:
是的。我猜测,他原本打算在最初阶段给你们否决权条款,但我不太确定。
格雷格·布洛克曼:
那拥有一个特定百分比的股权会有什么权力?
听起来是要设立固定的董事会成员,或者至少是从特定群体中选出董事会成员。
所以我很想听听具体细节。另外我猜董事会成员是偶数时,50% 就意味着无法采取行动?
希冯·齐里斯:
我认为它很快就会增长到至少 7 人。问题不在于此,而是在于它何时会过渡到正常的董事会,如果确实会过渡的话。
听起来他对持有 50%~60% 的股权不愿意让步,所以讨论是否有多数控制权已经没有意义了。
Re:当前状态(OpenAI 披露)
发件人:埃隆·马斯克
收件人:伊利亚·苏茨克维
抄送:格雷格·布洛克曼
时间:2017 年 9 月 13 日 12:40(周三)
听起来不错。这三个普通股董事席位(你、格雷格和山姆)应该由普通股股东选举产生。实际上这些席位都是你们的,除非发生不太可能的情况:要么是随着时间推移,你们失去了大部分普通股股东的信任,要么是你们自愿离开公司。
我认为 A 轮优先股(我占绝大多数)应该有权任命四个(而不是三个)董事席位。我不会想立即任命这些董事。就像我说的,我会拥有公司起步阶段的控制权,但这种情况很快就会改变。
初步的目标是组建一个 12 人的董事会(如果这个董事会最终真的要决定世界命运的话,可能会达到 16 人),每位董事都要深入理解技术,至少要对 AI 有基本认识,并具有坚定且明智的道德观。
除了 A 轮的四个席位和普通股的三个席位之外,每有一个新的领投方 / 盟友可能都会有一个董事席位。但是,新增的董事会成员不能有两个或更多董事会成员反对。移除董事会成员也遵循同样的规则。
我们还会想要增加一些与投资方无关的独立董事。适用相同的规则:增加或移除都不能有两个或更多董事会成员反对。
我太累了,不想把事情搞得太复杂。这个安排看起来基本是对的。如果董事会有 16 人,我们将拥有 7/16 的投票权,而我将拥有 25% 的控制权,这是我的底线。对我来说,这听起来是合适的。如果我们邀请的所有董事会成员最后都反对我们,那我们可能确实该接受失败。
如前所述,根据我的董事会经验(假设董事会由优秀、聪明的人组成),他们都是理性且通情达理的。基本不会出现依靠单个董事投票来决定胜负的激烈对抗情况,所以这些(投票权的安排)几乎肯定(希望如此)会变成一个无关紧要的问题。
最后说一句,跟你们讨论股权和董事会的事情,我觉得特别顺畅,心里很有底。
如果你们对上面的安排有什么想法,直接跟我说。
埃隆
OpenAI 注:马斯克说,他要当 OpenAI 的 CEO。2017 年 9 月 15 日,马斯克安排下属创办名为 Open Artificial Intelligence Technologies, Inc. 的营利公司。
坦诚的想法
主题:坦诚的想法
发件人:伊利亚·苏茨克维
收件人:埃隆·马斯克、山姆·阿尔特曼
抄送:格雷格·布洛克曼、山姆·泰勒、希冯·齐里斯
时间:2017 年 9 月 20 日 14:08(周三)
埃隆,山姆,
这是格雷格和我参与过的最重要的对话,如果项目成功,这将是全世界见证的最重要的对话。同时,对我们每个人来说,这也是一场深刻且私密的对话。
昨天,当我们考虑最终承诺时,我们意识到我们犯了一个错误。我们有一些重要的担忧没向你们提出。我们之所以没有提出来,是因为我们害怕:害怕伤害彼此的关系,害怕你们会看低我们,或者失去与你们合作的机会。
我们的担忧可能是无法解决的。我们真心希望不是这样,但我们知道,如果我们现在不讨论这些问题,我们肯定会失败。我们也相信,如果我们能够共同努力,还是有希望解决这些问题,继续合作下去。
埃隆:
我们真的很想与你合作。我们相信,如果我们联手,成功的机会将是最大的,潜力也是最大的,这一点毫无疑问。我们想和你一起工作的愿望非常强烈,以至于我们愿意放弃股权、个人控制权,甚至让自己随时可以被解雇——只要能和你合作,我们不惜一切代价。
但我们意识到,我们思考控制权对世界的影响时过于草率了。似乎太自大了,我们没有认真考虑成功可能带来的影响。
当前的架构为你提供了一条路径,你最终能拥有 AGI 的单方面绝对控制权。你说过,你不想控制最终的 AGI。但在这次谈判中,你向我们表明,绝对控制权对你来说极其重要。
例如,你说你需要成为新公司的 CEO,这样每个人都会知道你是负责人,尽管你也说过你讨厌做 CEO,宁愿自己不是 CEO。
因此,我们担心,随着公司在 AGI 方面取得真正进展,你会选择保留绝对控制权,哪怕你现在说不想这么做。我们不同意你的说法——即我们能够选择离开公司是我们最大的权力——因为一旦公司真正走向 AGI,公司将比任何人都重要。
OpenAI 的目标是让未来变得美好,避免 AGI 独裁。你担心 Demis (杰米斯·哈萨比斯,DeepMind 创始人)可能会创造一个 AGI 独裁。我们也是。所以,创造一个你可能成为独裁者的架构显然是个坏主意。尤其是我们还可以创造一个避免这种可能的其他架构。
我们还有一些较小的担忧,但我们认为在这里提出来是有意义的:
如果我们决定收购 Cerebras,我强烈感觉这将通过特斯拉完成。但如果我们也可以通过 OpenAI 做到这一点,为什么要用特斯拉呢?具体来说,问题在于,特斯拉有为股东最大化收益的责任,这与 OpenAI 的使命不一致。因此,最终结果可能不会对 OpenAI 最有利。
我们认为,OpenAI 作为非营利组织之所以成功,是因为你和山姆都参与其中。山姆真正地起到了制衡你的作用,这非常有效。至少到目前为止,格雷格和我在制衡你方面要差得多。我们认为这一点甚至在这次谈判中就得到了体现:我们差点准备搁置长期 AGI 控制权的问题,而山姆坚持了自己的立场。
山姆:
当格雷格和我遇到困难时,你总能提出深刻而正确的答案。你已经非常深入和彻底地思考了这个问题的解决方案。
格雷格和我懂技术执行,但我们不知道架构的决策在接下来的 1 个月、 1 年或 5 年内将如何发展。
但在这个过程中,我们无法完全信任你的判断,因为我们不了解你的权衡逻辑。
我们不明白为什么 CEO 的头衔对你如此重要。你提到的理由一直在变,我们很难理解什么在驱动它。
AGI 真是你的主要目标吗?它与你的政治野心有什么关联?你的想法如何随着时间变化?
格雷格和伊利亚:
在这次谈判中,我们也有失败之处,我们在这里列出一些(埃隆和山姆,我们确信你们会有很多补充 ......):
在这次谈判中,我们意识到,我们让 2-3 年后的财务回报影响了我们的决策。这就是为什么我们在控制权问题上坚持——我们觉得股权已经足够好,为什么还要担心呢?但这种态度是错的,就像那些认为 AI 安全不是问题的 AI 专家一样,因为他们根本不相信自己会开发出 AGI。
我们在谈判中没有完全说出真相。虽然我们有各种借口,但这种行为对整个过程造成了伤害,我们可能会因此失去山姆和埃隆的支持。
目前的问题已经足够多,因此我们认为非常有必要见面并谈清楚。如果我们不这么做,我们的合作就不会成功。我们四个人今天能见面吗?如果我们都说出真实的想法,并解决问题,我们要创立的公司更有可能承受它未来将面对的强大挑战。
格雷格 & 伊利亚
Re:坦诚的想法
发件人:埃隆·马斯克
收件人:伊利亚·苏茨克维
抄送:山姆·阿尔特曼、格雷格·布洛克曼、山姆·泰勒、希冯·齐里斯
时间:2017 年 9 月 20 日 14:17(周三)
各位,我受够了。我已经忍无可忍了。要么你们自己去做点什么,要么继续以非营利组织的形式运营 OpenAI。在你们做出明确承诺留在 OpenAI 之前,我不会再为 OpenAI 提供资金。否则我就是一个傻瓜,白白资助你们创业。讨论到此为止。
Re:Re:坦诚的想法
发件人:埃隆·马斯克
收件人:伊利亚·苏茨克维
抄送:山姆·阿尔特曼、格雷格·布洛克曼、山姆·泰勒、希冯·齐里斯
时间:2017 年 9 月 20 日 15:08(周三)
明确一点,这并不是要求你们接受之前讨论内容的最后通牒。那些内容已经不再是可选项了。
Re:Re:Re:坦诚的想法
发件人:山姆·阿尔特曼
收件人:埃隆·马斯克、伊利亚·苏茨克维
抄送:格雷格·布洛克曼、山姆·泰勒、希冯·齐里斯
时间:2017 年 9 月 21 日 9:17(周四)
我对非营利架构仍然充满热情!
非营利组织
新增参与者:
霍尔登·卡诺夫斯基(Holden Karnofsky),美国专注研究和资助的非营利组织 Open Philanthropy 的联合创始人。2017 年向 OpenAI 捐赠 3000 万美元,成为董事,后来退出
主题:非营利...
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.