网易首页 > 网易号 > 正文 申请入驻

创业一年半,胖了30斤,AI大佬感叹:还是回谷歌好

0
分享至



机器之心报道

编辑:蛋酱、泽南

回到大厂,和老领导重聚。

「由于工作强度和不健康的生活方式,我已胖了 15 公斤。」

本周一,知名 AI 学者、前谷歌大脑高级研究科学家 Yi Tay 在短短一年半的创业之后官宣回到谷歌,他显得很高兴。



Yi Tay 这次回到谷歌,成为了 DeepMind 旗下的一名高级研究员。此前,他是创业公司 Reka AI 的首席科学家和联合创始人。而在成为这家初创公司联合创始人之前,他是 Google Brain 的高级研究员,从事大型语言模型和人工智能研究。再往前,他是 Google Research 美国研究团队的技术主管,负责 Transformer 架构和扩展。



这是 Yi Tay 的头像照片。

创办 Reka 之前,在谷歌大脑工作的 3 年多的时间里,他总共参与撰写了大约 45 篇论文,是其中 16 篇的一作。一作论文包括 UL2、U-PaLM、DSI、Synthesizer、Charformer 和 Long Range Arena 等。

很多知名的大模型背后都有他的贡献,包括 PaLM、UL2、Flan-U-PaLM、LaMDA/Bard、ViT-22B、PaLI、MUM 等等。

然而就是这样一位科研牛人,出去创业不久之后也表示自己「悟」了。

AI 领域的创业究竟有多卷?Yi Tay 在回看这段经历之余,分享了在短短一年多创业时间里他的一些工作、生活瞬间。



的确肉眼可见地越来越胖。

在最新的一篇博客中,Yi Tay 对他近一年半的经历进行了复盘。

《重返 Google DeepMind》

关于 Reka 的反思

我很感谢在加入 Reka 并与他人共同创建 Reka 的过程中学到和经历的一切。

在技术上,我学到了很多谷歌之外的基础架构知识,学会了使用 Pytorch/GPU 和其他外部基础架构。我和 Reka 创始团队的其他成员一起,还以成本最优的方式建立了非常好的模型。我还学会了如何应对不可靠的 GPU、供应商和计算资源(参考机器之心报道:《「还是谷歌好」,离职创业一年,我才发现训练大模型有这么多坑》)。

基于我的经验,我还在 WebConf LLM 日主题演讲和越南 GenAI 峰会上发表了技术、反思和个人演讲。此外,我还要特别感谢 swyx 在 latentspace pod 上邀请我讲述我的探险经历,以及 TechInAsia 为我提供的有趣的炉边谈话。

同时,作为初创企业的联合创始人,我还经历了许多有趣的事件,如果我一直待在谷歌的话,我永远也不会有机会经历这些。这是一次大开眼界的经历。我学到了很多关于初创企业、业务和从头开始创建公司的过程的知识。尽管如此,我仍然更认同自己是一名科学家 / 研究员,因此我决定回归本源。

我为我们取得的成就感到骄傲,尤其是在 Reka 的早期。五月份,我们的 Reka Core 在 Lmsys 上首次进入前五名。实际模型排名第 7,我们实现了超越 GPT-4 早期版本的目标。与其他实验室相比,我们拥有的资源(资金、计算和人力)要少得多,因此我们的成绩令人印象深刻。我们筹集了 1 亿多美元的 lifetime funding,这与其他团队相比仍然相对较少。

此外,这还是由一个不到 15 人的技术团队完成的。

对个人来说,这又是一段神经紧张的时期,尤其是在我开始创业之旅时,也是我离开谷歌之后,我和妻子即将迎来我们的第一个孩子。为了同时兼顾这么多事情,我的身体和精神健康都受到了很大的影响,由于工作强度和不健康的生活方式,我的身体胖了 15 公斤。

好的一面是,我现在正积极努力地调养自己,使自己恢复到完全健康的状态,也许下次我还会写一篇关于我的这段疗伤经历的文章。

对我来说,这是一次狂野而有意义的旅程。我感谢大家给了我这段美妙的旅程。我非常享受与大家共事的过程,也非常享受在迪拜、京都和巴厘岛等有趣的地方举行的团队活动。

我有过一段美好的时光,我相信公司会在 Reka 雇用的这么多有才华、有能力的人的帮助下发展得很好!

这是一次很好的休假 / 学习经历。

现在是时候回到谷歌从事研究工作了。

特别声明

这可能有点随意,但对我个人来说,放弃舒适的生活环境而去创业真的很可怕。

我很感谢在这段时间里一直与我保持联系的所有谷歌朋友。即使在我转型成为一名 Xoogler 并更多地融入初创企业生活的过程中,我也为拥有这样一个支持网络而感到幸运。特别要感谢(排名不分先后)Vinh、Derek、Denny、Steven、Siamak、Mostafa、Don、Divy 和 Quoc,还有 Xoogler 的其他朋友,如 Jason、Jerry、Hyung Won 和 Afroz,他们在我离开后仍保持联系。

有趣的是,在这段时间里,我和你们中的很多人都见了面!在新加坡的某个时刻,我还和 Derek、Vinh、Jason、Jerry、Quoc、Divy、Sanket、Swaroop 和 Neil 一起玩耍过。此外,邀请我去越南演讲的 Thang Luong 也非常好!

感谢大家对我的热情 / 支持,感谢大家低调地提醒我应该回来。最后,也是最重要的一点,我感谢 Quoc 在这 1 年半的时间里对我的关心和友谊;感谢 Jeff Dean 在新加坡与我共进晚餐(并提醒我谷歌很棒!);感谢我的招聘人员 Katelyn 在这 1 年多的时间里一直与我保持联系!

我很高兴能回来。



始于热情,终于疲惫:大厂人才回流,风向又变了?

2023 年 3 月份,Yi Tay 宣布离开谷歌,参与创办了 Reka 并担任该公司的首席科学家,主攻大型语言模型。

我们知道当时 ChatGPT 刚推出不久,在这个时间段,选择趁大模型热潮辞职创业的人很多,离开的原因很多样:对大模型方向前景的看好,对经济复苏的推断,投资人的推动,还有就是,很多人提到了积重难返的大公司病。

许多从谷歌离开的员工都发过「小作文」,表示谷歌问题的根源不是「技术」,而是在于「文化」,比如员工的使命感不足,公司为了避免风险设置了繁琐的系统和流程。

和 Yi Tay 前后脚离职的 AppSheet 创始人 Praveen Seshadri 就写过一篇《Google 出了什么问题》,直言「如今的谷歌与当年的微软一样,正在逐步走向衰落。」

然而一年半过去了,我们发现很多 AI 人才都在「回流」大厂。

除去因为种种原因创业受阻的一批人之外,其他人想回去的原因可能很简单:创业真太累了。

今年 8 月,李沐也复盘了自己创业一年的体会:

即使拿到了融资,拿到了做 LLM 的入场券,这其中也包含了常人很难经历的「大起大落」:

在回到母校上海交大的演讲中,他也提到了创业给自己带来的健康方面的影响:

在公司步入正轨之后,李沐仍然觉得自己当时「脑子抽了」:

品尝完创业的艰辛之后,知名的学者也会发出感叹。

对此,你怎么看?

参考内容:

https://www.yitay.net/blog/returning-to-google-deepmind

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
成都市政协高新区工作委员会主任、市政协办公厅一级巡视员金城 接受纪律审查和监察调查

成都市政协高新区工作委员会主任、市政协办公厅一级巡视员金城 接受纪律审查和监察调查

鲁中晨报
2024-12-26 19:28:06
撒贝宁遇到一字不会念,打电话问康辉:“库”去掉点念什么?康辉:扣200,没跑了!

撒贝宁遇到一字不会念,打电话问康辉:“库”去掉点念什么?康辉:扣200,没跑了!

每日一首古诗词
2024-12-25 07:07:27
“广东女孩婚礼取消7个环节”被央妈置顶转发:网友怨气直指司仪

“广东女孩婚礼取消7个环节”被央妈置顶转发:网友怨气直指司仪

史行途
2024-12-26 18:31:52
换帅如换刀!从11战10败到9连胜,球迷:他们有夺冠的实力

换帅如换刀!从11战10败到9连胜,球迷:他们有夺冠的实力

体育哲人
2024-12-26 21:14:15
越扒越可怕!海南飞行员神秘失踪,与两年前李前伟失踪案惊人相似

越扒越可怕!海南飞行员神秘失踪,与两年前李前伟失踪案惊人相似

小受谈历史
2024-12-26 14:28:21
毛东东第一次穿上军装,以这样的方式和太爷爷合影,画面令人动容

毛东东第一次穿上军装,以这样的方式和太爷爷合影,画面令人动容

大江
2024-12-23 17:12:57
王晓杰,被查

王晓杰,被查

新京报政事儿
2024-12-26 11:20:06
当年四野部队多强悍?美军:30万大军入朝竟没有一个人被侦察发现

当年四野部队多强悍?美军:30万大军入朝竟没有一个人被侦察发现

小陈爱历史
2024-12-26 09:01:48
外界曝俄军击落阿塞拜疆民航客机!俄方称是飞鸟撞击

外界曝俄军击落阿塞拜疆民航客机!俄方称是飞鸟撞击

项鹏飞
2024-12-26 17:43:09
中国又火了? 辽宁发现1030万吨“巨型宝藏”,真是缺啥来啥

中国又火了? 辽宁发现1030万吨“巨型宝藏”,真是缺啥来啥

常高俊April工作室
2024-12-23 18:57:14
世纪笑话!被山东击败后,主教练说“我们才是胜利者”,笑翻众人

世纪笑话!被山东击败后,主教练说“我们才是胜利者”,笑翻众人

南海浪花
2024-12-26 08:09:52
发现没?为什么很多退休老人喜欢跟团旅游?内行:这“4点”原因

发现没?为什么很多退休老人喜欢跟团旅游?内行:这“4点”原因

水大叔
2024-12-25 20:02:09
全国首部!珠海新条例,下月起实施!

全国首部!珠海新条例,下月起实施!

珠海发布
2024-12-26 18:41:28
拒接!电销行业集体崩溃了!网友分享太真实,全部拉黑都不清净

拒接!电销行业集体崩溃了!网友分享太真实,全部拉黑都不清净

有趣的火烈鸟
2024-12-26 15:02:10
郑爽给5岁儿子庆生,晒一家三口照疑已有新男友!在国外过得潇洒

郑爽给5岁儿子庆生,晒一家三口照疑已有新男友!在国外过得潇洒

娱乐团长
2024-12-24 14:05:41
世体:约纳坦-塔已决定加盟巴萨,将签约至2030年

世体:约纳坦-塔已决定加盟巴萨,将签约至2030年

懂球帝
2024-12-26 18:56:42
“不老男神”林志颖镜头下的真实状态,嘴唇处有明显疤痕

“不老男神”林志颖镜头下的真实状态,嘴唇处有明显疤痕

视点历史
2024-11-25 23:07:48
一张照片引众怒!同样都是跳水冠军,为何陈芋汐“不如”全红婵?

一张照片引众怒!同样都是跳水冠军,为何陈芋汐“不如”全红婵?

橘子大娱社
2024-12-26 18:35:03
严重违法!广东阳春市府机关幼儿园原保教主任陈景敏被开除公职

严重违法!广东阳春市府机关幼儿园原保教主任陈景敏被开除公职

鲁中晨报
2024-12-26 14:20:06
老人寿命长与短,主要看心跳?最新研究:1分钟心跳最佳次数

老人寿命长与短,主要看心跳?最新研究:1分钟心跳最佳次数

爆炸营养彭鑫蕊
2024-12-25 16:29:22
2024-12-26 22:32:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
9874文章数 142120关注度
往期回顾 全部

科技要闻

小米正搭建GPU万卡集群,大力投入AI大模型

头条要闻

柯文哲遭起诉求刑28年半 中国国民党、民进党表态

头条要闻

柯文哲遭起诉求刑28年半 中国国民党、民进党表态

体育要闻

再见,中超最后的超级巨星

娱乐要闻

57岁王祖贤分享近照,状态太好又被质疑整容

财经要闻

69亿订单"消失",卓然股份隐藏了什么?

汽车要闻

新物种iCAR V23的“尤里卡时刻”

态度原创

本地
时尚
手机
亲子
军事航空

本地新闻

好吃潮州|尝一口,这里的美食有点“潮”

实用!我找到了永不反弹的衣柜整理大法

手机要闻

科技美学 四大旗舰影像盲评 投票开启丨快来参加吧

亲子要闻

2岁重孙子去太奶奶家,给太奶奶买了水果,87岁太奶奶高兴坏了

军事要闻

中方批菲防长涉华言论出格荒唐

无障碍浏览 进入关怀版