查看原文
其他

OpenAI 首席科学家 Ilya 宣布离职

lencx 浮之静
2024-09-27

背景

是是非非,谁又能说清呢?外界只愿相信自己“看到的”,或“听到的”...

没想到 GPT-4o(GPT-4o:OpenAI 发布最强人机交互模型)刚发布Ilya Sutskever 就宣布离职了,其实他离职也并非毫无预兆。自去年 11 月,Ilya 与其他董事会成员共同推动了首席执行官 Sam Altman 的罢免,虽然最终改变了主意,但这一事件在公司内部引起了不小的震动。自此事件之后就淡出大众和媒体视野了(Elon Musk 也曾在推上多次询问 Ilya 去哪了)...

Jan Leike,曾领导“超级对齐”团队(Superalignment team[1]:目标是解决超级智能 AI 系统的对齐问题,确保这些比人类聪明得多的 AI 系统能够遵循人类的意图并安全运行)的另一位关键人物,也在最近辞职。他的职责将由 OpenAI 联合创始人 John Schulman 接管。Leike 和 Ilya 的相继离职,凸显了公司内部在战略和管理上的某些分歧。

尽管面临这些挑战,OpenAI 仍在不断前行。Sam 表示,OpenAI 将继续致力于其使命,确保 AGI(通用人工智能)的发展造福全人类。在 Jakub Pachocki 的领导下,OpenAI 将迎来新的篇章,继续在深度学习和人工智能的前沿领域开拓创新。

如果还不了解事件的始末,可以看看这几篇文章:

Ilya 宣布离职

2024 年 5 月 15 日,公司联合创始人兼首席科学家 Ilya Sutskever 正式离职(Ilya Sutskever to leave OpenAI, Jakub Pachocki announced as Chief Scientist[2]),并在推上宣布了这一决定。

在近十年后,我决定离开 OpenAI。这家公司的发展轨迹堪称奇迹,在 Sam、Greg、Mira 和 Jakub 出色的领导下,我相信 OpenAI 将构建出既安全又有益的 AGI。能够一起工作是我的荣幸,我会非常想念大家。感谢一切。我对未来充满期待——一个对我个人意义重大的项目,我会在适当的时候分享详细信息。

关于 Ilya 的这两条视频推荐看看

Sam 转帖

Sam 接连发了两条帖子,比较有意思的是 “feeling the AGI today 🩵” 帖子下的评论 “the real AGI was the friends we made along the way”(真正的 AGI 是我们一路上结识的朋友)。生活不正是如此?通过一些人和事,不断地连接起来。我也是通过 ChatGPT 结识到了许多有趣的人和事。

Ilya 和 OpenAI 将分道扬镳。这对我来说非常难过;Ilya 是我们这一代的领军人物,是我们领域的指路明灯,也是亲密的朋友。他的才华和愿景众所周知;他的温暖和同情心虽然不那么为人所知,但同样重要。

没有 Ilya,OpenAI 不会是今天的样子。尽管他有一些个人意义重大的项目要去做,但我永远感激他在这里所做的一切,以及他对我们共同开始的使命的承诺。我很高兴能与这样一位真正非凡的天才亲近,并且他如此专注于为人类争取最佳未来。

Jakub 将成为我们的新首席科学家。他也是我们这一代的领军人物;我很高兴他接过这个接力棒。他主持了许多我们最重要的项目,我非常有信心他将带领我们快速而安全地推进我们确保 AGI 造福所有人的使命。

Greg Brockman 转帖

我对 Ilya 充满感激,他是我的联合创始人、朋友,也是我婚礼的证婚人。

我们共同绘制了 OpenAI 今天的发展路径。当我们在 2015 年底开始时,OpenAI 是一个非营利组织,目标是让 AGI 有益,但没有一个可信的实现计划。最初的日子里,Ilya 和我花了无数时间认真思考文化、技术方向和策略的方方面面。我们意识到,为了建造前所未有规模的超级计算机,我们需要筹集比预期多得多的资金。我们共同为非营利组织筹集资金,虽然筹集到了比其他人认为可能的更多资金,但仍远未达到所需金额。我们提出创建一个为使命服务的营利性结构。一旦这种结构建立起来,我们继续与公司保持一致,保持对 AGI 使命的关注,同时解决每天如何进步的实际问题。

Ilya 是一个艺术家。他的愿景和热情具有感染力,他帮助我理解了这个领域,当时我刚刚起步。他无畏地通过直觉的逻辑结论进行思考。我们受到 1962 年出版的《Profiles of the Future》一书的启发,该书描述了导致科学界认为灯泡、飞行和进入轨道不可能的错误思维模式,而这些成就在不久之后便实现了。所以,尽管有些人怀疑 AGI 在可预见的未来内是否可能实现,我们依然坚持我们的信念,相信深度学习可以带我们走得更远。

使命远未完成,伊利亚在帮助建立 OpenAI 的基础方面发挥了关键作用。感谢你的一切。

📌 Profiles of the Future: An Inquiry into the Limits of the Possible

这本书最初发表于 1962 年,是基于 Arthur C. Clarke 在 1959-1961 年间撰写的文章。书中的主题并非着眼于可以预见的近期成就,而是最终的可能性,因此即使是过去十年中发生的显著事件也并未使其内容显得过时。Clarke 在新版中对书中的内容进行了修订和补充,使其更加贴合现代读者的理解。

在这本书中,作者带领读者展开了对未来各种可能性的探索。他探讨了第四维度、重力法则的逐渐消失、太阳系的全面探索以及其中某些星体的殖民化。Clarke 还设想了海洋将被用于开采能源和矿物,小行星将被带到地球上提供必要的材料。他甚至提到,人类可能会被培育得比现在小,以便在更少的食物供应下更加高效地生活。

Jakub Pachocki 转帖

Ilya 向我介绍了深度学习研究的世界,多年来一直是我的导师和伟大的合作伙伴。他对深度学习未来的非凡愿景成为 OpenAI 和 AI 领域的基础。对于我们无数的讨论,从关于 AI 进展的高层次讨论到深入的技术白板会议,我深表感谢。

Ilya ——我会想念与你共事的时光。

Ilya 离职,OpenAI 宣布 Jakub Pachocki 将担任新的首席科学家,继续推动 OpenAI 在人工智能领域的前沿探索。Jakub 拥有卡内基梅隆大学理论计算机科学博士学位,自 2017 年加入 OpenAI 以来,领导了多项变革性的研究项目,包括 GPT-4 和 OpenAI Five 的开发,以及大规模强化学习和深度学习优化的基础研究。他在重新聚焦公司愿景,扩大深度学习系统规模方面发挥了关键作用。

📌 关于

Jakub Pachocki 是人工智能领域的重要人物,以其技术领导力和远见卓识而闻名于 OpenAI。自 2017 年加入公司以来,Pachocki 一直是突破性技术开发的关键人物,尤其是 GPT-4 的发展。他的贡献对深度学习系统的进步至关重要,OpenAI 创始人 Sam Altman 对他高度评价,称 Pachocki 的努力对他们的成功是不可或缺的。

Pachocki 将创建像 GPT-4 这样的语言模型的精细过程比作建造宇宙飞船,强调每个组件的精确性和可靠性。他对人工智能的迷恋始于 AlphaGo[3] 的成功,这让他认识到深度学习的巨大潜力。这一认识促使他参与了诸如开发能够掌握 Dota 2[4] 游戏的机器人等重要项目,通过在专业级别的竞争展示了 AI 的能力。

尽管取得了非凡的成就,Pachocki 仍然保持低调,回避媒体关注和社交媒体。他的才能在职业生涯早期就已显现,2012 年通过赢得 Google Code Jam 冠军(获得 1 万美元奖励)、ACM ICPC 世界总决赛(金牌)和 TopCoder Open 等著名编程比赛而脱颖而出。他的成功突显了认知能力在编程中的重要性,将这些比赛比作解决复杂的数学和逻辑难题。

干货推荐

🚀 Ilya 为 John Carmack 准备的终极技术备忘单,并说:“如果你能真正掌握这些内容,你就掌握了当今 90% 的重要技术。”(Ilya Sutskever “If you really learn all of these, you’ll know 90% of what matters today”[5],此资料出自网络,真实性未知,可以作为扩展阅读)

  • The Annotated Transformer[6]

  • The First Law of Complexodynamics[7]

  • The Unreasonable Effectiveness of Recurrent Neural Networks[8]

  • Understanding LSTM Networks[9]

  • Recurrent Neural Network Regularization[10]

  • Keeping Neural Networks Simple by Minimizing the Description Length of the Weights[11]

  • Pointer Networks[12]

  • ImageNet Classification with Deep Convolutional Neural Networks[13]

  • Order Matters: Sequence to sequence for sets[14]

  • GPipe: Easy Scaling with Micro-Batch Pipeline Parallelism[15]

  • Deep Residual Learning for Image Recognition[16]

  • Multi-Scale Context Aggregation by Dilated Convolutions[17]

  • Neural Message Passing for Quantum Chemistry[18]

  • Attention Is All You Need[19]

  • Neural Machine Translation by Jointly Learning to Align and Translate[20]

  • Identity Mappings in Deep Residual Networks[21]

  • A simple neural network module for relational reasoning[22]

  • Variational Lossy Autoencoder[23]

  • Relational recurrent neural networks[24]

  • Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton[25]

  • Neural Turing Machines[26]

  • Deep Speech 2: End-to-End Speech Recognition in English and Mandarin[27]

  • Scaling Laws for Neural Language Models[28]

  • A tutorial introduction to the minimum description length principle[29]

  • Machine Super Intelligence[30]

  • Kolmogorov Complexity and Algorithmic Randomness[31]

  • CS231n Convolutional Neural Networks for Visual Recognition[32]

References

[1]

Superalignment team: https://openai.com/index/introducing-superalignment

[2]

Ilya Sutskever to leave OpenAI, Jakub Pachocki announced as Chief Scientist: https://openai.com/index/jakub-pachocki-announced-as-chief-scientist

[3]

AlphaGo: https://deepmind.google/technologies/alphago

[4]

Dota 2: https://www.dota2.com

[5]

Ilya Sutskever “If you really learn all of these, you’ll know 90% of what matters today”: https://www.reddit.com/r/ArtificialInteligence/comments/1cpbh1s/ilya_sutskever_if_you_really_learn_all_of_these

[6]

The Annotated Transformer: https://nlp.seas.harvard.edu/annotated-transformer

[7]

The First Law of Complexodynamics: https://scottaaronson.blog/?p=762

[8]

The Unreasonable Effectiveness of Recurrent Neural Networks: https://karpathy.github.io/2015/05/21/rnn-effectiveness

[9]

Understanding LSTM Networks: https://colah.github.io/posts/2015-08-Understanding-LSTMs

[10]

Recurrent Neural Network Regularization: https://arxiv.org/pdf/1409.2329

[11]

Keeping Neural Networks Simple by Minimizing the Description Length of the Weights: https://www.cs.toronto.edu/~hinton/absps/colt93.pdf

[12]

Pointer Networks: https://arxiv.org/pdf/1506.03134

[13]

ImageNet Classification with Deep Convolutional Neural Networks: https://proceedings.neurips.cc/paper_files/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf

[14]

Order Matters: Sequence to sequence for sets: https://arxiv.org/pdf/1511.06391

[15]

GPipe: Easy Scaling with Micro-Batch Pipeline Parallelism: https://arxiv.org/pdf/1811.06965

[16]

Deep Residual Learning for Image Recognition: https://arxiv.org/pdf/1512.03385

[17]

Multi-Scale Context Aggregation by Dilated Convolutions: https://arxiv.org/pdf/1511.07122

[18]

Neural Message Passing for Quantum Chemistry: https://arxiv.org/pdf/1704.01212

[19]

Attention Is All You Need: https://arxiv.org/pdf/1706.03762

[20]

Neural Machine Translation by Jointly Learning to Align and Translate: https://arxiv.org/pdf/1409.0473

[21]

Identity Mappings in Deep Residual Networks: https://arxiv.org/pdf/1603.05027

[22]

A simple neural network module for relational reasoning: https://arxiv.org/pdf/1706.01427

[23]

Variational Lossy Autoencoder: https://arxiv.org/pdf/1611.02731

[24]

Relational recurrent neural networks: https://arxiv.org/pdf/1806.01822

[25]

Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton: https://arxiv.org/pdf/1405.6903

[26]

Neural Turing Machines: https://arxiv.org/pdf/1410.5401

[27]

Deep Speech 2: End-to-End Speech Recognition in English and Mandarin: https://arxiv.org/pdf/1512.02595

[28]

Scaling Laws for Neural Language Models: https://arxiv.org/pdf/2001.08361

[29]

A tutorial introduction to the minimum description length principle: https://arxiv.org/pdf/math/0406077

[30]

Machine Super Intelligence: https://www.vetta.org/documents/Machine_Super_Intelligence.pdf

[31]

Kolmogorov Complexity and Algorithmic Randomness: https://www.lirmm.fr/~ashen/kolmbook-eng-scan.pdf

[32]

CS231n Convolutional Neural Networks for Visual Recognition: https://cs231n.github.io

素材来源官方媒体/网络新闻
继续滑动看下一个
浮之静
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存