DeepMind 近两万引科学家Felix Hill开云体育(中国)官方网站，亏本了。

他参与过 NLP 规模经典的 GLUE 和 SuperGLUE 基准，2016 年起在 DeepMind 使命直到终末一天。

在他亏本的前几个月，留住一篇酌量"在当代 AI 规模使命的压力"的著述《2000 亿权重的遭殃》，引起热议。

著述中提到他因家东谈主亏本、压力等原因患上急性神经病，经历了 6 个月危及人命的抑郁症之后，嗅觉运行在好转了，从头还原写著述。

他把我方的经历，以及对昔时两年 AI 规模的烦死共享出来，但愿能够匡助到相同正在摄取厄运的东谈主。

Felix Hill 亏本的音书由他的好友、纽约大学老师Kyunghyun Cho带来。

Kyunghyun Cho 示意 12 月 9 日就写好了这篇悼文，但迟迟不敢发布，因为不想也不敢信托所发生的事。现在光是猜想这件事，心仍然很痛。

不管是与他息争过，如故仅有一面之缘，又或是只读过他著述、听过他学术演讲的学者纷纷示意，这个音书令东谈主心碎。

他留住酌量 AI 使命压力的著述，再次引起好多东谈主共识。

Felix Hill 其东谈主

Felix Hill 不是劳动生计一运行就参加 AI 行业的。

2006 年，他在牛津大学数学专科毕业后作念过几年数学教师。2016 年在剑桥大学赢得操办话语学博士学位。

这时刻他竭力于于汲引，除了在高中教数学以外，也参加过非盈利组织，以及我方创办汲引企业。

2016 年加入 DeepMind 后一直使命了近 9 年。

除了磋磨以外，Felix Hill 频频共享我方的想考，他会从话语学的角度分析 Transformer。

他留住的最新一篇学术著述，是琢磨 Transformer 中归纳偏置的作用，与 Sutton 的《苦涩的训戒》相对，冷漠《苦乐各半的训戒》。

Felix Hill 认为，话语中局部依赖远比长距离依赖更为常见，依存句法分析器收尾流露话语中依存关系辞别严重偏向短距离。

但奇怪的是，RNN 有示意局部依赖的归纳偏置，而 Transformer 在依赖长度上无偏好却在好多任务中推崇更优。

他提议大略东谈主们应该罢手想象响应数据最常见模式的归纳偏置，一个好的通用模子很容易学到这些气候。

但唯有操办、范畴和数据有限，特定规模的偏置仍有必要想象，Transformer 的自细心力是一种有用的归纳偏置。

此外，他 10 年前第一次斗殴 RNN 时，在一次演讲中冷漠果敢的不雅点"语法不存在了"，以及神经网罗话语模子给话语学带来的其他令东谈主惊怖的论断。

其时这个不雅点在学术界引起了一些争议，现在却频频被东谈主试吃。

终末附上 Felix Hill 琢磨 AI 磋磨使命压力的著述整理翻译。

2000 亿权重的遭殃

东谈主工智能规模在昔时两年中发生了不可逆转的变化。

ChatGPT 的月活跃用户接近 2 亿。Gemini 在 2024 年 5 月拜谒量接近 3.2 亿次，AI 爱好者现在不错享受 AI 微波炉、AI 牙刷以至 AI 足球。

但是，对于许多从事东谈主工智能使命的东谈主来说，这种公众兴趣的激增既是福亦然祸。天然，薪资、股价和市值皆飞腾了。另一方面，这种变化也带来了一组特有的压力。

这篇博客是对于当代东谈主工智能的压力，它面向那些使命与东谈主工智能联系的东谈主（保守忖度现在约占寰球东谈主口的 87%），尤其是那些从事东谈主工智能磋磨的东谈主。

最终，我但愿酌量是什么让 AI 磋磨变得有压力，能让那些有幸从事这一规模使命的咱们生活愈加满足。因为，尽管面前杂乱，它仍然是一项好意思好、充实的劳动；一项有后劲处分科学、玄学乃至东谈主类自身许多要紧问题的劳动。

无法脱逃

几个月前，我在一个一又友的 40 岁诞辰约聚上。咱们关系很好，是以我结实大部分来宾，有些还相配熟练。但并不是总共东谈主皆结实。

在那些我最不熟练的东谈主中，我细心到了一个奇特的气候。

尽管我躯壳不适（稍后胪陈），昭彰也不肯意交谈，但围绕我造成了一个小军队。只是因为东谈主们知谈我在 DeepMind 使命，是以想要和我交谈。

而况聊的并非对于足球或 80 年代音乐等事物。这些东谈主想要辩论的是我尽量幸免想考的一件事：东谈主工智能。

诚然好多东谈主对我的使命感兴趣让我感到幸运，但也让我订立到昔时两年发生了多大的变化。银群众、讼师、大夫和料理参谋人皆想要了解我对 ChatGPT 的概念；尽管很少有东谈主宣称径直在我方的使命中使用这么的大模子，但他们笃信东谈主工智能规模正在发生一些他们应该了解的事情。

看成又名磋磨东谈主员，我笃信您能清醒在酬酢场所无法减轻的嗅觉。

但情况更糟。即使在自家的范围内，我也并不安全。

我也曾很久不再看新闻，发怵激励心焦。但即使在看足球、VH1 电视频谈、优秀电视剧改编，告白中也充满了对东谈主工智能的说起。

在这个时候，我频频想打理行李，穿越大陆，加入一个零丁的小团体。尽管在这个阶段，即使内不雅禅修在某种进程上被 AI 浸透，我也不会感到诧异。

隐含竞争

几家大型公司似乎在竞争开发最大、最佳的大型话语模子，这一事实自己就有内在的压力；不管你为谁使命。

面前从事东谈主工智能磋磨可能会嗅觉像是在参与一场斗殴，各人皆知，斗殴可能导致严重的后果，包括精神杂乱、仳离和自裁。

天然，这并不是将参与东谈主工智能磋磨等同于"字面上的斗殴"中的躯壳战斗。但根据我我方的阅历，这种相似性是真的的，尽管有些幽微。

关注底线

平时，工业界的磋磨东谈主员不习尚他们的使命径直且立即影响老板的财务情景。

天然，许多磋磨东谈主员皆会生机有契机产生这么的影响。只是之前这就像是十年一遇的事情。

在大多数情况下，今天对大模子的基础磋磨收尾是小的，可能是模子性能的短期波动。但是，由于公众估值与大模子的推崇广博衔接，这些波动反过来可能导致股价出现数十亿好意思元的波动。

这种动态天然相配急切，这不是 AI 磋磨东谈主员在磋磨生院、博士后时刻，以至 2022 年之前使命中准备好的事情。

钱、钱、钱

大多数东谈主工智能磋磨东谈主员，尤其是咱们这些年岁稍大的东谈主，并莫得为卓绝益而参加磋磨规模。

为醉心的使命赚取无数财富听起来像是一种全能药，但它也可能激励热烈的心焦。尤其是要是鼓吹你收入增多的外部身分不在你的截至范围内，或者有让你不再像以前那样醉心使命的效果。

不管 AI 是否与此联系，皆有充分的根据标明斯须集会财富可能会导致多样问题；只需望望那些经过多年发愤终于取得得手的演员或歌手。上瘾、闹翻的关系、落空的友谊以至自裁只是其中一些更常见的症状。这些天然是我能够蔽聪塞明的症状。

莫得科学家的位置

范畴、爽脆性和大模子的有用性使得进行联系"科学"磋磨变得抵制，即重视想上它立即使大模子变得更好。

向上的磋磨员们也曾宣扬了 Rich Sutton 的《苦涩的训戒》；事实是，在范畴以外险些不需要任何改造。

即使表面上可能收场子质性改造（这天然可能），收场它平时需要在约莫 1001 个条款下进行反复锻真金不怕火。这以至不是最大的公司皆能承担得起的。对于一个"只是"是磋磨科学家的东谈主来说，这可能嗅觉是无法处分的厄运。

这些条款对于习尚于在小团队（5-10 东谈主）中使命的工业科学家来说很抵制。但对于学术界的东谈主来说，这些条款无疑愈加严峻：博士生、博士后以及 AI/CS/ML 规模的教师。

发表

尽管学术界的东谈主士不错（而况应该）链接发表从实验大模子中赢得的见地，但对于工业界的科学家来说，是否发表的问题并不那么明确。

发表一直是科学经过的一个内在构成部分，而况弥远是东谈主工智能磋磨的一个中枢原则。我与大多数东谈主工智能磋磨东谈主员交谈过，尤其是磋磨科学家，他们皆快活我的不雅点，认为发表是咱们劳动生计的一个重要方面。

但是，在工业界至少，昔时两年里，对于发表磋磨收尾是否可行的问题变得越来越不解确。能够改善大模子的小手段在大模子的竞争中可能成为至关蹙迫的火器。是否将这些玄机公之世人对资助磋磨组织的利益老是个复杂的问题。

这总共的一切意味着磋磨东谈主员通常对我方的目的的运谈莫得订立，至少在我个东谈主的情况下，这可能导致强盛的压力。

初创企业

天然，一种可能的解脱这些担忧的程序是制定一个科学愿景，筹集一些资金并征战一家初创公司。事实上，面前 AI 初创公司（不管大小）的激增流露了有些许科学家遴选了这条谈路。

但成为创举东谈主并不成保证幸免与压力联系的问题。事实上，这各人皆知是压力很大的；即使在现时投资者的珍贵水平下，许多资金糟塌的 AI 初创公司也失败了。我从我方的经历中知谈，成为创举东谈主是一条出奇孤独的旅程。毫无疑问，对于有抱负的科学家来说，这是一个可行的遴选，但这并不是一个能让科学磋磨变得容易的遴选，也不是一个能减轻压力的遴选。

为什么我遴选写对于压力的博客？

昔时两年，东谈主工智能规模杂乱而荒诞，但对我来说，这亦然一段出奇涟漪的时间。

2023 年 4 月，我的母亲在与阿尔茨海默病历久斗争后亏本。其时我因急性精神杂乱正在神经医院接受休养，压力可能是蹙迫身分。

接下来的 12 个月里，表面上我在还原，但执行上处于出奇心焦和自裁抑郁的状态。在这段时辰里，我很交运有清醒我的情况（以及我对公司的价值）的老板，他们提供了抓续的休养和精神赞助。

经过 6 个月的危及人命的抑郁症之后，我运行嗅觉好转，最近能够写对于我的经历。我了解到压力和心焦是相得益彰的；执行上，它们最终可能是归拢件事。天然，像任何稳当性特征一样，心焦也可能带来自制（举例，进步分娩力），但当心焦变得恶性时，后果可能相配严重。

在反想昔时两年的东谈主工智能规模，同期尝试从头学习若何成为又名东谈主工智能磋磨者时，我赢得了在这篇博客均共享的见地。天然，共享这些见地并不成处分一般性的问题，但在我最暗澹的时刻，让我感到但愿的少数事情之一是知谈我并不孤苦孤身一人。要是你现在正在际遇厄运，请信托我——你并不孤苦孤身一人。

酬酢心焦

我也曾涵盖了面前可能困扰那些从事东谈主工智能磋磨的东谈主们的许多压力或心焦的催化剂。但有一种压力我尚未说起，因为我很交运从未切身经历过。相背，我是通过与一又友和共事的亲密交谈了解到的。

这种压力口头是社会心焦。

根据一又友的说法，那些酬酢心焦的东谈主合计群体互动很抵制。在现在东谈主工智能规模，大型样子团队和大范畴（平时是跨大陆）的息争是必不可少的，这愈加抵制。面前行业的高流动率只会使情况变得更糟，因为那些平时看成酬酢"安全网"的既定团队可能会在整夜之间被恣虐。流动率还可能导致信任问题，因为之前可靠的盟友可能会离开去加入"懊恼"的磋磨团队。

好音书是，酬酢心焦，就像我迄今为止酌量的总共心焦或压力的推崇一样，是不错克服的。这个经过始于培养家庭和"非 AI "一又友等天然赞助网罗。但对于咱们总共在 AI 规模使命的东谈主来说，一个重要的第二步是运行并抓续进行对于压力的坦诚对话。

是以请共享您的个东谈主经历，发文或评述，让咱们望望能否让 AI 磋磨不仅成为一个充满活力和智力挑战的场地，而且如故一个充满悯恻和和缓的场地。

参考流通：

[ 1 ] https://docs.google.com/document/u/0/d/1aEdTE-B6CSPPeUWYD-IgNVQVZM25f7MF-u9qn5KJJvo/

[ 2 ] https://kyunghyuncho.me/bye-felix/开云体育(中国)官方网站