【CSDN 编者按】一周之前，为了更好地追赶 OpenAI，Google 做了一个重大的决定：Brain 和 Deepmind 合并，这件事引得很多人的关注与不解。最近波及其中的 Google Brain 高级工程师 Brian Kihoon Lee 于上周被解雇，他毕业于麻省理工学院，一直深耕在机器学习的领域，推出了 AutoGraph 编译器和 Effective TF 2 。Google Brain 部门究竟存在何种问题？它的研究方向出现了哪些偏差，作为在 Google Brain 部门刚刚离职的高级工程师 Brian Kihoon Lee 给出了他的见解。

作者 |Brian Kihoon Lee       

译者｜陈静琳 责编 | 屠敏

出品 | CSDN（ID：CSDNnews）

这篇文章初稿最初写于2022年12月，当时我正在思考关于我工作的前景和未来，所以搁置了这篇文章，因为我不确定在受雇于 Google Brain 时，发表这样的文章是否合适。但是，谷歌在一月份解雇了我，所以我的决定就变得简单。上周，我的遣散费结清了， Google 也取消了独立的 Google Brain 团队，将 Google Brain 和 DeepMind 合并为一个新的部门，取而代之的是 " Google DeepMind "。作为一个拥有独特视角的人，我希望我的分享能对 Brain 的存在问题提供一些启示。我将阐述 Google Brain 存在的许多原因，并评估它在今天的经济条件下的持续有效性。

研究自由的学术界 vs 高薪的产业界

我想首先解释一下有关学术与产业的悖论。

很多学者一直在研究可以更为自由的学术界和能拿到高薪的产业界之间纠结。作为一个机器学习(ML)专家，可以肯定的说，谷歌会付给你丰厚的报酬让你去做机器学习（ML），但是换来的结果通常是，你不得不从事推荐系统、广告优化、搜索排名这些研究之外的工作，而不是纯粹的研究。

说白了，Google Brain 团队之所以存在的一个重要原因是它主导了很多有直接或间接盈利的项目，例如，许多研究人员专注于改进优化器、架构搜索和超参数搜索，这种研究是直接盈利的，因为它降低了计算成本，有效提升了性能。

需要解释的是，为什么Google Brain（与DeepMind、OpenAI、FAIR和其他公司一起）资助数百名 ML 研究人员从事纯粹的研究，看起来只是为了研究而研究，同时还比学术界的薪资多出一个数量级。举个例子，我的团队致力于嗅觉的机器学习，谷歌就资助关于嗅觉的研究？这有什么好处呢？我想展开进行解释。

声望带来的的巨大价值

大多数学术界专家认为，Brain 正在为声望而努力："  Google Brain 正在与雇用最好的研究人员，增强实力来与其他工业研究实验室进行竞争，这样他们就能成为最有声望的研究小组，反过来反向再吸引更多顶尖研究员加入”。坦白来说，美国的学术界就是这样运作的：资金、学生/博士后和主要研究人员（PI）三位一体，相辅相成。资金流向最有才华的首席研究员和学生/博士后；学生/博士后也去追寻最有才华的首席研究员和资金所在的地方；首席研究员又去找到有才华的学生/博士后和资金所在的地方。

在这样的直接激励下，大学最大限度地去提高声望，并且这个费用从所有的研究经费中抽取（令人吃惊的多）。行业研究实验室则不是这样，因为与其说维持一个有声望的实验室来获利，不如防止顶级研究人员流失而减少损失。就像 Uber 人工智能实验室似乎就完全是为了声望而存在的，在新 CEO Dara Khosrowshahi 接替 Uber 创始人 Travis Kalanick 后就被正式取消。

当实验室有声望之后，主要会带来两个好处：无论是在纯研究领域还是在应用机器学习(ML)、消费者领域，积极的品牌形象都会更容易得到机会。例如，几年前，我在找工作时甚至没有考虑过要申请加入苹果公司，因为他们在机器学习维度的研究并不是那么多，也或许基于发展理念他们根本不需要机器学习的专家。但是，如果你确实需要雇用几千名 ML 工程师，那么资助少数顶级 ML 研究人员来提升声望，其实是有意义的。同样在我的团队中，声望对于嗅觉方面的 ML 工作也起到了推动作用。

今天，以提升声望为导向的研究，并且作为一种招聘策略仍然是有意义的，但鉴于行业正在集体削减招聘预算，用于提升声望的支出也必须减少。

MBA 的介入与 Google Brain 的文化相冲突

很明显，谷歌投资纯研究的下一个原因是它已经发现相关的项目能产生并能实现持续的有突破性发现。Google Brain 团队给了谷歌 TensorFlow、TPU、JAX 等项目巨大帮助。而且这些只是在开始时研究的项目，如果放宽限制，名单会更长，例如用于医学成像的 ML 以及 AutoML 等等。

可以说， GoogleBrain 的这种自由自在、自下而上、以研究人员为中心的特质是产生这些突破的原因。Jeff Dean 负责研究工作，正是因为他能够坚持体现这些特质，如果换成一个拥有 MBA 商业文化的人来控制这个部门，MBA 文化就会渗透下去，以致于杀死下“金蛋”的鹅。

随着时间的推移，有两个因素最终导致了 Google Brain 的落幕：

• 第一个是经济背景：随着经济紧缩，以及来自 OpenAI/VC 资助的人工智能初创公司的竞争加剧，谷歌感到有必要对其研究投入更多精力和指导。

• 第二是 ML 越来越成熟，在深度学习的早期，没有人知道它能有什么能力，研究人员被赋予了研究愿景的特权。可是今天，公司老板们随意地对 ML 可以应用在何处并如何发挥作用发表他们的意见，而企业高管直接以他们的意见取代了专家们的观点。其结果是减少了研究人员的自由和增加了自上而下的指导。

还有一个有趣的轶事，谷歌的研究人员晋升标准在一段时间内与外部对其研究意义的认可有关。如果谷歌的宣传委员会（由高级研究人员组成）不能确定他们自己的研究是否有意义，那企业老板们将更不会懂了，在不久的将来，我预计研究人员的晋升标准将会以他们所提供的商业价值的评估，而不是对其研究影响的外部认可。

当下，在 LLM (大模型) 的研究人员也出现了类似的问题，企业老板们无法准确评估研究人员们的能力，无法得到外部的认可也就很难展示自己的能力。即便如此，每个 LLM 研究人员都能感觉到高管们给到他们的压力，而在深度学习兴起的时候，情况并非如此。

ChatGPT给 Google Brain 的生存带来了严重的挑战

谷歌资助开放式研究的另一个原因是为了保持其在机器学习方面的领先地位。

在大规模系统编程方面，谷歌已经领先于业界十多年了。而可行的替代品，像MapReduce（Hadoop）、Spanner（CockroachDB）和Zanzibar（AuthZed）这样的系统，竞争对手花了5-10年时间才开发出来。当谷歌开源 TensorFlow 时，很明显，他们又做到了领先竞争对手，这一切都是谷歌通过慷慨的资助而实现的。 

不幸的是，这种早期的领先优势在短短几年内就被打破了，PyTorch/Nvidia GPU 轻松超越了 TensorFlow/谷歌 TPU 。坦白来说，机器学习还是研究尚浅，人工智能公司持续的巨额资金投入带来了供应的激增，在过去的十年里， ML 研究人员的数量每年都在增长25%。在相对较短的两年时间里，我自学了足够多的 ML  技能，来融入 Google Brain 的研究群体，其他许多人也是如此。没有人能够负担得起把钱扔进一个无底洞，即使是谷歌也无法做到。

在某一领域的早期领先优势，只有在将研究优势转化为产品的情况下才有价值。Brain最近的人才外流在很大程度上是由于内部认为谷歌是在坐等突破性的研究，而不是开发它的潜力。ChatGPT的到来，给 Google Brain 的生存带来了严重的挑战。如果我们把谷歌无法执行研究转化作为一个常态，那么内部投资于开放式的投机性研究是否有意义？谷歌对Anthropic AI的4亿美元投资是一个不好的现象：谷歌的 CEO 正在对冲他们在外部研究团体上的研究赌注。

催化剂理论

Google Brain 的一个不寻常之处在于其自由的出品政策， Google Brain 经常在顶级ML会议的论文输出量上超过整个大学。在为开放式研究投入大量资金后，为什么要将成果免费赠送？输出的主要原因是：（1）声望；（2）研究人员可以退出并带走他们的成果；（3）催化一个领域的发展。

催化剂理论认为，通过发表与谷歌核心业务相关领域的关键研究，该研究方向将以有利于谷歌的方式发展。例如，谷歌一直对更好的NLP感兴趣，2014 年 seq2seq 和 2017 年 Transformers 等关键研究的发表，催化了整个 NLP 领域的发展。

在和平时期，花XXX美元来扩大整体蛋糕是有意义的，只要你的那块蛋糕的增长超过X美元。但是 OpenAI 与微软的联盟意味着有另一个巨头的存在，这一巨头既拥有消费者市场，又拥有扩大 ML 部署的计算能力。随着谷歌过渡到战时模式，催化剂理论在谷歌肯定是行不通的。

两种工作模式的切换

DARPA 的任务声明是 "防止和创造技术惊喜"。最好的防御其实是良好的进攻，但拥有一个稳定的技术专家，能够迅速了解和应对该领域的意外发展，肯定不会有什么损失。当形势好的时候，这些专家可以专注于原创性研究，而当形势不好的时候，这些专家将被征召去从事防御性项目。

看起来很合理，但是这个计划的缺点是没有办法保证当取消专家们的项目时，这些专家真的会坚持下去。为了消除疑问，谷歌也可以直接解雇他们。撇开讽刺不谈，谷歌解雇我并没有错，5个月前我开始写这篇文章的时候，就给我一个强烈的信号，我应该寻找新的工作。

现在的时代很糟糕，我希望看到谷歌呼吁其研究人员关注相关的法律学习。

 

跨学科趋势

Google Brain 的许多开放式研究项目是相当跨学科的。如前所述，我的团队致力于嗅觉的 ML ， Google Brain 也在医学成像、天气建模、神经元成像、DNA 变体、音乐和艺术、蛋白质注释等方面的 ML 方面取得了开创性的进展，可能还有更多我错过的方面，也有许多成功的故事，如 AlphaGo 和 AlphaFold 。

毫无疑问，这些跨学科的努力已经取得了很多成果。然而，两个相反的趋势降低了谷歌继续资助这些努力的意愿。

第一个是研究人员的人口统计学，没有什么比一个物理学家遇到一个新的领域更令人讨厌的了。另一方面，没有什么比其他领域的专家学习物理学（或机器学习）更有超越性。考虑时间问题，绝大多数早期的 ML 研究人员基本不会攻读博士项目，大多都是自学成才，从其他领域交叉而来。这为跨学科工作的发生创造了条件。不幸的是，这种过渡性的反常现象被大多数人误解，认为是机器学习颠覆现有领域的固有属性，其实不然。

现如今，绝大多数新招聘的 ML 研究人员都是刚毕业的博士，他们只从ML的角度研究过问题。在任何情况下，我预计后来的跨学科项目的质量和成功率会相应下降。即使谷歌的高管们不了解这一趋势的本质，他们也会注意到突破的质量在下降。

第二是，从商业角度来看，事实证明，在职人员学习机器学习比谷歌学习一个新的商业模式要容易得多。谷歌健康是最突出的例子，但我已经看到这种模式在其他领域反复上演。我对 DeepMind 的 Isomorphic 实验室能否走得更远表示怀疑。另一方面，像 Recursion Pharmaceuticals 和 Relay Therapeutics 这样的生物医药公司，由职业生物学家和化学家转行的 ML 工程师组成，已经做得很好。跨学科的 ML 突破所带来的好处似乎归于在职者，并不构成谷歌新业务线的强大基础。

Brain 与 DeepMind 的合并

• 谷歌高管显然认为 DeepMind 品牌比  Google Brain 品牌更强大。或者，DeepMind CEO Demis 拒绝签署合并，除非保留 DeepMind 名称。

• 此次合并可能是更大重组的前奏

• 双方都没有“赢”，我认为 Brain 和 DeepMind 都输了。我预计在接下来的几个月里会看到许多项目取消、项目合并和人员重新分配，以及人员减员。

• 由于要进行的项目越来越少，我预计会看到很多中层管理人员被裁员或离职。

• 由于 DeepMind 自上而下的文化与 Brain 自下而上的文化发生冲突，我预计会有很多动荡将合并效率的收益降至零，甚至还会亏损。

未来的发展还一片朦胧

尽管 Brain 通过其对开放式 ML 研究的早期资助创造了巨大的价值，但谷歌越来越明显地意识到它不知道如何捕捉这种价值。谷歌当然没有义务资助开放式研究，但如果谷歌拒绝投资，这对研究人员和全世界来说都是悲伤的一天。

谷歌已经是许多消费者和商业产品供应的第二推动者，而且在 ML 研究中似乎也是如此。我希望谷歌至少在第二名方面做得很好，成为机器学习方面的赢家有很大发展的空间。

原文链接：moderndescartes.com/essays/why_brain/

推荐阅读：

▶ 年营收 1 亿美元的 Midjourney：仅 11 名全职员工，其中 4 名本科在读

▶ 贾扬清开源 AI 框架 Caffe | 开源英雄

▶基于 ChatGPT 的输出训练开源 LLM，糟透了！