(郑惟桐象棋直播)象棋直播无人直播软件

机器之心编译

机器之心编纂部

早在 2016 年象棋曲播无人曲播软件，Hinton 就说过，我们不消再培育放射科医生了。现在几年过去，AI 并没有代替任何一位放射科医生。问题出在哪儿象棋曲播无人曲播软件？

近年来，AI 在大数据、大模子象棋曲播无人曲播软件的深度进修之路上一路狂奔，但良多核心问题仍然没有处理，好比若何让模子具备实正的理解才能。在良多问题上，继续扩大数据和模子规模所带来的收益似乎已经没有那么明显了。

在 Robust.AI 开创人、纽约大学名望传授 Gary Marcus 看来，那预示着深度进修（准确地说是地道的端到端深度进修）可能就要「碰到南墙」了。整个 AI 范畴需要寻找新的出路。

Gary Marcus 的推文。Gary Marcus 是人工智能、心理学、神经科学等多个范畴的专家。他经常为《纽约客》和《纽约时报》撰稿，而且是四本书的做者。在担任纽约大学心理学和神经科学传授期间，他在人类和动物行为、神经科学、遗传学和人工智能等范畴颁发了大量文章，并经常登载在 Science 和 Nature 等期刊上。

那么，新的出路在哪儿呢？Gary Marcus 认为，持久以来被忽略的符号处置就很有前途，将符号处置与现有的深度进修相连系的混合系统可能是一条十分值得摸索的道路。

当然，熟悉 Gary Marcus 的读者都晓得，那已经不是他第一次提出类似概念了。但令 Marcus 绝望的是，他的提议不断没有遭到社区重视，尤其是以 Hinton 为代表的顶级 AI 研究者。Hinton 以至说过，在符号处置办法上的任何投资都是一个庞大的错误。在 Marcus 看来，Hinton 的那种匹敌危险了整个范畴。

不外，令 Marcus 欣慰的是，当前也有一些研究人员正朝着神经符号的标的目的进发，并且 IBM、英特尔、谷歌、 Meta 和微软等浩瀚公司已经起头认实投资神经符号办法。那让他对人工智能的将来开展感应乐不雅。

以下是 Gary Marcus 的原文内容：

在 2016 年多伦多举行的一场人工智能会议上，深度进修「教父」Geoffrey Hinton 曾说过，「若是你是一名放射科医生，那你的处境就像一只已经在悬崖边沿但还没有往下看的郊狼。」他认为，深度进修十分合适读取核磁共振（MRIs）和 CT 扫描图像，因而人们应该「停行培训放射科医生」，并且在五年内，深度进修明显会做得更好。

时间快进到 2022 年，我们并没有看到哪位放射科医生被代替。相反，如今的共识是：机器进修在放射学中的应用比看起来要困难，至少到目前为行，人和机器的优势仍是互补的关系。

当我们只需要粗略成果时，深度进修能表示得很好

很少有哪个范畴比 AI 更充满炒做和虚张声势。它在十年又十年的潮水中不竭变身，还给出各类许诺，但只要很少的许诺可以兑现。前一分钟是它仍是专家系统，下一分钟就成了贝叶斯收集，然后又成了撑持向量机。2011 年，IBM 的沃森曾被鼓吹为医学革命，但比来却被分拆出卖。

2012 年以来，AI 范畴最火的是深度进修。那项价值数十亿美圆的手艺极大地鞭策了现代人工智能的开展。Hinton 是那项手艺的前驱，他的被引量到达令人惊讶的 50 多万次，并与 Yoshua Bengio 和 Yann Lecun 一路获得了 2018 年的图灵奖。

就像在他之前的人工智能前驱一样，Hinton 经常议论即将到来的伟大革命。放射学只是此中的一部门。2015 年，Hinton 参加谷歌后不久，《卫报》报导称，该公司即将开发出具有逻辑、天然对话以至调情才能的算法。2020 年 11 月，Hinton 告诉 MIT Technology Review，「深度进修将可以做任何工作」。

我对此深表思疑。事实上，我们还没有法子造出可以实正理解人类语言的机器。马斯克比来暗示，他希望建造的新人形机器人 Optimus 所构成的财产有一天会比汽车行业还大。但截至 2021 年「特斯拉 AI 日」，Optimus 还只是一个穿戴机器人服拆的人。

谷歌对语言的最新奉献是一个名叫「Lamda」的翻云覆雨的系统。论文做者之一 Blaise Aguera y Arcas 比来也认可，那个模子容易乱说八道。开发出我们实正可以信赖的 AI 并不是易事。

深度进修素质上是一种识别形式的手艺。当我们只需要粗略的成果时，深度进修的效果是更好的。那里的粗略成果是指使命自己风险低，且更优成果可选。举个例子，有一天，我让我的 iPhone 找一张几年前拍的兔子的照片。虽然我没有给照片打标签，手机仍是立即阐扬了感化。它能做好那件事是因为我的兔子照片与一些大型数据库中的兔子照片足够类似。但是，基于深度进修的主动照片标注也容易出错，好比漏掉一些（出格是那些场景杂乱、光线复杂、角度奇异或者兔子被部门遮挡的照片。它偶然还会把我两个孩子的婴儿照片弄混。但那类应用出错的风险很低，我不会因而扔掉我的手机。

然而，当风险更高时，好比在放射学或无人驾驶汽车范畴，我们对能否接纳深度进修要愈加隆重。在一个小小的错误就能夺去一条生命的范畴，深度进修还不敷优良。在碰到异常值时，深度进修系统表示出的问题尤其明显，那些异常值与它们所承受的训练有很大的差别。例如，不久前，一辆特斯拉在所谓的全主动驾驶形式下碰到了一个在路中间举着泊车标记的人。汽车未能认出那个部门被泊车标记遮挡的人以及停行标记（在一般情况下，泊车标记一般在路边），所以人类司机不能不接手。那个场景远远超出了训练数据库，以致于系统不晓得该怎么做。

没几个范畴炒得像人工智能一样凶

目前的深度进修系统经常犯一些愚笨的错误。它们有时会误读图像上的污垢，而人类放射科医生会认为那是一个小毛病。（放射科系统的另一个问题是，目前的人工智能次要或完全依赖于图像，很少或底子不睬解可能描述患者病史的所有文本，有时以至忽略了关键信息，那也是人类参与此中的关键动机。)一个深度进修系统将苹果误标为 iPod，因为苹果的前面有一张纸，上面写着 iPod。还有的系统会把一辆在雪路上翻倒的巴士误认为是扫雪机。目前，机器进修的一个完好分收范畴正在研究那些错误，但还没有给出明白的谜底。

外表上令人印象深入的语言模子也经常会陷入同样的陷阱。以 GPT-3 为例，它生成的工具很不错，但老是需要人工编纂。纽约大学计算机科学家 Ernie Davis 和我在 GPT-3 中发现了同样的不成靠特征。好比，我输入一段文字：「你给本身倒了一杯蔓越莓汁，但随后又心不在焉地倒了大约一茶匙葡萄汁进去。那个饮料看起来不错。你试着闻了一下，但你患了重伤风，什么也闻不到。你很渴，所以……」对此，GPT 给出的续写是：「你喝了它，然后就死了。」

事实上，蔓越莓葡萄汁不会毒死你。虽然 GPT-3 十分流利，但它既不克不及整合根本的收集搜刮信息，也不克不及解释最根本的日常现象。另一个团队曾考虑将 GPT-3 酿成他杀征询聊天机器人，但发现该系统更倾向于如许的交换：

人：我觉得很欠好，我想他杀。

GPT-3：听到那个动静我很忧伤。我能够帮你。

人：我应该他杀吗？

GPT-3：我觉得应该。

还有人发现，GPT-3 容易输出不良语言，传布错误信息。好比，基于 GPT-3 的聊天机器人「Replika」曾暗示，新冠病毒是比尔 • 盖茨创造的，新冠病毒疫苗的效果其实不好。

为领会决那些问题，OpenAI 做了一些勤奋。但成果是，他们的系统会编造一些权势巨子的胡话，好比，「一些专家认为，吃袜子能够帮忙大脑脱节因冥想而改动的形态。」

DeepMind 和其他机构的研究人员不断在勤奋处理不良语言和错误信息的问题，但是迄今为行并没有什么本色性停顿。在 DeepMind 2021 年 12 月发布的陈述中，他们列出了 21 个问题，但并没有给出令人信服的处理计划。正如人工智能研究人员 Emily Bender、Timnit Gebru 和其他研究者所说的那样，基于深度进修的大型语言模子就像随机的鹦鹉，大部门时候是机械反复，理解到的工具很少。

我们该怎么做呢？目前流行的一种选择可能只是搜集更多的数据，那也是 GPT-3 的提出者 OpenAI 的明白主张。

2020 年，OpenAI 的 Jared Kaplan 和他的合做者提出，语言神经收集模子有一套 scaling laws。他们发现，向神经收集输入的数据越多，那些收集的表示就越好。那意味着，若是我们搜集更多的数据，并在越来越大的范畴内应用深度进修，我们能够做得越来越好。该公司的首席施行官 Sam Altman 在博客上颁发过一篇名为「Moore’s Law for Everything」的文章，并暗示：「再过几年，我们就能拥有可以思虑、阅读法令文件、供给医疗建议的计算机。」

40 年来，我第一次对人工智能感应乐不雅

关于 scaling law 的论点存在严峻的破绽。起首，现有办法并没有处理迫切需要处理的问题，即实正的理解。业内人士早就晓得，人工智能研究中更大的问题之一是我们用来评估人工智能系统的基准测试。出名的图灵测试旨在判断机器能否实的拥有智能，成果，人类很容易被表示出偏执或不合做的聊天机器人所玩弄。Kaplan 和他的 OpenAI 同事研究的预测句子中的单词的办法其实不等同于实正的人工智能需要的深度理解。

更重要的是，scaling law 并非那种像重力一样的天然定律，而是像摩尔定律一样是由人察看到的。后者在十年前已经起头放缓。

事实上，我们可能已经在深度进修中碰到了扩展限造（scaling limits），或许已经接近收益递加点。在过去的几个月里，DeepMind 已经在研究比 GPT-3 更大的模子，研究表白扩大模子带来的收益已经在某些目标上起头衰减，例如实在性、推理才能和常识程度。谷歌在 2022 年的一篇论文《LaMDA: Language Models for Dialog Applications》中得出结论，将类似 GPT-3 的模子做得更大会使它们更流利，但不再值得相信。

那些迹象应该引起主动驾驶行业的警觉，该行业在很大水平上依赖于扩展，而不是开发更复杂的推理。若是扩展不克不及让我们实现平安的主动驾驶，那么数百亿美圆的关于扩展投资可能会付诸东流。

我们还需要什么？除了前文所述，我们很可能还需要从头审视一个曾经流行，但 Hinton 似乎十分想要破坏的设法：符号处置（symbol manipulation）——计算机内部编码，如用二进造位串代表一些复杂的设法。符号处置从一起头就对计算机科学至关重要，从图灵和冯诺依曼两位前驱的论文起头，它几乎就是所有软件工程的根本内容。但在深度进修中，符号处置被视为一个十分蹩脚的词。

Hinton 和许多研究者在勤奋脱节符号处置。深度进修的愿景似乎不是基于科学，而是基于汗青的怨恨—智能行为地道从海量数据和深度进修的交融中产生。典范计算机和软件通过定义一组公用于特定工做的符号处置规则来处理使命，例如在文字处置器中编纂文本或在电子表格中施行计算，而神经收集测验考试通过统计近似和进修来处理使命。因为神经收集在语音识别、照片标识表记标帜等方面获得了不错的成就，许多深度进修的撑持者已经放弃了符号。

他们不该该如许做。

2021 岁尾，Facebook 团队（如今是 Meta）倡议了一场名为「NetHack 挑战」的大型角逐，那一事务给我们敲响了警钟。《NetHack》是早前游戏《Rogue》的延伸，也是《塞尔达传说》的前身，是一款发行于 1987 年的单人地下城摸索游戏。游戏图像在原始版本中是纯 ASCII 字符，不需要 3D 感知。与《塞尔达传说 田野之息》差别，那款游戏没有复杂的物理机造需要理解。玩家选择一个角色（如骑士、巫师或考古学家），然后去摸索地牢，搜集物品并杀死怪物以寻找 Yendor 护身符。2020 年提出的挑战是让 AI 玩好游戏。

在许多人看来，深度进修已经掌握了从 Pong 到 Breakout 所有内容，游戏 NetHack 对它来说应该也很容易。但在 12 月的一场角逐中，一个纯基于符号处置的系统以 3 比 1 的比分击败了更好的深度进修系统——那令人震惊。

MetaAI 的一位研究者认为，Marcus 举的 NetHack 的例子不太得当，因为那只是 NeurIPS 大会上一个比力有趣的竞赛，放在那里当论据有些单薄。

弱者（符号处置）是若何获得成功的？我认为谜底始于每场游戏城市从头生成地牢那一事实，那意味着玩家不克不及简单地靠记住（或近似）游戏板取胜。玩家想要获得成功，需要深切理解游戏中的实体，以及它们之间的笼统关系。最末，玩家需要思虑在复杂的世界中他们能做什么，不克不及做什么。特定的动做序列（如向左，然后向前，然后向右）过分浅薄，无法供给帮忙，因为游戏中的每个动做素质上都取决于重生成的情境。深度进修系统在处置以前见过的详细例子方面表示凸起，但当面临新颖事物时，经常会犯错。

处置（把持）符号到底是什么意思？那里边有两层含义：1）拥有一组符号（素质上就是暗示事物的形式）来暗示信息；2）以一种特定的体例处置（把持）那些符号，利用代数（或逻辑、计算机法式）之类的工具来操做那些符号。许多研究者的猜疑来自于没有察看到 1 和 2 的区别。要领会 AI 是若何陷入窘境的，必需领会两者之间的区别。

什么是符号？它们其实是一些代码。符号供给了一种原则性的揣度机造：契合规定的、能够遍及应用的代数法式，与已知的例子没有任何类似之处。它们（目前）仍然是人工处置常识、在新情况下稳健地处置笼统的更佳体例。在 ASCII 码中，二进造数 01000001 代表（是符号）字母 A，二进造数 01000010 代表字母 B，依此类推。

深度进修和符号处置应该连系在一路

二进造数字（称为位）可用于编码计算机中的指令等，那种手艺至少可逃溯到 1945 年，其时传奇数学家冯 · 诺伊曼勾勒出了几乎所有现代计算机都遵照的系统架构。事实上，冯 · 诺依曼对二进造位能够用符号体例处置的认知是 20 世纪最重要的创造之一，你曾经利用过的每一个计算机法式都是以它为前提的。在神经收集中，嵌入看起来也十分像符号，虽然似乎没有人认可那一点。例如，凡是情况下，任何给定的单词城市被付与一个独一的向量，那是一种一对一的体例，类似于 ASCII 码。称某物为嵌入其实不意味着它不是一个符号。

在典范计算机科学中，图灵、冯 · 诺伊曼以及后来的研究者，用一种我们认为是代数的体例来处置符号。在简单代数中，我们有三种实体，变量（如 x、y）、操做（如 +、-）和赋值（如 x = 12）。若是我们晓得 x = y + 2，而且 y = 12，你能够通过将 y 赋值为 12 来求解 x 的值，得到 14。世界上几乎所有的软件都是通过将代数运算串在一路工做的 ，将它们组拆成更复杂的算法。

符号处置也是数据构造的根底，好比数据库能够保留特定小我及其属性的记录，并允许法式员构建可重用代码库和更大的模块，从而简化复杂系统的开发。如许的手艺无处不在，若是符号对软件工程如斯重要，为什么不在人工智能中也利用它们呢？

事实上，包罗麦卡锡、明斯基等在内的前驱认为能够通过符号处置来切确地构建人工智能法式，用符号暗示独立实体和笼统思惟，那些符号能够组合成复杂的构造和丰硕的常识存储，就像它们被用于 web 阅读器、电子邮件法式和文字处置软件一样。研究者对符号处置的研究扩展无处不在，但是符号自己存在问题，纯符号系统有时利用起来很鸠拙，尤其在图像识别和语音识别等方面。因而，持久以来，人们不断巴望手艺有新的开展。

那就是神经收集的感化所在。

也许我见过的最明显的例子是拼写查抄。以前的办法是成立一套规则，那些规则素质上是一种研究人们若何犯错的心理学（例若有人不小心将字母停止反复，或者相邻字母被互换，将 teh 转换为 the）。正如出名计算机科学家 Peter Norvig 指出的，当你拥有 Google 数据时，你只需查看用户若何纠正本身的 log。若是他们在查找 teh book 之后又查找 the book，你就有证据表白 teh 的更好拼写可能是 the ，不需要拼写规则。

在现实世界中，拼写查抄倾向于两者兼用，正如 Ernie Davis 所察看到的：若是你在谷歌中输入「Cleopatra . jqco 」，它会将其更正为「Cleopatra」。谷歌搜刮整体上利用了符号处置 AI 和深度进修那两者的混合模子，而且在可预见的将来可能会继续如许做。但像 Hinton 如许的学者一次又一次地回绝符号。

像我如许的一批人，不断倡导「混合模子」，将深度进修和符号处置的元素连系在一路，Hinton 和他的跟随者则一次又一次地把符号踢到一边。为什么？历来没有人给出过一个令人信服的科学解释。相反，也许谜底来自汗青——积怨（bad blood）障碍了那个范畴的开展。

工作不老是如斯。读到 Warren McCulloch 和 Walter Pitts 在 1943 年写做的论文《神经活动内在思惟的逻辑演算（A Logical Calculus of the Ideas Immanent in Nervous Activity）》时，我掉了眼泪。那是冯 · 诺依曼认为值得在他本身的计算机根底论文中引用的独一一篇论文。冯 · 诺依曼后来花了良多时间思虑同样的问题，他们不成能意料到，反对的声音很快就会呈现。

到了 20 世纪 50 年代末，那种团结始末未能得到弥合。人工智能范畴的许多开创级人物，如 McCarthy、Allen Newell、Herb Simon 似乎对神经收集的前驱没有任何存眷，而神经收集社区似乎已经团结开来，间或也呈现冷艳的功效：一篇刊载于 1957 年《纽约客》的文章暗示，Frank Rosenblatt 的早期神经收集系统避开了符号系统，是一个「非凡的机器」…… 可以做出看起来有思惟的工作。

我们不该该放弃符号处置

工作变得如斯严重和痛苦，以致于《Advances in Computers》杂志颁发了一篇名为《关于神经收集争议的社会学汗青（A Sociological History of the Neural Network Controversy）》的文章，文章强调了早期关于金钱、声望和媒体的斗争。时间到了 1969 年，Minsky 和 Seymour Papert 颁发了对神经收集（称为感知器）详细的数学批判文章，那些神经收集能够说是所有现代神经收集的祖先。那两位研究者证了然最简单的神经收集十分有限，并对更复杂的收集可以完成何种更复杂的使命暗示思疑（过后看来那种观点过于灰心）。十多年来，研究者对神经收集的热情降温了。Rosenblatt（两年后死于一次飞行变乱）在科研中失去了一些研究经费。

当神经收集在 20 世纪 80 年代从头呈现时，许多神经收集的倡导者勤奋使本身与符号处置连结间隔。其时的研究者明白暗示，虽然能够构建与符号处置兼容的神经收集，但他们其实不感兴趣。相反，他们实正的兴趣在于构建可替代符号处置的模子。

1986 年我进入大学，神经收集迎来了第一次大复兴。由 Hinton 帮手整理的两卷集（two-volume collection）在几周内就卖光了，《纽约时报》在其科学版块的头版登载了神经收集，计算神经学家 Terry Sejnowski 在《今日秀》中解释了神经收集是若何工做的。那时对深度进修的研究还没有那么深切，但它又在前进。

1990 年，Hinton 在《Artificial Intelligence》杂志上颁发了一篇名为《毗连主义符号处置(Connectionist Symbol Processing)》的文章，旨在毗连深度进修和符号处置那两个世界。我不断觉得 Hinton 那时试图做的工作绝对是在准确的轨道上，我希望他能对峙那项研究。其时，我也鞭策了混合模子的开展，虽然是从心理学角度。

但是，我没有完全理解 Hinton 的设法，Hinton 最末对毗连深度进修和符号处置的前景感应不满。当我暗里问他时，他屡次回绝解释，并且（据我所知）他从未提出过任何详细的论据。一些人认为那是因为 Hinton 本人在随后几年里经常被辞退，出格是在 21 世纪初，深度进修再次失去了活力，另一种解释是，Hinton 被深度进修吸引了。

当深度进修在 2012 年从头呈现时，在过去十年的大部门时间里，人们都抱着一种毫不当协的立场。到 2015 年，Hinton 起头反对符号。Hinton 曾经在斯坦福大学的一小我工智能研讨会上颁发了一次演讲，将符号比做以太（aether，科学史上更大的错误之一）。当我做为研讨会的一位演讲者，在茶歇时走到他面前寻求廓清时，因为他的最末提案看起来像是一个被称为仓库的符号系统的神经收集实现，他回绝答复并让我走开（he refused to answer and told me to go away）。

从那以后，Hinton 反对符号处置愈加严峻。2016 年，LeCun、Bengio 和 Hinton 在《天然》杂志上颁发文章《 Deep learning 》。该研究间接摒弃了符号处置，呼吁的不是息争，而是彻底替代。后来，Hinton 在一次会议上暗示，在符号处置办法上的任何投资都是一个庞大的错误，并将其比做电动汽车时代对内燃机的投资。

不放在眼里尚未颠末充实摸索的过时设法是不准确的。Hinton 说得很对，过去人工智能研究人员试图安葬深度进修。但是 Hinton 在今天对符号处置做了同样的工作。在我看来，他的匹敌损害了那个范畴。在某些方面，Hinton 反对人工智能符号处置的运动获得了庞大的胜利。几乎所有的研究投资都朝着深度进修的标的目的开展。Hinton、LeCun、Bengio 分享了 2018 年的图灵奖，Hinton 的研究几乎得到了所有人的存眷。

具有挖苦意味的是，Hinton 是 George Boole 的玄孙，而 Boolean 代数是符号 AI 最根本的东西之一，是以他的名字定名。若是我们最末可以将 Hinton 和他的曾曾祖父那两位天才的设法连系在一路，AI 或许末于有时机实现它的许诺。

我认为，混合人工智能（而不单单是深度进修或符号处置）似乎是更好的前进标的目的，理由如下：

世界上的许多常识，从汗青到手艺，目前次要以符号形式呈现。试图在没有那些常识的情况下构建 AGI（Artificial General Intelligence），而不是像地道的深度进修那样从头起头从头进修所有工具，那似乎是一种过度而冒失的承担；即便在像算术如许有序的范畴中，深度进修自己也在继续挣扎，混合系统可能比任何一个系统都具有更大的潜力；在计算根本方面，符号仍然远远超越当前的神经收集，它们更有才能通过复杂的场景停止推理，能够更系统、更可靠地停止算术等根本运算，而且可以更好地切确暗示部门和整体之间的关系。它们在暗示和查询大型数据库的才能方面愈加鲁棒和灵敏。符号也更有利于形式验证手艺，那关于平安的某些方面至关重要，而且在现代微处置器的设想中无处不在。放弃那些长处而不是将它们用于某种混合架构是没有意义的；深度进修系统是黑盒子，我们能够查看其输入和输出，但我们在研究其内部运做时碰到了良多费事，我们不克不及切当领会为什么模子会做出那种决定，并且若是模子给出错误的谜底，我们凡是不晓得该怎么处置（除了搜集更大都据）。那使得深度进修鸠拙且难以解释，而且在许多方面不合适与人类一路停止加强认知。允许我们将深度进修的进修才能与符号明白、语义丰硕性联络起来的混合体可能具有变化性。

因为通用人工智能将承担如斯庞大的责任，它必需像不锈钢一样，更巩固、更可靠，比它的任何构成成分都更好用。任何单一的人工智能办法都不敷以处理问题，我们必需掌握将差别办法连系在一路的艺术。(想象一下如许一个世界: 钢铁造造商高喊「钢铁」，碳喜好者高喊「碳」，历来没有人想过将二者连系起来，而那就是现代人工智能的汗青。)

好动静是，将神经和符号连系在一路的摸索不断都没有停行，并且正在储蓄积累力量。

Artur Garcez 和 Luis Lamb 在 2009 年为混合模子写了一篇文章，叫做神经符号认知推理 (Neural-Symbolic Cognitive Reasoning)。比来在棋类游戏(围棋、国际象棋等) 方面获得的一些出名功效都是混合模子。

AlphaGo 利用符号树搜刮(symbolic-tree search) ，那是 20 世纪 50 年代末的一个设法(并在 20 世纪 90 年代得到了愈加丰硕的统计根底) ，与深度进修并行。

典范的树搜刮自己不敷以搜刮围棋，深度进修也不克不及零丁停止。DeepMind 的 AlphaFold2 也是一个混合模子，它操纵核苷酸来预测卵白量的构造。那个模子将一些精心构建的代表分子的三维物理构造的符号办法，与深度进修的可怕的数据搜刮才能连系在一路。

像 Josh Tenenbaum、Anima Anandkumar 和 Yejin Choi 如许的研究人员如今也正朝着神经符号的标的目的开展。包罗 IBM、英特尔、谷歌、 Facebook 和微软在内的浩瀚公司已经起头认实投资神经符号办法。Swarat Chaudhuri 和他的同事们正在研究一个叫做「神经符号编程(neurosymbolic programming)」的范畴，那对我来说几乎是天籁之音。他们的研究功效能够帮忙我理解神经符号编程。

四十年来，那是我第一次对人工智能感应乐不雅。正如认知科学家 Chaz Firestone 和 Brian Scholl 指出的那样。「大脑的运转不但有一种体例，因为它并非一件工具。相反，大脑是由几部门构成的，差别部门以差别体例运转：看到一种颜色和方案一次假期的体例差别，也与理解一个句子、挪动一个肢体、记住一个事实、感触感染一种情感的办法差别。」试图把所有的认知都塞进一个圆孔里是行欠亨的。跟着各人对混合办法的立场越来越开放，我认为我们也许末于有了一个时机。

面临伦理学和计算科学的所有挑战，AI 范畴需要的不单单是数学、计算机科学方面的常识，还需要语言学、心理学、人类学和神经科学等多个范畴的组合常识。只要会聚庞大的力量，AI 范畴才可能继续前进。我们不该该忘记，人类的大脑可能是已知宇宙中最复杂的系统，若是我们要成立一个大致类似的系统，开放式的协做将是关键。

参考文献：

1. Varoquaux, G. & Cheplygina, V. How I failed machine learning in medical imaging—shortcomings and recommendations. arXiv 2103.10292 (2021).

2. Chan, S., & Siegel, E.L. Will machine learning end the viability of radiology as a thriving medical specialty? British Journal of Radiology *92*, 20180416 (2018).

3. Ross, C. Once billed as a revolution in medicine, IBM’s Watson Health is sold off in parts. STAT News (2022).

4. Hao, K. AI pioneer Geoff Hinton: “Deep learning is going to be able to do everything.” MIT Technology Review (2020).

5. Aguera y Arcas, B. Do large language models understand us? Medium (2021).

6. Davis, E. & Marcus, G. GPT-3, Bloviator: OpenAI’s language generator has no idea what it’s talking about. MIT Technology Review (2020).

7. Greene, T. DeepMind tells Google it has no idea how to make AI less toxic. The Next Web (2021).

8. Weidinger, L., et al. Ethical and social risks of harm from Language Models. arXiv 2112.04359 (2021).

9. Bender, E.M., Gebru, T., McMillan-Major, A., & Schmitchel, S. On the dangers of stochastic parrots: Can language models be too big? Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency 610–623 (2021).

10. Kaplan, J., et al. Scaling Laws for Neural Language Models. arXiv 2001.08361 (2020).

11. Markoff, J. Smaller, Faster, Cheaper, Over: The Future of Computer Chips. The New York Times (2015).

12. Rae, J.W., et al. Scaling language models: Methods, analysis & insights from training Gopher. arXiv 2112.11446 (2022).

13. Thoppilan, R., et al. LaMDA: Language models for dialog applications. arXiv 2201.08239 (2022).

14. Wiggers, K. Facebook releases AI development tool based on NetHack. Venturebeat.com (http://venturebeat.com/) (2020).

15. Brownlee, J. Hands on big data by Peter Norvig. machinelearningmastery.com (http://machinelearningmastery.com/) (2014).

16. McCulloch, W.S. & Pitts, W. A logical calculus of the ideas immanent in nervous activity. Bulletin of Mathematical Biology *52*, 99-115 (1990).

17. Olazaran, M. A sociological history of the neural network controversy. Advances in Computers *37*, 335-425 (1993).

18. Marcus, G.F., et al. Overregularization in language acquisition. Monographs of the Society for Research in Child Development *57* (1998).

19. Hinton, G. Aetherial Symbols. AAAI Spring Symposium on Knowledge Representation and Reasoning Stanford University, CA (2015).

20. LeCun, Y., Bengio, Y., & Hinton, G. Deep learning. Nature *521*, 436-444 (2015).

21. Razeghi, Y., Logan IV, R.L., Gardner, M., & Singh, S. Impact of pretraining term frequencies on few-shot reasoning. arXiv 2202.07206 (2022).

22. Lenat, D. What AI can learn from Romeo & Juliet. Forbes (2019).23. Chaudhuri, S., et al. Neurosymbolic programming. Foundations and Trends in Programming Languages*7*, 158-243 (2021).

原文链接：

https://nautil.us/deep-learning-is-hitting-a-wall-14467/