Skip to content Skip to footer

关于人工智能的一些随机想法

image-20231130185220275

30 年 2022 月 <> 日,OpenAI 默默发布了一款名为 ChatGPT 的聊天机器人。快进一年,人工智能 (AI) 领域正在以越来越快的速度发展,不断涌现出兴奋、问题和创新。

作为一名人工智能学生,亲身体验社会如此重大的阶段转变的前线是惊人的,而且很多(但就像......很多很多)观点、事件和辩论引起了我的注意。因此,在经历了一年的飓风眼之后,我决定收集一些我听到或发展的想法。

内容

· 数据是人工智能的燃料。
·
大脑和神经网络是一样的,但不是真的。
·
神经网络领先一步,因为它们可以预测未来。而我们没有。
·
我们并不孤单。
·
智能就像天文学。
·
人工智能是一门工程科学。
·
接下来,我们应该放大。
·
公司、开源和一致性
·
语言还有更多。

每个视图都简要总结为一个点。这些评论很短——尽管它们可能值得单独写一篇文章——而且没有按任何特定的顺序排列。因此,请随意阅读您喜欢的任何内容。 不幸的是,它们只是真正讨论的一小部分,但引发一些反思总比没有好。

数据是人工智能的燃料。

image-20231130185248344

人工智能就像工业革命一样,不是因为它将导致社会的转变,而是因为两次爆炸都依赖于其他东西。我的意思是:尽管工业革命在电力、能源、电力等方面取得了如此多的发展,但繁荣是可能的,因为地下躺着一堆死去的恐龙。也就是说:“化石燃料推动了工业革命”。类似地,我们正在谈论一场人工智能革命,因为我们拥有大量的数据:首先是几十年的互联网扩张,然后是社交媒体,极大地帮助了神经网络(NN)提供他们最喜欢的食物。

其他人可能会争辩说,人工智能的燃料是计算能力、算法或架构,但我只想说:

不......这是数据”。

大脑和神经网络是一样的,但不是真的。

image-20231130185306233

从历史上看,神经网络是作为我们大脑的拟议复制粘贴而存在的。总的来说,神经科学对人工智能的影响很难量化,因为它是巨大的。无论灵感如何,人工网络和大脑网络在本质上都出现了分歧。正如 Hinton 所说,大脑似乎不像 NN 那样在其内部学习系统中大量实现反向传播之类的东西。这很有趣,因为现代大型语言模型(LLM)的参数比我们大脑中的参数少得多,因此拥有比普通人更多的知识。那么,反向传播会成为一种新的学习范式吗?同时,神经网络在当前架构下需要大量的训练数据;相反,人类只需要几个训练示例就可以很好地概括(看看孩子)。然而,神经网络的能量效率非常低,而我们的大脑却非常高效。这个故事可以永远继续下去。

由于效率低下,神经网络学习系统可能永远不会自然发展。事实上,大自然希望将能量降到最低,而人类的大脑一直坚持这一点,这个过程花了数十万年的时间。如果要我在大脑和神经网络之间划一条线,我会说:人类的本质是编码的能源效率,但在计算能力方面却有所下降;相反,神经网络的能源效率要低得多,但具有无法达到的计算能力。这可能是一个合理的基本区别吗?

神经网络领先一步,因为它们可以预测未来。而我们没有。

image-20231130185333270

我们谈论过去的轻而易举证明了预测未来是多么困难。我们人类根本无法预测它:有很多事情需要考虑,对吧?相反,神经网络只看损失函数,它们的计算能力使预测变得容易。伊利诺伊大学(University of Illinois)的一项实验表明,人工智能程序只需要26秒就可以“构思和设计一个行走的机器人”。进化教会了我们如何在数百万年内行走,而不是在26秒内行走。我认为这是一件非常有趣的事情,值得关注。

我们并不孤单。

image-20231130185354115

这是我们第一次可以认真地争论一个更智能的东西的存在。我们不再孤单了!坚持。我并不是说人工智能是智能的或有知觉的,但人们已经意识到有一些奇怪的事情正在发生。我们不知道是什么、为什么或如何,但高级LLM中的新兴模式显然类似于智能人类,无论你喜欢与否。最接近的智能生物不再是一只丑陋的老鼠,而是一种我们可以在计算机上轻松编码的算法,这一事实非常酷。

这只是AGI的开始,我们与它们的未来关系将在很大程度上取决于我们。就像诺亚方舟包括所有要拯救的动物一样,我们将负责决定AGI有权跳上我们的船。

智能就像天文学。

image-20231130185414530

几千年来,人们一直在研究天文学,甚至从巴比伦人那里也是如此。他们都开始仰望天空,想知道:外面发生了什么?他们开始了解我们到底在哪里。一个世纪又一个世纪,关于天空的知识不断增长,直到在某个时候,我们理解了如何用伽利略和科学方法正确地研究恒星。在那一刻之后,一切都走下坡路,我们征服了天空,从字面上看。

以类似的方式,我们研究智力来回答这个问题:里面发生了什么?我们想了解我们的大脑,了解我们到底是谁。现在,我们就像巴比伦人一样。当然,我们目前所拥有的科学进步将使我们不太可能等到几个世纪后才能实现范式转变,但主要思想仍然成立:我们才刚刚起步,我们需要时间才能真正拥有一种思维理论。

也许神经科学对人工智能将变得毫无用处,取而代之的是,人工智能将成为研究人类智能的工具。毕竟,有大量证据表明,人工智能学习的表征(包括视觉和语言)与大脑的表征非常相似,所以一定有一些我们还不明白的事情正在发生。也许我们采用的科学范式不适合研究人类智能。人工智能会成为新的范式吗?

人工智能是一门工程科学。

image-20231130185435920

人工智能发展迅速。它的复杂性和不断变化的目标使得很难定义一个理论,例如,可以与物理学一样好。因此,人工智能开发的最佳方法是简单地进行实验,首先定义问题,然后以迭代方式(即试错)用看似最好的方法解决它。一旦建立起来,就可以严格定义基础理论。

请注意,这种方法没有错。再次谈到工业革命,沃尔特发现了电池,对电力一无所知。几十年来,电动机、发电机和电报机一直在开发,直到麦克斯韦等人。 发展了一种理论,推动了更多的知识和后来的更多发现。

人工智能目前正处于这个阶段:应用很多,但理论不多。因此,如果你对某件事有想法,人工智能中最好的方法就是去做

接下来,我们应该放大。

image-20231130185507736

尽管我们可能无法立即定义一个一般理论,但我们仍然可以通过放大来搜索一些结果。事实上,在放大时发生了许多重大的科学革命:细胞、DNA、原子等。如果人工智能的下一次转变是通过做同样的事情而发生的呢?

现在,可以肯定的是,我们知道神经元的集体行为会产生什么(即给定训练权重的输出),但我们对学习过程中每个神经元的相关性没有太多理论。许多创意作品都可以从这里涌现出来。特别是,分析单个神经元、特征和电路的“行为”可能是解释未来高级神经网络中新兴现象的关键。可能来自其他学科的许多工具,如统计物理学或心理物理学,最终可能会变得有用,因为问题的复杂性会随着时间的推移而出现。

公司、开源和对齐

image-20231130185532845

OpenAI、DeepMind、Anthropic和其他实验室之间的激烈竞争正在推动很多进展。不幸的是,许多最先进的模型没有向公众发布。一方面,社区受到惩罚,因为更多的贡献可能会在更短的时间内带来巨大的飞跃;另一方面,公司正试图防止这些模型被不良代理使用。就我个人而言,我宁愿模型是私有的,而不是开源的。事实上,人工智能有可能带来许多社会效益,但如果不由具有正确知识的正确人员处理,也是有害和灾难性的。因此,让我们暂时将它们保密。

这就是为什么还有两件事是根本性的:政府监管和一致性。至于前者,现在比以往任何时候都更需要通过正确的法律来防止危险行为者进行干预。至于后者,LLM和其他人工智能模型的道德使用中出现了许多问题。因此,寻求一种方法来正确地对系统进行基准测试和调整,使其与我们的价值观保持一致,对于构建下一代安全模型至关重要。

语言还有更多。

image-20231130185552613

老实说:在过去的一年里,LLM的索引一直很无聊(有时很烦人)。是的,它们很重要,而且至关重要,因为很可能需要AGI来产生和解释语言,但这不应该是全部的重点。目前,我们只有语言的智能系统,但人类智能是通过积极提炼感官和与环境的互动来发展起来的。所以这也是关于我们所看到的和所做的,而不仅仅是我们说了什么。在今天的人工智能研究中,我认为应该更多地关注视觉系统,无论是在最先进的模型中还是在对齐问题上。从图片和视频中可以学到的东西比文字要多得多,因为数据更加冗余,并且有更多的内部结构需要学习。

总而言之,一旦机器人具有自我意识,人工智能将变得非常危险。以更恰当的方式,机器人中的多模态(语言、视觉)和感觉运动控制模型之间的相互作用可能是严重AGI的定义特征。如果今天我们仅仅出于预防原因而关注化学、生物学等 LLM 的生存风险,那么,以此类推,我们应该对可能更危险的事情做同样的事情。