什么是神经形态计算?

2024 年 6 月 27 日

作者

Cole Stryker

Editorial Lead, AI Models

什么是神经形态计算?

神经形态计算,也称为神经形态工程,是一种模仿人类大脑工作方式的计算方法。它需要设计硬件和软件,模拟大脑处理信息的神经和突触结构与功能。

神经形态计算看似一个新领域,但其起源可以追溯到 20 世纪 80 年代。正是在这十年间,Misha Mahowald 和 Carver Mead 开发出了首个硅视网膜和耳蜗,以及首个硅神经元和突触,开创了神经形态计算范式。1

如今,随着人工智能 (AI) 系统的扩展,它们将需要最先进的硬件和软件提供支持。神经形态计算可以作为 AI 的增长加速器,增强高性能计算,并作为超人工智能的基石之一。目前,人们甚至还在进行将神经形态计算与量子计算相结合的实验。2

神经形态计算已被管理咨询公司 Gartner 评为企业最青睐的新兴科技。3同样,专业服务公司 PwC 指出,神经形态计算是组织探索的一项重要科技,因为它发展迅速,但尚未成熟到成为主流。4

小球在轨道上滚动的三维设计

最新的 AI 新闻 + 洞察分析

在每周的 Think 时事通讯中,发现专家精选的有关 AI、云等的洞察分析和新闻。 

神经形态计算的工作原理

由于神经形态计算的灵感源自人类大脑,因此它大量借鉴了生物学和神经科学。

根据昆士兰脑神经科学研究所的说法,神经元“是大脑和神经系统的基本单位”。5作为信使,这些神经细胞在大脑的不同区域之间以及身体的其他部分传递信息。当神经元开始活跃或出现“脉冲”时,就会触发化学和电信号的释放,这些信号会通过称为突触的连接点网络传播,从而使神经元之间能够相互通信。6

这些神经和生物机制通过脉冲神经网络 (SNN) 在神经形态计算系统中进行建模。脉冲神经网络是一种由脉冲神经元和突触组成的人工神经网络

脉冲神经元存储和处理与生物神经元类似的数据,每个神经元都有自己的电荷、延迟和阈值。突触在神经元之间创建通路,并且还具有与之相关的延迟和权重值。这些值,即神经元电荷、神经元和突触延迟、神经元阈值和突触权重,都可以在神经形态计算系统中进行编程。7

在神经形态架构中,突触被表示为基于晶体管的突触设备,采用回路来传输电信号。突触通常包含学习部件,根据脉冲神经网络内的活动随时间改变其权重值。7

与传统的神经网络不同,SNN 将时间因素考虑在其运作中。神经元的电荷值会随着时间的推移而累积;当该电荷达到神经元的相关阈值时,它会发出脉冲,沿着其突触网传播信息。但是,如果电荷值没有超过阈值,它就会消散并最终“泄漏”。此外,SNN 由事件驱动,其神经元和突触延迟值允许异步传播信息。7

专家荟萃 | 播客

解码 AI:每周新闻摘要

加入我们的世界级专家团队,包括工程师、研究人员、产品负责人等,他们将穿透 AI 的喧嚣,为您带来最新的 AI 新闻和见解。

神经形态硬件

在过去的几十年里,神经形态计算的许多进步都以神经形态硬件的形式出现。

在学术界,早期的实现之一包括斯坦福大学的 Neurogrid,其混合模数多芯片系统可以“实时模拟具有数十亿个突触连接的百万个神经元”。8同时,研究中心 IMEC 开发了一种自学神经形态芯片。9

政府机构也支持神经形态研究工作。例如,欧盟的“人脑项目”是一项为期 10 年的计划,将于 2023 年结束,旨在更好地了解大脑,找到治疗大脑疾病的新方法,并开发新的受大脑启发的计算科技。

这些技术包括大型 SpiNNaker 和 BrainScaleS 神经形态机器。SpiNNaker 在数字多核芯片上实时运行,具有用于优化脉冲交换的基于数据包的网络。BrainScaleS 是一种加速机器,可模拟神经元和突触的模拟电子模型。它拥有第一代晶圆级芯片系统(称为 BrainScaleS-1)和第二代单芯片系统(称为 BrainScaleS-2)。10

在科技行业中,神经形态处理器包括 Intel 的 Loihi、GrAI Matter Labs 的 NeuronFlow 以及 IBM 的 TrueNorth 和下一代 NorthPole 神经形态芯片。

大多数神经形态设备由硅制成,并使用 CMOS(互补金属氧化物半导体)技术。但研究人员也在研究新型材料,如铁电材料和相变材料。被称为“忆阻器”(memristor,“记忆”和“电阻器”的组合)的非易失电子存储器件是在脉冲神经元中实现存储和数据处理的另一个模块。

神经形态计算算法

在软件领域,开发用于神经形态计算的训练和学习算法涉及机器学习和非机器学习技术。以下是其中几种:7

深度学习

为了执行推理,可以使用映射策略(例如标准化权重或激活函数)将预训练的深度神经网络转换为脉冲神经网络。深度神经网络还可以通过某种方式进行训练,使其神经元像脉冲神经元一样被激活。

进化算法

这些受生物启发的算法采用了生物进化的原理,例如突变、繁殖和选择。进化算法可用于设计或训练 SNN,随着时间的推移改变和优化其参数(例如,延迟和阈值)和结构(例如,神经元的数量和突触连接的方法)。

图表

脉冲神经网络非常适合图形表示,其中 SNN 采用有向图的形式。当图中的一个节点出现脉冲时,其他节点也出现脉冲的时间与距原始节点的最短路径长度一致。

可塑性

在神经科学中,神经可塑性是指人类大脑和神经系统在受到损伤后改变其神经通路和突触的能力。在神经形态结构中,突触可塑性通常通过脉冲时间依赖性可塑性来实现。此操作根据神经元的相对脉冲时间调整突触的权重。

储备池计算

基于循环神经网络的储备池计算使用“储备池”将输入投射到更高维的计算空间,并训练读出机制读取储备池的输出。

在神经形态计算中,输入信号被馈送到脉冲神经网络,该网络充当储备池。SNN 不进行训练;相反,它依靠其网络内的循环连接以及突触延迟将输入映射到更高维度的计算空间。

神经形态计算的优势

神经形态系统具有很大的计算前景。以下是这种计算架构带来的一些优势:

适应性

作为一种受大脑启发的技术,神经形态计算也涉及可塑性的概念。神经形态设备专为实时学习而设计,能不断适应以输入和参数形式出现的不断变化的刺激。这意味着它们能够擅长解决新问题。

能效

如前所述,神经形态系统是基于事件的,其中神经元和突触以响应其他脉冲神经元方式进行处理。因此,只有计算脉冲的部分才会消耗电力,而网络的其余部分则保持空闲状态。这将实现更有效的能源消耗。

高性能

大多数现代计算机(也称为冯·诺依曼式计算机)都有独立的中央处理单元和存储单元,这些单元之间的数据传输可能会产生影响速度的瓶颈。另一方面,神经形态计算系统在单个神经元中存储和处理数据,与冯·诺依曼架构相比,具有更低的延迟和更快的计算速度。

并行处理

由于 SNN 的异步性质,单个神经元可以同时执行不同的运算。因此,从理论上讲,神经形态设备在给定时间可以执行与神经元一样多的任务。因此,神经形态架构具有巨大的并行处理功能,使它们能够快速完成功能。

神经形态计算的挑战

神经形态计算仍是一个新兴领域。与任何处于早期阶段的科技一样,神经形态系统也面临一些挑战:

准确性降低

将深度神经网络转换为脉冲神经网络的过程可能会导致准确度下降。此外,神经形态硬件中使用的忆阻器可能会出现不同周期之间的波动和器件波动,从而影响精度,而且突触权重值的限制也会降低精度。7

缺乏基准和标准

作为一种新兴技术,神经形态计算在架构、硬件和软件方面缺乏标准。神经形态系统也没有明确定义和建立的基准、样本数据集、测试任务和指标,因此很难评估性能和证明有效性。

有限的可访问性和软件

大多数神经形态计算的算法仍然采用为冯·诺依曼硬件设计的软件,这会将结果限制在冯·诺依曼架构所能实现的范围内。同时,神经形态系统的 API(应用程序编程接口)、编码模型和编程语言尚未被开发或更广泛地提供。

学习难度高

神经形态计算是一个复杂的领域,涉及生物学、计算机科学、电子工程学、数学、神经科学和物理学等学科。这使得专门从事神经形态研究的学术实验室之外的人很难理解。

神经形态计算用例

目前,神经形态系统在现实世界中的应用很少,但计算范式可能适用于以下用例:

自动驾驶汽车

由于其高性能和数个数量级的能源效率提升,神经形态计算可以帮助提高自动驾驶汽车的导航技能,从而实现更快地修正航向和改善避免撞车效果,并更好地节能减排。

网络安全

神经形态系统可以帮助检测到可能预示着网络攻击或漏洞的异常模式或活动。由于神经形态设备的低延迟和快速计算,这些威胁可以被迅速化解。

边缘 AI

神经形态架构的特性使其适用于边缘 AI。它的低功耗有助于延长智能手机和可穿戴设备等设备的电池寿命,而其适应性和事件驱动的特性则适合远程传感器、无人机和其他物联网 (IoT) 设备的信息处理方法。

模式识别

由于其广泛的并行处理能力,神经形态计算可用于机器学习应用程序,用于识别自然语言和语音模式、分析医学图像和处理来自 fMRI 脑部扫描和测量大脑电活动的脑电图 (EEG) 测试的成像信号。

机器人

作为一种适应性科技,神经形态计算可用于增强机器人的实时学习和决策能力,帮助其更好地识别物体、在复杂的工厂布局中导航并在装配线上更快地运行。

相关解决方案
IBM watsonx.ai

使用面向 AI 构建器的新一代企业级开发平台 IBM watsonx.ai,可以训练、验证、调整和部署生成式 AI、基础模型和机器学习功能。使用一小部分数据,即可在很短的时间内构建 AI 应用程序。

了解 watsonx.ai
人工智能 (AI) 解决方案

借助 IBM 业界领先的人工智能专业知识和解决方案组合,让人工智能在您的业务中发挥作用。

深入了解 AI 解决方案
AI 咨询与服务

通过增加 AI 重塑关键工作流程和运营,最大限度提升体验、实时决策和商业价值。

深入了解人工智能服务
采取后续步骤

一站式访问跨越 AI 开发生命周期的功能。利用用户友好型界面、工作流并访问行业标准 API 和 SDK,生成功能强大的 AI 解决方案。

深入了解 watsonx.ai 预约实时演示
脚注

1 Carver Mead Earns Lifetime Contribution Award for Neuromorphic Engineering,Caltech,2024 年 5 月 7 日。
2 Neuromorphic Quantum Computing,Quromorphic,2024 年 6 月 21 日访问。
3 30 Emerging Technologies That Will Guide Your Business Decisions,Gartner,2024 年 2 月 12 日。
4 The new Essential Eight technologies: what you need to know,PwC,2023 年 11 月 15 日。
5 What is a neuron?,Queensland Brain Institute,2024 年 6 月 21 日访问。
6 Action potentials and synapses,Queensland Brain Institute,2024 年 6 月 21 日访问。
7 Opportunities for neuromorphic computing algorithms and applications,Nature,2022 年 1 月 31 日。
8 Neurogrid: A Mixed-Analog-Digital Multichip System for Large-Scale Neural Simulations,IEEE,2014 年 4 月 24 日。
9 IMEC demonstrates self-learning neuromorphic chip that composes music,IMEC,2017 年 5 月 16 日。
10 Neuromorphic computing,Human Brain Project,2024 年 6 月 21 日访问。