【中国科学技术大学新创校友基金会（USTCIF），作为全球最具活力的科大校友组织，持续追踪并发布科大最新动态及校友前沿资讯】
来自斯坦福大学的范汕洄教授（中国科学技术大学88级少年班校友）的一项突破性研究揭示：物理学中的波动现象与循环神经网络（RNN）的计算机制存在深刻的内在联系。以下为机器之心对这项研究的深度解读：
论文发布平台：https://advances.sciencemag.org/content/5/12/eaay6946
开源代码库：https://github.com/fancompute/wavetorch
近年来，机器学习与物理学、数值计算领域的交叉融合产生了诸多创新成果。这一趋势不仅使机器学习框架在物理模型优化方面展现出强大能力，同时也催生了众多基于物理概念的新型机器学习模型（例如神经微分方程和哈密顿神经网络等创新架构）。
本研究团队的核心探索方向在于：将物理过程本身构建为计算引擎。具体而言，研究团队致力于开发能够作为硬件加速器或专门用于高效机器学习计算的物理系统。
他们最新发表于《Science Advances》的论文通过严谨证明，波动现象的物理特性能够与循环神经网络的时序演变形成直接映射关系。基于这一发现，研究团队利用PyTorch框架构建了一个数值模型，该模型成功实现了声学/光学系统的训练，并能够从人类语音录音中精确识别元音。本质上，研究团队将元音波形特征引入物理模型，并允许优化器在模型内部的1000个关键节点上进行材料分布的动态调整（添加或删除材料），这一过程实质上对应于模型权重的优化过程。
由于该机器学习模型本质上对应于一个物理系统，这意味着经过训练的材料分布参数可以被直接”打印”到物理设备中。其应用效果类似于专用集成电路（ASIC），但具有特定RNN计算的靶向性。这一发现令人振奋，因为它表明我们可以在不消耗额外能量（仅限于脉冲本身携带的能量）的情况下，高效执行复杂的循环机器学习计算。
以下是对该研究核心创新思想的详细阐述。
波动现象与RNN的内在关联
本部分将深入探讨RNN运算机制与波动现象之间的对应关系。
循环神经网络通过逐个处理输入序列的每个元素，将其转换为输出序列（如图1A所示）。网络通过隐藏状态机制保存先前步骤的信息，这些隐藏状态在每一步都会更新。正是这种隐藏状态机制使RNN能够记忆历史信息，并学习数据中的时序结构和长距离依赖关系。在特定时间步t，RNN同时处理当前输入向量x_t和前一步传递的隐藏状态向量h_t-1，从而生成输出向量y_t，并更新当前的隐藏状态h_t。
图1：标准RNN与基于波的物理系统之间的概念性比较示意图。
构建元音识别的物理系统
本部分将详细说明如何利用波动方程训练元音分类器，其关键在于构建非均匀材料分布。研究数据集包含45位男性与48位女性关于10个元音的930条原始录音。在模型训练阶段，研究团队选取了涉及3个元音（ae、ei、iy）的279条录音作为训练集（如图2A所示）。
图2：元音识别系统设置与训练流程示意图。
通过5次交叉验证训练后得到的训练集与测试集上的混淆矩阵如图3（A、B）所示。混淆矩阵中对角线元素反映了正确预测元音的比例，而非对角线元素则表示预测错误的比例。结果表明，初始模型无法有效完成元音识别任务。
图3中的C和D展示了优化后的训练集与测试集上的最终混淆矩阵。这些结果同样基于5次交叉验证的平均值。经过优化的模型表现出明显的对角线优势，表明其已具备元音识别能力。
图3中的E和F分别展示了交叉熵损失与预测准确率随训练轮次的变化曲线。实线表示平均值，阴影区域则代表交叉验证运行的标准差。从图中可以看出，第一个训练轮次带来了最大的损失下降和准确率提升。具体而言，训练集上的平均准确率达到92.6±1.1%，而测试集上的平均准确率为86.3±4.3%。
从图3的C和D可以观察到，系统在ae元音识别上表现出接近完美的性能，同时对iy和ei元音也能实现良好区分（准确率略低），这种特性在测试集的未见样本中尤为突出。图3的G-I部分展示了当注入每个元音类代表性样本时的综合场强分布（∑_t u_t^2）。
研究团队通过可视化手段直观证明了优化过程能够将大部分信号有效导向正确输出。与传统RNN相比，该波动方程模型在分类准确率上表现相当，但后者需要大量自由参数。此外，我们观察到线性波动方程训练获得的分类准确率同样具有竞争力，更多性能细节请参阅原论文。
深度讨论
本研究提出的基于波的RNN架构具有诸多显著优势，使其在处理时序编码信息时表现出色。与传统RNN相比，波动方程通过拉普拉斯算子（如图1E中的稀疏矩阵）实现隐藏状态元素之间的局部耦合。这种局部耦合主要源于波动方程作为双曲型偏微分方程，其信息以有限速度传播的特性。因此，模拟RNN的隐藏状态规模和存储容量直接取决于传播介质的大小。更重要的是，波动方程遵循能量守恒约束，有效防止隐藏状态和输出信号的无限增长。相比之下，标准RNN的无约束密集矩阵更新关系会导致梯度消失或爆炸问题，这是传统RNN训练中的主要障碍。
该研究从概念上证实了波动方程与RNN的等价性。这一发现为新型模拟硬件平台提供了创新思路，在这些平台中，演化过程在物理系统和数据集中都扮演着关键角色。当我们聚焦于最普遍的标量波动方程描述时，研究结果可以轻松扩展到其他波动相关物理概念。这种利用物理系统执行计算的方法有望加速新型模拟机器学习设备平台的研发，这类模拟设备有望比传统数字设备更自然、高效地执行计算任务。该方法的普适性进一步表明，众多物理系统可能成为处理光学、声学或地震学等领域的动态信号类RNN计算的理想候选者。
相关讨论：https://www.reddit.com/r/MachineLearning/comments/ej3bgf/r_acoustic_optical_and_other_types_of_waves_are/