|
许多基于概率机器学习算法的先进人工智能任务，如策略优化、智能医疗和自主驾驶，需要高带宽的数据传输和概率计算，给传统的计算硬件带来了巨大的挑战。基于冯-诺依曼架构的数字计算平台擅长精确和确定性的计算，但由于内存和计算单元之间的数据传输和大量随机数生成的高成本，其计算效率受到了限制。近年来备受关注的忆阻器在存算一体技术和随机数生成领域有着广泛的研究，有望实现融合随机数生成的存算一体计算技术，从而高效实现概率机器学习算法。 清华大学集成电路学院高滨课题组与清华大学计算机系朱军课题组合作，从中心极限定理出发，提出了一种利用忆阻器读取电导的随机性和存算一体特性实现高斯权重的方法，在同一阵列中实现了原位随机数生成和矩阵向量乘功能，进一步构建了可拓展的多阵列随机计算硬件系统ESCIM，以高效加速概率机器学习算法。
为了高效地实现机器学习算法并保证其基本性能，课题组通过结合忆阻器随机特性和传统变分推断算法，开发了一种利用忆阻器随机特性的变分推断离线训练方法。此外，课题组量化分析了权重失配和弛豫效应对网络性能带来的影响，并提出了一种补偿漂移电流的方法。最后，课题组利用读电流一次性的特点，设计了一种利用忆阻器的读循环随机特性来实现不确定性估计的方法。
为了验证提出方法的可行性，课题组设计了一个四层的忆阻BDNN，在ESCIM系统上成功演示了一个典型的风险感知强化学习任务，即“风暴海岸”任务。 在该任务中，智能体控制其划桨以尽可能地接近海岸线上的目标旗帜位置，但是海面上季风和海浪都会产生干扰，智能体需要一个划桨动作策略与风浪搏斗。智能体应基于收集到的数据集，利用忆阻BDNN学习海洋环境的环境近似模型。该环境近似模型输入当前状态和采取的动作，则可预测小船下一个转移到的状态。由于数据集缺乏部分海域的信息和海洋环境中的随机海浪，因此该任务中需要估计认知不确定性和偶然不确定性，进而学习到风险感知的划桨动作策略。实验证明，该计算系统可以通过利用忆阻器的固有随机性，有效地估计风暴海岸任务中的不确定性大小。同时，课题组在分布外样本的检测任务中进行了仿真验证，进一步说明了提出方法的可行性和可扩展性。最后，评估结果表明，与传统的GPU相比，ESCIM系统在不确定性估计方面减小了10倍的计算延迟和150倍的能耗。本工作所构建的忆阻BDNN原型系统有望为未来实现高性能的概率机器学习硬件提供一定的理论与技术指导。
近期，该项工作的相关研究成果以“Uncertainty quantification via a memristor Bayesian deep neural network for risk-sensitive reinforcement learning”为题在《自然•机器智能》（Nature Machine Intelligence）上在线发表。 |
