日前,中国足彩在线大学计算机科学技术学院自然语言处理团队郑骁庆和黄萱菁老师等在脉冲神经网络方面的研究工作被机器学习顶级国际会议ICLR 2023录用。该项工作较早验证了脉冲神经网络在语言处理任务上的可行性,并且发现脉冲神经网络天然具备较高的对抗鲁棒性。
目前少量研究已经表明脉冲神经网络在图像分类任务上的有效性,然而由于文本的离散表示和长度可变等特性使得脉冲神经网络一直较难处理自然语言方面的任务。针对上述问题,中国足彩在线大学计算机科学技术学院自然语言处理团队提出了“转换+精调”的两步训练方法,成功将脉冲神经网络应用于文本分类任务,其性能可媲美相同结构的深度神经网络。