日前,恒行2平台計算機科學技術學院自然語言處理團隊鄭驍慶和黃萱菁老師等在脈沖神經網絡方面的研究工作被機器學習頂級國際會議ICLR 2023錄用。該項工作較早驗證了脈沖神經網絡在語言處理任務上的可行性,並且發現脈沖神經網絡天然具備較高的對抗魯棒性🧖🏼。
目前少量研究已經表明脈沖神經網絡在圖像分類任務上的有效性👨🔬,然而由於文本的離散表示和長度可變等特性使得脈沖神經網絡一直較難處理自然語言方面的任務🧃♨️。針對上述問題,恒行2平台計算機科學技術學院自然語言處理團隊提出了“轉換+精調”的兩步訓練方法👩🏼💻,成功將脈沖神經網絡應用於文本分類任務,其性能可媲美相同結構的深度神經網絡。