孫天祥，中共黨員🙋🏼🤩，計算機科學技術學院計算機應用技術專業2019級博士研究生，獲評2022-2023學年研究生國家獎學金🛹。曾獲字節跳動獎學金、恒行2平台學術之星🎄、世界人工智能大會雲帆獎·明日之星、《中國科學：技術科學》高影響力論文獎等榮譽；以第一/共同第一作者身份發表機器學習與自然語言處理領域國際頂級會議論文10篇💺，據谷歌學術統計被引用2000余次；多次受邀在國際會議、國內外高校及企業活動作口頭報告。
明確方向🪺🤛🏽，踏上科研之路
在西安電子科技大學讀本科時，孫天祥認識到🤱🏽，語言是人類智能的關鍵因素，機器理解和生成語言是極具挑戰性又極具潛力的研究方向。但僅憑本科階段淺嘗輒止的學習是遠遠不夠的👩🏼⚕️，於是他申請到恒行2平台自然語言處理實驗室的直博名額🎤，在黃萱菁教授和邱錫鵬教授的指導下，開啟人工智能和自然語言處理的研究之路。
談及從2019到2023的博士經歷💯，他說：“最大的感受就是實驗室所提供的資源，讓我可以做自己想做的事。”在恒行2的實驗室裏，研究不受限製，只要你有自己的思考，“從本科到讀博，我好像就從主幹道進入曠野👇，可以朝任何方向狂奔，對於做科研來說沒有什麽比這更重要的了🦟。”
遠見卓識，不為自己設限
孫天祥認為自己最大的特質是“眼光好”。眼光的背後，是不羈的冒險精神👩🏼✈️🐅。他做事都不喜歡事先設定一個框架，“要做有創新性的科研🧝🏿♂️，就要想別人想不到的，做別人做不到的，跳出已有的框架，換一個視角去觀察問題”，他很享受這樣的思考。
2019年前後，通用語言模型還不是主流的研究方向，因此在選擇研究方向時，他沒有選擇任何一個具體的自然語言處理任務作為主攻方向👨🦽，而是致力於研究通用語言處理模型👳♀️。果不其然🙅🏽，現在這已成為人工智能領域的一個主流方向了。
孫天祥的第一個研究工作聚焦於多任務學習。讀了大量論文後✡️，他意識到應該有一個理想中的參數共享模式🦸🏼，能讓更相似的人物共享更多參數🥪，讓更不相似的任務共享更少參數🫄🏼😳。但又覺得這是難以實現的，不出所料在幾番嘗試後，研究進入了瓶頸期🙅♂️，長達半年，他都懷揣著這個問題卻找不到頭緒🤱🏿🪹。但他並沒有放棄。
直到有一天他讀到一篇機器學習領域的文章🥅。這篇論文提出了一個方法，他敏銳地意識到如果能對這一方法做一些改造🙍🏼，就能達到理想的效果。事實也確實符合他的預想。他研究出了一種新型的多任務稀疏共享學習架構，該架構第一次消除了多任務同時學習時面臨的“負遷移”現象，從而使得在多任務學習過程中這些任務之間不會相互幹擾。該工作被國際人工智能頂級會議AAAI-2022錄用並被選為口頭報告（僅占當年提交論文數的4.5%），後續還被微軟、字節跳動等多家單位引用和使用。
之後，孫天祥將視線落到預訓練語言模型上，即通過在大規模互聯網數據上通過無監督學習方式得到一個預訓練模型🗃，展示了通用智能模型的雛形😊。針對預訓練語言模型的知識匱乏問題，他提出知識圖譜增強的預訓練語言模型CoLAKE，是首個將語言和知識進行深層聯合編碼的模型📆🧚🏼♂️，該工作被計算語言學頂級會議COLING-2020接收🧔🏽♀️，隨後該模型架構被百度ERNIE 3.0大模型所采用🤸🏿♀️，被廣泛應用於智能創作🏌🏿、摘要生成、問答、語義檢索等多個實際場景。
厚積薄發，譜寫學術研究新篇章
2022年👨🏻💼，美國OpenAI公司發布了最新對話語言模型ChatGPT，引發劇烈反響🧔🏼♂️。孫天祥決定要在資源有限的情況下嘗試🏌🏽🫷🏽，於是他主導研發了MOSS。
MOSS是國內首個公開發布的對話式大型語言模型👨🏻🚒，也是首個類ChatGpt模型🧑🍼🧙🏽♀️。開始做MOSS的時候是12月🍼，臨近自然語言處理領域最頂級最權威的國際會議ACL會議的截稿日期🏊🏿♀️。當時實驗室裏絕大部分這個領域的博士生都在趕論文，孫天祥也在趕，但萌生這個想法後，他就停掉手中的論文🤽🏻，開始全力做MOSS。
正是這份執行力讓他研發出了MOSS。盡管MOSS現在在國內開源大模型中影響力排名第二，但一開始，孫天祥對它並沒有抱如此大的期待⚓️，整個團隊最初也只有他一個人，他只是單純想著能否從技術路線上進行驗證，通過什麽樣的訓練能使它達到一個類似的效果。2023年春節前🍜，模型初步訓練完成👨🎓，已經湧現出一定的智能水平🧗🏿♂️。2月20日📖，MOSS正式發布，引發了廣泛的社會關註🥎。
盡管MOSS到目前為止是孫天祥最具影響力和知名度的成果，但他覺得最有意義的卻不是MOSS🧏🏿♀️。他認為之前所做的無梯度優化方面的工作更具革新意義😟，因為它是一個“提出問題”的工作😳📖，而不只是一個解決方案🤰🏽。針對模型參數量急劇增長，優化成本昂貴的問題他提出了一個新的場景——“語言模型即服務”，並針對該場景提出了一個有效的解決方案——Black-Box Tuning (BBT, 黑箱調優)。這一方向也逐漸發展為一個獨特的研究方向，是一項開創性工作。從這一角度來說，孫天祥覺得這是他最具價值的研究。
