最近上熱搜的MOSS,不是《流浪地球2》中量子計算機550W給自己起的新名字,而是復旦大學計算機科學技術學院教授邱錫鵬團隊最新發布的國內第一個對話式大型語言模型,也被稱作中國版ChatGPT。
2月20日,MOSS悄然上線,邱錫鵬團隊發布至公開平臺,邀公眾參與內測。但是由于瞬時訪問火爆,計算資源無法支撐,內測窗口已暫時關閉。
悄然上線,又匆匆關閉,MOSS這一“快閃”的舉動,讓它的亮相飽受爭議。
那么相對于美國OpenAI的ChatGPT,中國的MOSS有何特別之處呢?記者在主頁看到了這樣的介紹:MOSS和ChatGPT的區別——如MOSS的參數量比ChatGPT少得多;MOSS通過與人類和其他AI模型交談來學習,而ChatGPT是使用來自人類反饋的強化學習進行培訓;MOSS將是開源的,以促進未來的研究,但ChatGPT可能不是這樣。
據介紹,MOSS開發的基本步驟與ChatGPT一樣,包括自然語言模型的基座訓練、理解人類意圖的對話能力訓練兩個階段。作為MOSS主要作者之一,邱錫鵬表示:“MOSS與ChatGPT的差距主要在自然語言模型基座預訓練這個階段。MOSS的參數量比ChatGPT小一個數量級,在任務完成度和知識儲備量上,還有很大提升空間。”
ChatGPT語言模型的參數量高達1750億,而在它問世前,世界上最大的語言模型是微軟開發的Turing-NLG,其參數量為170億。自去年11月30日正式發布以來,ChatGPT上線5天,注冊用戶就突破百萬。目前,其用戶規模已達到1億,成為互聯網發展史上用戶增長最快的消費級應用。
復旦大學計算機科學技術學院教授張奇是推出MOSS的復旦大學NLP實驗室核心成員之一。對于ChatGPT背后模型所擁有的1750億的參數規模,他在一次公開討論中表示,學校這類機構很難去完成,目前百億級的規模都已經非常困難。
按照ChatGPT目前開源的最簡單復現版本、最便宜模式去計算,要做到1750億的參數規模,需要大概6000萬元的硬件成本,同時運算3.5個月。這還是所有事情都做對的情況,如中間有參數調整,或者想加速訓練過程,就需要更高規模的投資。
歸根到底還是研發投入的問題。而除了學術界,國內科技企業也紛紛摩拳擦掌開發自己的ChatGPT:原美團聯合創始人王慧文近日明確表示,要“組隊擁抱新時代,打造中國OpenAI”;百度此前宣布將在3月上線百度版ChatGPT——文心一言;阿里達摩院正在研發類ChatGPT的對話機器人,目前已開放給公司內員工測試;科大訊飛也表示,Al學習機將成為公司類ChatGPT技術率先落地的產品……
《科技日報》2023年2月23日第02版
聲明:以上內容為本網站轉自其它媒體,相關信息僅為傳遞更多企業信息之目的,不代表本網觀點,亦不代表本網站贊同其觀點或證實其內容的真實性。投資有風險,需謹慎。