湖州吳興區南太湖高新區科創園招商推介產業規劃鄉村振興新舊動能轉換特色小鎮
當前位置:首頁 > 商業 > 資訊 > 正文

英偉達:已成功訓練出世界上最大的語言模型

來源:獵云網 2019-08-14 16:24中投投資咨詢網 A-A+

  英偉達今日宣布,已經成功訓練出世界上最大的語言模型。該模型是這家GPU制造商針對一系列會話式AI研發的最新版本。

  為了實現這一突破,英偉達利用模型并行性,將神經網絡分解成各個部分,并采用了由于過大而無法容納在單個GPU內存中的模型創建技術。該模型使用了83億個參數,比BERT大24倍,比OpenAI的GPT-2大5倍。除此之外,英偉達還宣布了BERT(Bidirectional Encoder Representations,雙向編碼器表示)的最快訓練和推理次數。BERT是一種流行的模型,最初于2018年由谷歌開源,是當時最先進的模型。

  英偉達能夠利用優化的PyTorch軟件和含超過1000個GPU的超級計算機DGX-SuperPOD訓練BERT-Large。這些GPU訓練BERT的耗時小于53分鐘。“如果沒有這種技術,訓練其中任何一種大型語言模型都可能耗費數周時間,”英偉達應用深度學習副總裁Bryan Catarazano在與記者和分析師的對話中表示。

  英偉達還表示其已實現了最快的BERT推理時間。基于Tesla T4 GPU和針對數據中心推理優化的TensorRT 5.1運行時,推理時間已降至2.2毫秒。Catarazano表示,當CPU運行時,BERT推理最多需要40毫秒,而目前,大量會話式AI的應用使這一過程縮短到10毫秒。不僅如此,GPU也為微軟旗下的必應創造了收益,英偉達硬件的應用使必應的延遲時間縮短了一半。

  當前推出的任何一項新技術都旨在強調該公司GPU在語言理解性能方面的提升。為了幫助AI從業者和研究人員探索并創建大型語言模型、加速GPU的推廣或推理,上述每項新技術的代碼都已開源。除了單詞正確率的急速上升之外,減少延遲一直是各大流行AI助手被采用的主要因素,如亞馬遜的Alexa、谷歌的Google Assistat和百度旗下的度秘(Duer)等。

  少延遲甚至無延遲的信息交換使機器與人的對話像人與人之間的對話那樣,即刻就能得到回應。與今年微軟Cortana、亞馬遜Alexa和Google Assistant推出的多輪對話功能相同,與AI助手進行實時溝通可以讓互動感覺更自然、無障礙。

  會話時AI系統最新的技術發展,大致上圍繞著谷歌2017年Transformer語言模型和2018年BERT模型的更新。自此,以BERT為基礎的三款模型:微軟的MT-DNN、谷歌的XLNet和百度的ERNIE,均超越了BERT模型。今年7月份,Facebook推出了一款基于BERT的模型——RoBERTa。目前,RoBERTa在GLUE基準測試排行榜上位列第一,在9種語言任務中排名第4。這些模型在GLUE任務數據集上的排名均優于人類標準。

關鍵詞:英偉達 語言模型 GPU制造商
中投投資咨詢網版權及免責聲明
  • 1、中投投資咨詢網倡導尊重與保護知識產權。如發現本站文章存在版權問題,煩請聯系[email protected]、0755-88350114,我們將及時溝通與處理。
  • 2、凡本網注明"來源:***(非中投投資咨詢網)"的作品,均轉載自其它媒體,轉載目的在于傳遞更多信息,并不代表本網贊同其觀點和對其真實性負責,不對您構成任何投資建議,用戶應基于自己的獨立判斷,自行決定相關投資并承擔相應風險。
免費報告
相關閱讀
相關報告
大健康投資前景
大健康產業投資前景預測 大健康產業投資前景預測
· 投資機會
熱門報告
重庆时时计划app下载