每日要聞

構建NLP深度學習模型其實就是搭積木

新智元推薦來源:PaperWeekly(ID:paperweekly)整理編輯:三石【新智元導讀】近日,為了提高NLP深度學習模型過程中的效率,微軟亞洲互聯網工

構建NLP深度學習模型其實就是搭積木

新智元推薦

來源:PaperWeekly(ID:paperweekly)

整理編輯:三石

【新智元導讀】近日,為了提高NLP深度學習模型過程中的效率,微軟亞洲互聯網工程院NLP團隊重磅推出開源項目NeuronBlocks,使得上述復雜的任務像搭積木一樣簡單!

其實,構建NLP深度學習模型就是搭積木。

在構建自然語言理解深度學習模型過程中,研究人員或者工程師們經常需要在編程細節和代碼調試上花費大量精力,而不是專注於模型架構設計與參數調整。

為了提升構建深度模型的效率,微軟亞洲互聯網工程院自然語言理解團隊 (STCA NLP Group, Microsoft) 推出了開源項目NeuronBlocks——自然語言處理任務的模塊化深度學習建模工具包

構建NLP深度學習模型其實就是搭積木

論文地址:https://arxiv.org/abs/1904.09535

項目地址:https://github.com/Microsoft/NeuronBlocks

NeuronBlocks將常用的神經網絡層封裝為標准模塊,通過配置簡單的配置文件,就可以輕松構建復雜的深度神經網絡模型。與此同時,工具包還提供了一系列針對常見NLP 任務的經典模型。NeuronBlocks能使工程師們在幾秒鍾內快速構建和訓練各種自然語言處理模型。工具包的可擴展性很強,支持快速加入新的神經元模塊用於新的網絡模型的構建,最大程度地避免重復的代碼工作。

目前工具包支持的任務包括:句子分類(二/多分類)文本匹配序列標注閱讀理解基於知識蒸餾的模型壓縮,等等。

NeuronBlocks設計

NeuronBlocks是基於PyTorch的NLP深度學習建模工具包,可以幫助研究員或者工程師們快速構建自然語言理解任務的深度神經網絡模型。該工具包的主要目標是將NLP深度神經網絡模型構建的開發成本降到最低,包括模型訓練階段和推斷階段。NeuronBlocks整體框架如下圖所示,包括Block ZooModel Zoo兩個重要組件。

構建NLP深度學習模型其實就是搭積木

Block Zoo將常用的神經網絡層抽象並封裝為可重用的標准模塊。這些模塊將被用於構建各種針對不同自然語言理解任務的深度學習模型。工具包目前支持的標准神經網絡模塊包括:詞嵌入、CNN、LSTM/GPU、Transformer和各種Attention等。

Model Zoo提供大量預構建好的深度神經網絡模型,涵蓋了常見的NLP任務。這些模型以JSON配置文件的形式呈現,用戶可以通過簡單修改Model Zoo中的示例模型配置,即可將其應用於自己的任務中。此外,工具包支持Linux和Windows操作系統、CPU與GPU處理器、以及PAI等GPU調度平台。

快速開始

NeuronBlocks目前支持:Python 3.6, PyTorch 0.4.1,Linux/Windows,GPU/CPU。

1、獲取源碼:

git clone https://github.com/Microsoft/NeuronBlocks

2、安裝依賴包:

pip install -r requirements.txt

pip install torch==0.4.1

3、運行示例模型:

# 訓練

cd PROJECT_ROOT

python train.py --conf_path=model_zoo/demo/conf.json

# 測試

python test.py --conf_path=model_zoo/demo/conf.json

# 預測

python predict.py --conf_path=model_zoo/demo/conf.json

NeuronBlocks工作流程

用戶可以選擇Model Zoo中的示例模型(JSON配置文件)開啟模型訓練,或者利用Block Zoo中的標准神經網絡模塊自由構建新的模型架構,就像玩樂高積木一樣。

構建NLP深度學習模型其實就是搭積木

模型可視化工具

NeuronBlocks提供了一個模型可視化工具,可以快速繪制模型架構圖,如下圖所示。

構建NLP深度學習模型其實就是搭積木

NeuronBlocks優勢

模型構建:用戶只需要配置簡單的JSON文件,就能夠構建模型和調整參數,大大減少了模型實現的工作量;

模型分享:可以通過分享JSON配置文件來分享模型,使模型共享變得非常容易。對於不同的任務或模型,用戶只需維護一個通用的源碼庫;

代碼重用:可以在各任務與模型間共享神經網絡模塊,減少重復的編程工作;

平台靈活性:可以在Linux和Windows機器上運行,支持CPU和GPU,也支持像Open PAI這樣的GPU管理平台;

模型可視化:提供了一個模型可視化工具,用於觀察模型結構及檢查JSON配置的正確性;

可擴展性:支持用戶貢獻新的神經網絡模塊或者新的模型。

當然,有興趣的讀者可以加入NeuronBlocks開源項目,一起貢獻代碼!

參考鏈接:

https://arxiv.org/pdf/1904.09535.pdf

https://github.com/Microsoft/NeuronBlocks

構建NLP深度學習模型其實就是搭積木


精彩評論

暫無~


相關文章

2020年消費者大會,"眾星雲集"三大家流媒體爭奪用戶

如今,臨近CES大會,各公司似乎都在朝着科技與媒體融合方向努力。一方面,科技巨頭們投入大量資源成為媒體巨頭。奈飛等作為中堅力量,去年投入了150億美元的預算規劃以及新的競爭對手蘋果也推出了自己的Apple

「牛牛說幣」異軍突起的平台幣,是否是下個財富密碼?

在2018年的熊市之中,諸如以太坊、比特幣都開始黯然失色,但是有一類幣種卻異軍突起大放光彩,他就是平台幣。

念初返利機器人代理火爆招商,月入10萬項目排行榜前三

念初返利機器人開始招代理啦!!!你沒看錯,就是現在堪稱手機界「 ”蘋果”品牌的返利機器人,念初返利機器人以采用無實例服務器的模式,穩定、安全、高效等行業領先技術穩穩的坐上了返利機器人「 ”一哥”的地位。

2019十大網絡詐騙話術出爐,關鍵詞包括「 ”區塊鏈”

據新浪財經消息,360今日發布2019年十大網絡詐騙話術,其中包括「 ”區塊鏈應用場景落地,XX幣躺着也能賺大錢”,「 ”您的ETC審核流程還未完成,請點擊以下鏈接盡快完成”、「 ”招聘快手抖音點贊員”等上榜。360提醒,如果網民聽到類似的話術,一定要提高警惕。

新春策劃 | 2019中國車市回望:「 ”馬太效應”明顯 行業洗牌加劇

天行健自強不息車市紅點、紅點汽車、紅點新能源新春特別策劃金額已達20.30億元。洗牌加速,強者愈強,弱者堪憂,讓2019年車市變得撲簌迷離。

北京伯樂創新投資管理中心是什么公司?怎么樣?

北京伯樂創新投資管理中心(有限合伙)簡稱「 ”伯樂創投”、「 ”北京伯樂創投”。

學先進光學、學智能制造、學無人汽車……臨港新片區產業大學項目今天正式啟動

臨港新片區產業大學首批理事單位今天舉行集體簽約儀式,臨港集團、上海建橋學院與首批合作單位共同啟動上海臨港新片區產業大學項目。

見飛機就超!特斯拉CEO坐私人機飛上海,網友:不愧造過火箭

昨天,特斯拉汽車在上海正式向首批10位國內社會車主交付了臨港工廠制造的Model

手機丟失,微信支付寶等綁了銀行卡,第一時間該怎么辦?

現在我國的支付行業非常發達,比較於其他國已經十分便利了我們的生活,現在是只要拿着手機就可以實現走遍全中國。現在我們的許多信息,聯系方式,和金錢都會多少存儲在手機內,但如果手機丟失,不僅是損失了手機,里邊的照片,聯系方式,銀行卡等都非常重要,那這個時候我們該怎么辦呢?

跟賣,上萬種產品被跟買卻毫無辦法?學會這幾招趕走跟賣

四、價格拉底、清對手庫存有的跟賣設置了自動調價功能,你降價,對方也降價,那你可以測試下它有沒有設置最低價格,你調到虧本的價格,看對方是不是價格也降價了,如果是,半夜把價格降到虧本,然後暫停銷售自己的產品,肯定能讓對方虧本到吐血。

手機號碼不需要換!一鍵發送短信,隨便你轉移動電信還是聯通

一鍵發送短信,隨便你轉移動電信還是聯通。以上就是攜號轉網的全部過程,如果你不滿足攜號轉網條件,具體什么原因,在第一步中的短信已經告訴你原因,可能是業務沒到期,可以到營業廳辦理解除業務。

2020即將啟航,DripPay與大家不見不散

2020即將到來,DripPay帶來的財富饕鬄盛宴正在開啟,2020DripPay團隊與大家攜手,不見不散。

Copyright 每日要聞 © 2020