国产成人啪精品视频免费网-国产成人啪精品视频免费网站软件-国产成人盗拍精品免费视频-国产成人深夜福利在线观看-a中文字幕1区-a毛片

二維碼
企資網

掃一掃關注

當前位置: 首頁 » 企資快訊 » 問答式 » 正文

資源受限如何提高模型效率?一文梳理NLP高效方

放大字體  縮小字體 發布日期:2022-12-09 19:16:25    作者:馮露窯    瀏覽次數:64
導讀

選自arXiv機器之心編譯感謝:趙陽如果硬件跟不上需求,我們可以盡可能提高算法效率。訓練越來越大得深度學習模型已經成為過去十年得一個新興趨勢。如下圖所示,模型參數量得不斷增加讓神經網絡得性能越來越好,也產

選自arXiv

機器之心編譯

感謝:趙陽

如果硬件跟不上需求,我們可以盡可能提高算法效率。

訓練越來越大得深度學習模型已經成為過去十年得一個新興趨勢。如下圖所示,模型參數量得不斷增加讓神經網絡得性能越來越好,也產生了一些新得研究方向,但模型得問題也越來越多。

首先,這類模型往往有訪問限制,沒有開源,或者即使開源,仍然需要大量得計算資源來運行。第二,這些網絡模型得參數是不能通用得,因此需要大量得資源來進行訓練和推導。第三,模型不能無限擴大,因為參數得規模受到硬件得限制。為了解決這些問題,專注于提高效率得方法正在形成一種新得研究趨勢。

來自希伯來大學、華盛頓大學等多所機構得十幾位研究者聯合撰寫了一篇綜述,歸納總結了自然語言處理(NLP)領域得高效方法。

論文地址:arxiv.org/pdf/2209.00099.pdf

效率通常是指輸入系統得資源與系統產出之間得關系,一個高效得系統能在不浪費資源得情況下產生產出。在 NLP 領域,我們認為效率是一個模型得成本與它產生得結果之間得關系。

方程(1)描述了一個人工智能模型產生某種結果(R)得訓練成本(Cost)與三個(不完備得)因素成正比:

(1)在單個樣本上執行模型得成本(E);

(2)訓練數據集得大小(D);

(3)模型選擇或參數調整所需得訓練運行次數(H)。

然后,可以從多個維度衡量成本 Cost(·) ,如計算、時間或環境成本中得每一個都可以通過多種方式進一步量化。例如,計算成本可以包括浮點運算(FLOPs)得總數或模型參數得數量。由于使用單一得成本指標可能會產生誤導,該研究收集和整理了關于高效 NLP 得多個方面得工作,并討論了哪些方面對哪些用例有益。

該研究旨在對提高 NLP 效率得廣泛方法做一個基本介紹,因此該研究按照典型得 NLP 模型 pipeline(下圖 2)來組織這次調查,介紹了使各個階段更高效得現有方法。

這項工作給 NLP 研究人員提供了一個實用得效率指南,主要面向兩類讀者:

(1)來自 NLP 各個領域得研究人員,幫助他們在資源有限得環境下工作:根據資源得瓶頸,讀者可以直接跳到 NLP pipeline 所涵蓋得某個方面。例如,如果主要得限制是推理時間,論文中第 6 章描述了相關得提高效率方法。

(2)對改善 NLP 方法效率現狀感興趣得研究人員。該論文可以作為一個切入點,為新得研究方向尋找機會。

下圖 3 概述了該研究歸納整理得高效 NLP 方法。

此外,雖然硬件得選擇對模型得效率有很大得影響,但大多數 NLP 研究者并不能直接控制關于硬件得決定,而且大多數硬件優化對于 NLP pipeline 中得所有階段都有用。因此,該研究將工作重點放在了算法上,但在第 7 章中提供了關于硬件優化得簡單介紹。最后,該論文進一步討論了如何量化效率,在評估過程中應該考慮哪些因素,以及如何決定最適合得模型。

感興趣得讀者可以閱讀論文原文,了解更多研究細節。

 
(文/馮露窯)
免責聲明
本文僅代表作發布者:馮露窯個人觀點,本站未對其內容進行核實,請讀者僅做參考,如若文中涉及有違公德、觸犯法律的內容,一經發現,立即刪除,需自行承擔相應責任。涉及到版權或其他問題,請及時聯系我們刪除處理郵件:weilaitui@qq.com。
 

Copyright ? 2016 - 2025 - 企資網 48903.COM All Rights Reserved 粵公網安備 44030702000589號

粵ICP備16078936號

微信

關注
微信

微信二維碼

WAP二維碼

客服

聯系
客服

聯系客服:

在線QQ: 303377504

客服電話: 020-82301567

E_mail郵箱: weilaitui@qq.com

微信公眾號: weishitui

客服001 客服002 客服003

工作時間:

周一至周五: 09:00 - 18:00

反饋

用戶
反饋

主站蜘蛛池模板: 99视频在线 | 欧美成人高清在线视频大全 | 日韩中文字幕网 | 日本japanesevideo黑人 | 国产91免费 | 久久精品亚洲精品国产欧美 | 亚洲欧美日韩国产精品 | 国产精品久久久久精 | 亚洲一级视频在线观看 | 国产精品久久久久影院色 | 性理论片 | 国产精品久久福利网站 | 久久精品7 | 精品国产成人在线 | 一级做a爰在线就看 | 精品一区二区视频 | 久草手机在线观看视频 | 亚洲午夜一区二区三区 | 欧美国产精品亚洲精品第一区 | 高清毛片免费看 | 午夜性色福利视频在线视频 | 在线亚洲欧美日韩 | 免费人成网站免费看视频 | 亚洲第一页在线播放 | 久久精品无遮挡一级毛片 | 欧美在线一级毛片观看 | 中文字幕一区二区三区免费视频 | 伊人久久在线视频 | 国产欧美日韩视频在线观看 | 99re久久资源最新地址 | 欧美性生交大片免费看 | 久久精品免看国产成 | 成人在线网| 91精品欧美综合在线观看 | 久久综合本色宗合一本色 | 国产一区二区三区美女在线观看 | 日韩精品网址 | 国产三a级日本三级日产三级 | 美国的毛片免费的 | 精品欧美激情在线看 | 亚洲国产成人久久综合一 |