精品国产亚洲一区二区三区|亚洲国产精彩中文乱码AV|久久久久亚洲AV综合波多野结衣|漂亮少妇各种调教玩弄在线

<blockquote id="ixlwe"><option id="ixlwe"></option></blockquote>
  • <span id="ixlwe"></span>

  • <abbr id="ixlwe"></abbr>

    趨勢(shì)丨設(shè)計(jì)的代價(jià):深度學(xué)習(xí)已經(jīng)接近計(jì)算極限

    前言:

    關(guān)于深度學(xué)習(xí),它正在快速接近其極限。雖然事實(shí)可能的確如此,但我們?nèi)晕茨茉谌粘I钪懈惺艿饺娌渴鹕疃葘W(xué)習(xí)的影響。

    MIT:算力將探底,算法需改革

    近日,MIT發(fā)出警告:深度學(xué)習(xí)正在接近現(xiàn)有芯片的算力極限,如果不變革算法,深度學(xué)習(xí)恐難再進(jìn)步。

    根據(jù)麻省理工學(xué)院,MIT-IBM Watson AI實(shí)驗(yàn)室,Underwood國(guó)際學(xué)院和巴西利亞大學(xué)的研究人員在最近的研究中發(fā)現(xiàn),持續(xù)不斷的進(jìn)步將需要通過(guò)改變現(xiàn)有技術(shù)或通過(guò)尚未發(fā)現(xiàn)的新方法來(lái)更有效地使用深度學(xué)習(xí)方法。

    目前深度學(xué)習(xí)的繁榮過(guò)度依賴算力的提升,在后摩爾定律時(shí)代可能遭遇發(fā)展瓶頸,在算法改進(jìn)上還需多多努力。

    深度學(xué)習(xí)不是偶然的計(jì)算代價(jià),而是設(shè)計(jì)的代價(jià)。共同的靈活性使它能夠出色地建模各種現(xiàn)象,并且性能優(yōu)于專家模型,這也使其在計(jì)算上的成本大大提高。

    研究人員估計(jì),三年的算法改進(jìn)相當(dāng)于計(jì)算能力提高10倍。總體而言,在深度學(xué)習(xí)的許多領(lǐng)域中,訓(xùn)練模型的進(jìn)步取決于所使用的計(jì)算能力的大幅度提高。 另一種可能性是,要改善算法本身可能需要互補(bǔ)地提高計(jì)算能力。

    在研究過(guò)程中,研究人員還對(duì)預(yù)測(cè)進(jìn)行了推斷,以了解達(dá)到各種理論基準(zhǔn)所需的計(jì)算能力以及相關(guān)的經(jīng)濟(jì)和環(huán)境成本。

    即使是最樂(lè)觀的計(jì)算,要降低ImageNet上的圖像分類錯(cuò)誤率,也需要進(jìn)行10的五次方以上的計(jì)算。

    根據(jù)多項(xiàng)式和指數(shù)模型的預(yù)測(cè),通過(guò)深度學(xué)習(xí)獲得相應(yīng)性能基準(zhǔn)所需的算力(以Gflops為單位),碳排放量和經(jīng)濟(jì)成本,最樂(lè)觀的估計(jì),ImageNet分類誤差要想達(dá)到1%,需要10^28 Gflops的算力,這對(duì)硬件來(lái)說(shuō)是不小的壓力。

    123下一頁(yè)>

    (免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
    任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 )

    贊助商
    2020-07-27
    趨勢(shì)丨設(shè)計(jì)的代價(jià):深度學(xué)習(xí)已經(jīng)接近計(jì)算極限
    前言:關(guān)于深度學(xué)習(xí),它正在快速接近其極限。雖然事實(shí)可能的確如此,但我們?nèi)晕茨茉谌粘I钪懈惺艿饺娌渴鹕疃葘W(xué)習(xí)的影響。

    長(zhǎng)按掃碼 閱讀全文