隨著機器學習實驗變得越來越復雜，它們的碳足跡正在膨脹?，F(xiàn)在，研究人員已經計算了在不同地點的云計算數(shù)據中心訓練一系列模型的碳成本¹。他們的發(fā)現(xiàn)可以幫助研究人員減少依賴人工智能 (AI) 的工作所產生的排放。

研究小組發(fā)現(xiàn)，不同地理位置的排放存在顯著差異。華盛頓西雅圖艾倫人工智能研究所(Allen Institute For AI)機器學習研究員、該研究的共同負責人杰西·道奇(Jesse Dodge)表示，在同樣的人工智能實驗中，“效率最高的地區(qū)產生的排放約為效率最低的地區(qū)的三分之一”。

賓夕法尼亞州匹茲堡卡內基梅隆大學的機器學習研究員、氣候變化 AI 組織的聯(lián)合創(chuàng)始人 Priya Donti 表示，到目前為止，還沒有任何好的工具可以測量基于云的人工智能產生的排放量。

“這是偉大的工作，有助于就如何管理機器學習工作負載以減少排放進行重要對話，”她說。

Dodge 和他的合作者（包括來自微軟的研究人員）在訓練 11 種常見 AI 模型的同時監(jiān)控電力消耗，從支持谷歌翻譯的語言模型到自動標記圖像的視覺算法。他們將這些數(shù)據與為 16 臺 Microsoft Azure 云計算服務器供電的電網排放量如何隨時間變化的估計值結合在一起，以計算一系列地點的訓練能耗。

由于全球電源的變化以及需求的波動，不同地點的設施具有不同的碳足跡。該團隊發(fā)現(xiàn)，在美國中部或德國的數(shù)據中心訓練 BERT（一種常見的機器學習語言模型）會排放 22-28 公斤的二氧化碳，具體取決于一年中的時間。這是在挪威進行相同實驗產生的排放量的兩倍多，挪威的大部分電力來自水力發(fā)電，而法國主要依賴核能。

每天進行實驗的時間也很重要。例如，道奇說，在華盛頓的夜間訓練人工智能，當該州的電力來自水力發(fā)電時，比在白天訓練人工智能的排放量更低，因為白天的電力也來自燃氣站。他上個月在首爾舉行的公平、問責和透明計算機器協(xié)會會議上展示了這一結果。

人工智能模型的排放量也有很大差異。圖像分類器 DenseNet 產生了與給手機充電相同的 CO₂排放量，同時訓練了一種稱為 Transformer 的中型語言模型（它比研究公司 OpenAI 制造的流行語言模型 GPT-3 小得多）在加利福尼亞州舊金山產生的排放量與典型的美國家庭一年產生的排放量大致相同。此外，該團隊只進行了 Transformer訓練過程的 13%；道奇說，完全訓練它會產生“相當于燃燒一整輛裝滿煤的軌道車的數(shù)量級”的排放量。

他補充說，排放數(shù)據也被低估了，因為它們不包括諸如用于數(shù)據中心開銷的電力或用于創(chuàng)建必要硬件的排放等因素。Donti 說，理想情況下，這些數(shù)字還應包括誤差線，以說明給定時間電網排放的重大潛在不確定性。

在其他因素相同的情況下，道奇希望這項研究可以幫助科學家選擇用于實驗的數(shù)據中心，以最大限度地減少排放。他說，“事實證明，這個決定是該學科中人們可以做的最有影響力的事情之一”。由于這項工作，微軟現(xiàn)在正在向使用其 Azure 服務的研究人員提供有關其硬件電力消耗的信息。

英國布里斯托大學研究數(shù)字技術對環(huán)境可持續(xù)性影響的克里斯·普雷斯特（Chris Preist）表示，減少排放的責任應該由云提供商而不是研究人員承擔。他說，供應商可以確保在任何時候，碳強度最低的數(shù)據中心使用最多。Donti 補充說，他們還可以采用靈活的策略，允許機器學習運行在減少排放的時候啟動和停止。

道奇表示，進行最大規(guī)模實驗的科技公司應該對排放的透明度以及盡量減少或抵消排放承擔最大的責任。他指出，機器學習并不總是對環(huán)境有害。它可以幫助設計高效材料、模擬氣候以及追蹤森林砍伐和瀕危物種。盡管如此，人工智能日益增長的碳足跡正成為一些科學家關注的主要原因。道奇說，盡管一些研究小組正在致力于追蹤碳排放量，但透明度“尚未發(fā)展成為社區(qū)規(guī)范”。

“這項工作的重點是試圖讓這個主題變得透明，因為現(xiàn)在嚴重缺失，”他說。

參考文獻：

1.Dodge, J.et al.Preprint athttps://arxiv.org/abs/2206.05229(2022).

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。