8月11日消息,近日,明略科技集團實現(xiàn)了機器學(xué)習(xí)可視化工具——TensorBoard的C++接口,進一步豐富了基于C++的大模型項目工具集,使得大模型預(yù)訓(xùn)練過程監(jiān)控更加便捷、高效,加速營銷領(lǐng)域大模型預(yù)訓(xùn)練進程。該工具已在Github開源。
TensorBoard是Google開發(fā)的一款機器學(xué)習(xí)可視化工具,常用于監(jiān)測機器學(xué)習(xí)過程的各項指標。
明略科技高級技術(shù)總監(jiān)趙亮介紹:“在大模型訓(xùn)練過程中,數(shù)據(jù)監(jiān)測是一個重要維度,而TensorBoard通過可視化模型中的各種參數(shù)和結(jié)果,例如記錄大模型訓(xùn)練過程的Loss變化、驗證集的PPL變化、學(xué)習(xí)率變化、Token消耗量、單步參數(shù)更新時延等指標,幫助分析訓(xùn)練狀態(tài),發(fā)現(xiàn)訓(xùn)練過程中出現(xiàn)的問題并及時采取干預(yù)措施,提升大模型訓(xùn)練進程和效果?!?/p>
明略科技開源的C++接口TensorBoard工具頁面
此前,TensorBoard僅支持Python語言接口。此次明略科技通過C++實現(xiàn)TensorBoard,將進一步豐富基于C++實現(xiàn)的大模型項目工具集,大幅提升模型訓(xùn)練監(jiān)測效率,加速模型訓(xùn)練進程,改寫接口后的工具將通過多維度的數(shù)據(jù)模式展示訓(xùn)練指標,包括標量、直方圖、圖像、圖像合集、音頻、文本等數(shù)據(jù)模式。該工具包通過github項目Tensorboard.cpp分享,助力更多研究者和開發(fā)者參與并加速大模型的研發(fā)進程,推動人工智能多領(lǐng)域的應(yīng)用探索。
明略科技在Github開源的兩款工具包:ASR-BlockFormer與tensorboard.cpp
明略科技集團CTO郝杰表示:“我們要在更高效、更低成本的要求下做出營銷領(lǐng)域的大模型,通過自適應(yīng)技術(shù)提升大模型的能力。好的行業(yè)大模型需要具備通用大模型的邏輯性、語言順暢度,同時還需要實現(xiàn)通用大模型所不具備的,在某個行業(yè)內(nèi)或具體的領(lǐng)域中的真實性、專業(yè)性。我們以明略科技憑借17年來積累的海量行業(yè)數(shù)據(jù)為基礎(chǔ),從客戶實際需求出發(fā),借助龐大的數(shù)據(jù)和知識庫進行增強訓(xùn)練,滿足客戶多樣化的任務(wù)和場景需求。在訓(xùn)練監(jiān)測可視化工具的加持下,我們將提升訓(xùn)練速度,及時發(fā)現(xiàn)問題,為客戶打造一個更加可靠、效果更好的行業(yè)大模型?!?/p>
(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責(zé)任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )