2022年8月2日,TPC事務(wù)處理性能委員會官網(wǎng)正式發(fā)布了星環(huán)科技在3TB數(shù)據(jù)量下的TPCx-AI測試結(jié)果,Sophon Discover 3.0以AIUCpm 2,740.05分的優(yōu)異表現(xiàn),成為該數(shù)據(jù)量下全球首個成功通過測試及官方審計的產(chǎn)品,也是截至目前該AI基準測試最大的數(shù)據(jù)量級。
TPCx-AI,貼合實際人工智能使用場景的Benchmark
TPC(Transaction Processing Performance Council)全稱為事務(wù)處理性能委員會,是全球最知名的數(shù)據(jù)管理系統(tǒng)測評基準標準化組織。TPCx-AI是TPC組織定義的一種端到端AI基準測試標準,用于衡量機器學(xué)習(xí)或數(shù)據(jù)科學(xué)平臺的在AI端到端流水線中的性能。該AI基準測試對于數(shù)據(jù)處理量級、運行便捷性、性價比、廣泛適應(yīng)性、ML&DL功能均做出要求,并需通過官方審計。TPCx-AI標準要求測試廠商擁有人工智能領(lǐng)域的技術(shù)能力,還需要提供完整的軟硬件解決方案和一站式的人工智能平臺,并在AI前沿領(lǐng)域具有突破性研究。
TPCx-AI測試標準共提供10個機器學(xué)習(xí)和深度學(xué)習(xí)測試用例,涵蓋客戶分類、客戶對話轉(zhuǎn)錄、銷售預(yù)測、垃圾郵件檢測、價格預(yù)測、分類和欺詐檢測等應(yīng)用場景。每個用例都包含:數(shù)據(jù)生成、數(shù)據(jù)管理、模型訓(xùn)練、模型評分和模型推理階段。區(qū)別于其他AI基準,TPCx-AI使用多模態(tài)的數(shù)據(jù)集(包含結(jié)構(gòu)化和非結(jié)構(gòu)化的圖像、音頻等多模態(tài)數(shù)據(jù)格式),并可擴展到TB級別;數(shù)據(jù)管理階段包含數(shù)據(jù)清洗、數(shù)據(jù)探索和預(yù)處理等過程,實際模擬了商業(yè)生產(chǎn)環(huán)境的數(shù)據(jù)處理流程。最后使用數(shù)據(jù)集進行模型訓(xùn)練、模型推理和模型評估。
AI測試用例的端到端流程
秉持著研發(fā)創(chuàng)新技術(shù)的初心,星環(huán)科技朝TPCx-AI進發(fā)
作為長期從事大數(shù)據(jù)和人工智能基礎(chǔ)平臺研發(fā)的企業(yè),一方面星環(huán)科技保持開放的心態(tài)與業(yè)界共同進步,因此有責(zé)任和TPC一起,完善TPCx-AI這項在接近企業(yè)生產(chǎn)環(huán)境中的人工智能(含機器學(xué)習(xí))產(chǎn)品和方案的基準測試,為機器學(xué)習(xí)平臺行業(yè)提供基線;另一方面,星環(huán)科技始終追求技術(shù)自主性和先進性,不斷檢驗自身產(chǎn)品體系和框架在當(dāng)前業(yè)界主流人工智能場景中的線性擴展性、高性能、高性價比和廣泛適應(yīng)性;此外,TPCx-AI作為首個端到端大數(shù)據(jù)+人工智能的數(shù)據(jù)科學(xué)Benchmark,有對場景理解、大數(shù)據(jù)技術(shù)、AI科學(xué)與技術(shù)的多重挑戰(zhàn),這和公司追求的“把自主研發(fā)的領(lǐng)先創(chuàng)新技術(shù)賦能全世界各行各業(yè),促進社會可持續(xù)發(fā)展,通過科技讓人類的生活更美好”的宗旨也是高度契合的。
“復(fù)雜計算環(huán)境”、“AI全流程”、“多模態(tài)”——大數(shù)據(jù)與AI融合的基準測試所帶來的一系列挑戰(zhàn)
復(fù)雜的計算環(huán)境
TPCx-AI是標準的大數(shù)據(jù)和AI軟件異構(gòu)混合計算環(huán)境,其中大數(shù)據(jù)相關(guān)的安裝軟件包括:Hadoop、Spark、Yarn、HDFS、Horovod等,AI相關(guān)的安裝軟件包括:Tensorflow、Keras、Sklearn、XGBoost、Pandas等;同時也是標準的硬件異構(gòu)混合計算環(huán)境,同時包含CPU加速和GPU加速,以及單機加速和分布式集群加速。一方面較為考驗平臺對于大數(shù)據(jù)和AI異構(gòu)混合計算環(huán)境的適應(yīng)性,另一方面對于不同種類硬件的異構(gòu)運算,也提出了能力要求。
AI全流程的測試場景
TPCx-AI的測試場景包含數(shù)據(jù)生成、數(shù)據(jù)管理、模型訓(xùn)練、模型推理、模型評估、吞吐量并發(fā)測試,包含了端到端的數(shù)據(jù)科學(xué)全流程,需要平臺具備AI全生命周期的能力。
豐富的測試用例
TPCx-AI共提供10個測試用例,包含7個機器學(xué)習(xí)模型和3個深度學(xué)習(xí)模型,模型涉及有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)。其中,用例9使用的是混合模型(模型結(jié)構(gòu)為:embedding神經(jīng)網(wǎng)絡(luò)+LogisticRegression)。對于平臺而言,需要解決性能優(yōu)化瓶頸,并且有效處理CPU/GPU密集型計算、IO密集型計算、內(nèi)存密集型計算等多樣的計算類型。
多模態(tài)的數(shù)據(jù)類型
區(qū)別于其他AI基準,TPCx-AI使用的是多模態(tài)的數(shù)據(jù)集,包含結(jié)構(gòu)化和非結(jié)構(gòu)化(圖像、音頻等)多種數(shù)據(jù)格式,對于平臺多源異構(gòu)的數(shù)據(jù)處理及分析能力提出了要求。該測試集可擴展到TB級別,是將大數(shù)據(jù)與人工智能技術(shù)進行融合測試的場景。
“更快”、“更少”、“更極致”——不斷探索軟件的可能性
為了應(yīng)對上述挑戰(zhàn),星環(huán)科技對軟件做了大量的優(yōu)化工作,從而實現(xiàn)了內(nèi)存占用更少、計算更快、產(chǎn)品更加極致的目標,具體優(yōu)化工作如下:
* Spark參數(shù)優(yōu)化/ UseCase參數(shù)優(yōu)化:深入了解每個UseCase的邏輯,分析執(zhí)行細節(jié),確定優(yōu)化方向;通過監(jiān)控系統(tǒng)資源使用情況以及監(jiān)控JVM中GC情況,對每個UseCase的Spark參數(shù)進行優(yōu)化。針對不同UseCase的性能瓶頸:計算、IO、內(nèi)存、通訊,在TPCx-AI官方要求精度范圍內(nèi)以及可修改參數(shù)范圍內(nèi),對UseCase自帶參數(shù)進行調(diào)試最優(yōu)化;
* 結(jié)合RDMA、GPUDirect基礎(chǔ)技術(shù)嘗試提升節(jié)點與集群的整體計算和通訊性能;
* 對模型訓(xùn)練及推理過程嘗試編譯級別優(yōu)化,充分發(fā)揮CPU向量計算、GPU并行計算性能;
* 使用混精、剪枝、蒸餾等技術(shù)嘗試優(yōu)化模型,內(nèi)存占用更少,計算更快。
一款自主研發(fā)的數(shù)據(jù)科學(xué)平臺,終在國際基準測試中獲亮眼表現(xiàn)
至此,星環(huán)科技正式向TPCx-AI發(fā)起挑戰(zhàn)。歷經(jīng)前后半年時間,星環(huán)科技的數(shù)據(jù)科學(xué)平臺Sophon Discover分別進行了TPCx-AI scale factors為100GB、1TB、3TB的測試。其中,1TB數(shù)據(jù)的性能表現(xiàn)為1696,比4月TTA發(fā)布的性能結(jié)果高出超出491分,比8月DELL發(fā)布性能結(jié)果依然超出218分。當(dāng)然,我們不滿足于1TB數(shù)據(jù)的性能測試結(jié)果,向著3TB數(shù)據(jù)規(guī)模發(fā)起挑戰(zhàn),最終成為全球首個通過TPCx-AI scale factors為3000基準測試及官方審計的廠商,且性能達到了2740.05。與同數(shù)據(jù)量下的其他結(jié)果相比,Sophon Discover每節(jié)點可貢獻456.68的性能得分,優(yōu)于CDP每節(jié)點貢獻390.19的性能得分。
從公布的測試結(jié)果不難看出,Sophon不論從數(shù)據(jù)量級、性能表現(xiàn)、性價比及自主性方面均達到了最優(yōu)的成績。
值得一提的是,在所有公布的測試結(jié)果當(dāng)中,只有星環(huán)科技使用的是完全自主研發(fā)的國產(chǎn)數(shù)據(jù)科學(xué)平臺。除了可以保障用戶的平臺使用安全外,此次基于數(shù)據(jù)科學(xué)平臺Sophon Discover 3.0的測試結(jié)果,也是真正意義上可實際商用的AI測試結(jié)果,其配置符合企業(yè)實際落地AI應(yīng)用時,使用分布式集群的商用配置。
建言獻策,為國際基準測試貢獻中國技術(shù)力量
在進行產(chǎn)品測試的過程中,我們也發(fā)現(xiàn)了多處BUG并幫助TPC完善了TPCx-AI套件的代碼邏輯,使得測試環(huán)境更加穩(wěn)定。此外,星環(huán)科技向TPC組織提出了TPCx-AI@Sophon測試方案,最終該方案通過了委員會審核,成為被官方認可的國際基準測試框架。今后,其他廠商可以在他們的硬件上面運行基于Sophon 的TPCx-AI測試套件,用于衡量硬件的性能。
至此,星環(huán)科技也成為了TPCx-AI的技術(shù)貢獻者之一,為國際基準測試貢獻了來自中國的技術(shù)力量。
作為全球首家通過3TB TPCx-AI國際基準測試及官方審計的企業(yè),星環(huán)科技為企業(yè)AI應(yīng)用的商用落地探索出了一條可行道路。未來,星環(huán)科技也將秉持“自主原創(chuàng),領(lǐng)先一代”的技術(shù)發(fā)展策略,為用戶提供更強性能和更高性價比的人工智能框架和平臺,在數(shù)字化轉(zhuǎn)型之路上,以技術(shù)之力幫助用戶解決AI落地難題,更深入地洞察數(shù)據(jù)價值。
(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責(zé)任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )