USDP是優(yōu)刻得推出的智能化、輕量級大數(shù)據(jù)基礎(chǔ)服務(wù)平臺，可幫助企業(yè)用戶快速構(gòu)建大數(shù)據(jù)分析處理和服務(wù)管理運維的能力。

在過去的半年，優(yōu)刻得積極傾聽并收集老客戶的反饋和新客戶的試用意見，這讓我們更加理解用戶應(yīng)用需求和更好地支持客戶業(yè)務(wù)。USDP不斷進行功能迭代，近日迎來了全新的v3.2版本。新版本提供更加豐富的管理功能、擴展了更為廣泛的生態(tài)技術(shù)，通過全面便捷的工具和服務(wù)，幫助企業(yè)用戶更高效地進行數(shù)據(jù)管理和分析，進一步提升平臺體驗和生產(chǎn)管理效率。

USDP v3.2 新增以下核心能力：

1)集群計算任務(wù)實時監(jiān)控，提高整體計算效率

支持對 YARN 和 Impala 算力集群中運行的應(yīng)用任務(wù)進行實時監(jiān)控。用戶可通過監(jiān)控便捷地查看任務(wù)所屬類型、資源池、執(zhí)行用戶、資源消耗、運行時長以及累計占用 CPU 和內(nèi)存資源等信息。此外，還可以查閱集群任務(wù)的執(zhí)行歷史，為管理員提供了更全面的整個系統(tǒng)監(jiān)控能力。實際上，任何需要對計算資源進行動態(tài)分配和管理的大數(shù)據(jù)環(huán)境中，算力集群任務(wù)監(jiān)控均發(fā)揮著關(guān)鍵作用。例如在批處理作業(yè)性能優(yōu)化、實時流處理資源管理等使用場景中，集群計算任務(wù)監(jiān)控十分重要。

批處理作業(yè)場景中，企業(yè)運行了大量的批處理作業(yè)(數(shù)據(jù)清洗、轉(zhuǎn)換和分析等)，通過監(jiān)控可以實時追蹤每個作業(yè)的執(zhí)行情況，包括資源利用、任務(wù)進度、任務(wù)執(zhí)行時間等;可以發(fā)現(xiàn)哪些作業(yè)占用了大量資源、哪些作業(yè)運行較慢，進而進行針對性的優(yōu)化資源分配，提高整體計算效率。比如通過調(diào)整任務(wù)的優(yōu)先級、調(diào)度策略，可以更合理地利用計算資源，減少等待時間。

實時流處理場景下，用戶基于Flink或Spark Streaming的應(yīng)用，任務(wù)的資源需求可能會在短時間內(nèi)快速波動。對于需要快速響應(yīng)和實時計算的場景，任務(wù)監(jiān)控可以實時了解每個流處理任務(wù)的資源占用情況，及時發(fā)現(xiàn)異常和瓶頸。當某個任務(wù)突然消耗了過多的內(nèi)存，可能是由于數(shù)據(jù)傾斜或其他問題引起的，監(jiān)控可以幫助迅速定位問題并采取相應(yīng)的調(diào)整措施，以保證實時流處理系統(tǒng)的穩(wěn)定性和性能。

2)升級集群日志服務(wù)，企業(yè)智能監(jiān)控大數(shù)據(jù)環(huán)境

日志服務(wù)通過收集、存儲和分析大量的日志數(shù)據(jù)，可對整個集群所有運行的大數(shù)據(jù)服務(wù)組件的日志進行查看。用戶可以根據(jù)需要，按照主機名、服務(wù)組件、實例、日志等級、自定義時間區(qū)間、日志內(nèi)容關(guān)鍵字或 LogSql 等方式，靈活檢索集群的日志數(shù)據(jù)。日志服務(wù)能夠提供豐富的信息和洞察，在故障問題排查診斷、性能監(jiān)控優(yōu)化、安全審計監(jiān)控等場景中很有用，可以很好地幫助企業(yè)提高系統(tǒng)穩(wěn)定性、優(yōu)化性能，對安全性、降低成本等提供重要支撐。

在大數(shù)據(jù)管理平臺持續(xù)維護中，通常需要通過日志服務(wù)排查定位服務(wù)組件的一些問題，包括服務(wù)日志錯誤與錯誤監(jiān)控、服務(wù)異常分析、服務(wù)性能監(jiān)控優(yōu)化、用戶行為分析等，集中式的查詢分析日志，極大地加速了分析問題、定位問題、處理問題的效率。

在大數(shù)據(jù)服務(wù)過程中，可能會面臨不同級別的警告和錯誤，例如資源不足、連接超時等問題，日志服務(wù)可以實時采集服務(wù)產(chǎn)生的警告和錯誤日志，進行分類和分級，幫助團隊快速發(fā)現(xiàn)潛在問題并采取及時措施，保障服務(wù)的穩(wěn)定性。服務(wù)也可能因為一些未知原因異常退出，并因此導(dǎo)致服務(wù)中斷、數(shù)據(jù)處理異常?；谌罩痉?wù)可以實時追蹤服務(wù)的異常退出情況、記錄退出的時間、原因以及可能造成的影響。通過分析這些異常退出日志，大數(shù)據(jù)運維團隊可以快速識別問題并改進服務(wù)，提高系統(tǒng)的可靠性。

3)負載均衡管理工具，助力大數(shù)據(jù)平臺高效運行

支持基于 Nginx + Keepalived 實現(xiàn)四層/七層代理負載均衡配置管理服務(wù)。該功能提供一致性哈希和源地址哈希等六種負載均衡算法，確保流量能夠被有效地分散到多個服務(wù)器上;用戶可以根據(jù)實際需求，按照端口自定義負載配置。大數(shù)據(jù)分析計算任務(wù)涉及大量的數(shù)據(jù)傳輸和計算資源消耗，通過負載均衡可以避免單一節(jié)點負載過重的情況，提升集群資源整體利用率、為整個集群性能提供保障;此外，負載均衡可以幫助實現(xiàn)大數(shù)據(jù)服務(wù)請求吞吐的靈活擴展，確保大數(shù)據(jù)服務(wù)具備高可用性和容錯性。通過負載均衡器，用戶可以集中處理對外的請求，提高安全性。

某客戶的大數(shù)據(jù)應(yīng)用采用了多層次服務(wù)架構(gòu)，包括基于HUE服務(wù)的Web業(yè)務(wù)數(shù)據(jù)開發(fā)和基于 IMPALA的數(shù)據(jù)查詢分析服務(wù)。這些服務(wù)部署在集群中不同的服務(wù)器上，每種服務(wù)都有獨特的資源需求。為了更好地管理和優(yōu)化這些服務(wù)的性能，優(yōu)刻得為用戶推薦了負載均衡器的方案。

通過負載均衡器，業(yè)務(wù)數(shù)據(jù)開發(fā)用戶的請求被分發(fā)到不同的 HUE 服務(wù)器上，使每個用戶的Session 得到保持，此外，這種方法還為每個用戶提供了穩(wěn)定的數(shù)據(jù)處理能力和帶寬。對于IMPALA數(shù)據(jù)查詢分析服務(wù)需求，負載均衡器確保了每個任務(wù)可以獲得足夠的計算資源，保證了查詢分析的性能和效率。

4)技術(shù)生態(tài)再擴展

USDP目前已支持30+豐富的生態(tài)服務(wù)技術(shù)，全面覆蓋數(shù)據(jù)分析需求場景。新版本升級擴展3大技術(shù)：

●Alluxio：統(tǒng)一的數(shù)據(jù)編排與數(shù)據(jù)緩存加速層

為數(shù)據(jù)分析和AI提供統(tǒng)一的數(shù)據(jù)訪問接口，上層計算框架(如Spark、Flink等)只需要連接Alluxio即可讀取和寫入存儲在底層任意存儲系統(tǒng)中的數(shù)據(jù);Alluxio支持數(shù)據(jù)策略制定，以及數(shù)據(jù)緩存和預(yù)取，提供完整的數(shù)據(jù)呈現(xiàn)、加速數(shù)據(jù)訪問;通過統(tǒng)一的命名空間，實現(xiàn)跨存儲平臺、跨數(shù)據(jù)中心等異構(gòu)體系敏捷數(shù)據(jù)集成和編排能力

●StreamPark：一個簡化流處理應(yīng)用程序開發(fā)構(gòu)建和管理框架。

StreamPark是大數(shù)據(jù)管理平臺擴展的新服務(wù)組件，為大數(shù)據(jù)技術(shù)生態(tài)提供了實時數(shù)據(jù)倉庫和流批一體的一站式解決方案，簡化了Flink任務(wù)的日常操作和維護。StreamPark綜合了實時數(shù)據(jù)平臺和流式數(shù)倉平臺的功能，支持低代碼的Flink&Spark任務(wù)托管，融合了諸多最佳實踐。此外，它還支持單點登錄和不同身份驗證系統(tǒng)的集成，提供了集中式的身份驗證機制，增強了可定制性和靈活性。

●Knox：一個開源的安全應(yīng)用程序網(wǎng)關(guān)

Knox是大數(shù)據(jù)安全代理的開源項目，提供全面的安全和訪問控制方案。作為安全代理，它保護集群資源，支持單點登錄和身份驗證集成，提高用戶體驗和系統(tǒng)管理效率;而在 API 網(wǎng)關(guān)層面，它提供RESTful API和協(xié)議轉(zhuǎn)換功能，簡化應(yīng)用程序開發(fā)和維護;同時還支持SSL加密和數(shù)據(jù)傳輸安全，保護數(shù)據(jù)在傳輸過程中的機密性和完整性;Web操作界面和管理控制臺方便管理員配置和監(jiān)控安全策略、用戶權(quán)限和集群訪問情況;支持審計、日志記錄和多租戶配置，滿足不同安全需求和環(huán)境。

5)USDP信創(chuàng)版，解鎖國產(chǎn)大數(shù)據(jù)時代

USDP v3.2專業(yè)版、企業(yè)版，UDH(優(yōu)刻得大數(shù)據(jù)組件發(fā)行套件) v3.2均已全面完成與國產(chǎn)芯片、操作系統(tǒng)的兼容適配，企業(yè)大數(shù)據(jù)生態(tài)服務(wù)可在各信創(chuàng)平臺上良好運行，讓數(shù)據(jù)流暢運轉(zhuǎn)。截止當前，USDP已取得包括鯤鵬、飛騰、海光在內(nèi)的多家CPU廠商以及銀河麒麟等OS廠商的互認證書。

這都標志著USDP v3.2 已具備基于信創(chuàng)環(huán)境構(gòu)建大規(guī)模大數(shù)據(jù)基礎(chǔ)平臺的能力，能夠為客戶提供更加穩(wěn)定、可靠的大數(shù)據(jù)服務(wù)。共享信創(chuàng)機遇，促進合作共贏。

6)產(chǎn)品視覺升級，嶄新 UI 控制臺登場

在USDP v3.2版本中，為用戶帶來了全新的控制臺視覺UI提升，并對用戶體驗和功能性進行了全方位優(yōu)化。全新的UI 控制臺以清新、直觀的設(shè)計風格為特色，每個元素都經(jīng)過精心設(shè)計，為用戶提供更便捷、更直觀、功能更強大的大數(shù)據(jù)管理平臺。

USDP新版本的UI控制臺更加注重易用性。新布局使得每個功能入口更為清晰，用戶可以更迅速地找到所需的功能。交互設(shè)計方面，新版本優(yōu)化了各類操作流程，簡化了復(fù)雜任務(wù)的執(zhí)行步驟，讓用戶能夠更輕松地完成各項操作。

此外，控制臺還新增了豐富的集群核心指標展示，用戶可以直觀地了解YARN集群的計算資源使用情況，包括集群CPU和內(nèi)存等重要指標。用戶還可實時監(jiān)測YARN集群和HDFS集群的健康狀況，了解存儲使用情況以及YARN應(yīng)用程序的運行統(tǒng)計等關(guān)鍵信息。這一切都集中在集群首頁，讓用戶一目了然，從而更好地制定管理策略和進行性能優(yōu)化。

有對USDP智能大數(shù)據(jù)平臺感興趣的小伙伴，歡迎訪問UCloud優(yōu)刻得官網(wǎng)，與我們進行更多的產(chǎn)品咨詢和交流。

（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）