伴隨著信息量的指數級增長，大數據面臨著算力吃緊、存儲資源告急、數據處理效率無法滿足業(yè)務增長訴求等一系列問題，直到近年來興起的容器技術的出現，才得以有效解決此類問題。
據悉，容器技術以其易遷移、擴容快、輕量化等優(yōu)勢，結合計算存儲分離的分布式架構，可以更好地發(fā)揮大數據平臺在高并發(fā)、實時分析、海量數據集等應用場景下的優(yōu)勢。諸如保險、電力、零售、互聯網、汽車、等行業(yè)，通過這種方式能夠制定更貼近用戶的商業(yè)策略、服務方案，并進行精準推送。
隨著5G+云+AI時代來臨，數據變得更復雜、更多、更精細化，大數據對企業(yè)的發(fā)展越來越重要。而行業(yè)所面臨的則是如何用一種更實用、更高效的解決方案，處理爆炸式增長的數據。對此，各大公司也進行了新一輪的技術探討。
伴隨著容器技術的成熟及在各行業(yè)的深入應用，部分企業(yè)也著手于平臺的容器化改造，希望結合容器的優(yōu)勢，為大數據平臺賦予新的力量。截止目前，存算分離的方案相對較為成熟以Spark為例，其大致可分為Spark On Kubernetes和Spark Standalone兩種方案。
Spark On Kubernetes集群方案，該方案使用Kubernetes替代Yarn來進行統一的資源編排和調度，通過相關技術可以進一步提升資源管理效率，優(yōu)化了資源分配，同時也實現了對容器資源的動態(tài)管理。
另一種Spark Standalone方案得益于容器任務隔離、細粒度、輕量化的算力管理等特點，可以將主機劃分成更多小顆粒的任務單元，充分利用了主機資源。但該方案無法對容器進行動態(tài)管理，盡管資源利用率有所提升，但仍存在浪費現象。
然而，Kubernetes不屬于Hadoop生態(tài)組件，與傳統Spark on YARN相比存在著性能較差、缺少任務隊列、external shuffle service等特性，同樣也不好解決企業(yè)的問題?；诖耍A為云推出鯤鵬大數據容器解決方案，能很好地解決這個問題。
據了解，華為云鯤鵬大數據容器解決方案能提供一套更完善的容器化大數據解決方案。該方案以支持原生多協議的OBS對象存儲服務為統一的存儲數據湖，可以無限彈性擴容的鯤鵬算力作為計算資源，提供“極致彈性、極致高效、存算分離”的全新公有云大數據解決方案，能有效應對當前大數據行業(yè)存在的瓶頸，大幅提升了大數據集群的資源利用率，助力企業(yè)智能轉型升級。未來，華為云也同樣會將更多的技術融入到該方案中，致力為企業(yè)帶來更好的服務?！ ?/p>
眾所周知，華為技術實力強勁，其云計算品牌華為云同樣以其深厚的技術功底不斷創(chuàng)新并賦能各行各業(yè)。選擇華為云正當時，雙十一期間，華為云設置內容加速專場、域名建站專場、AI大數據專場等，促銷囊括眾多明星產品，欲了解更多詳情，請至華為云官網
免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。
