日前，重慶移動大數(shù)據(jù)平臺圓滿完成升級任務，升級后系統(tǒng)安全性、穩(wěn)定性顯著增強，每年可節(jié)約50萬元的運營維護費用。

據(jù)悉，重慶移動大數(shù)據(jù)平臺目前有超過300個節(jié)點，數(shù)據(jù)規(guī)模達到12PB。本次升級任務重、難度大，該公司成立了由專家組成的大數(shù)據(jù)平臺升級項目組，對原大數(shù)據(jù)平臺從前期選型到升級割接制定了詳細計劃和方案，進行了周密準備。

重慶移動對目前業(yè)界主流的大數(shù)據(jù)平臺產(chǎn)品，從技術成熟度、使用便捷性、應用廣泛性、后期服務支撐能力幾個方面進行了深入研究和討論，最終選定方案。新部署平臺全部經(jīng)過基準性能測試，進行了DACP適配改造及部署。歷時1個月，在線將B域歷史數(shù)據(jù)遷移到新平臺，共計遷移數(shù)據(jù)1.4PB。隨后對執(zhí)行不通過、執(zhí)行慢的原有程序進行改造，累計改造程序315個，并對3500多個應用程序進行數(shù)據(jù)質量比對，對存在數(shù)據(jù)質量問題的程序進行改造。新搭建ETL平臺，將接口數(shù)據(jù)同時向老集群和新集群分發(fā)，為割接創(chuàng)造數(shù)據(jù)接入條件。割接之前，準備平臺并行割接方案：在新平臺并行生產(chǎn)任務，通過3個月的觀察和測試，新平臺性能、穩(wěn)定性、數(shù)據(jù)質量均符合要求，具備割接條件。

在本次升級方案討論中，重慶移動創(chuàng)新使用雙平臺遷移割接方案，避免了傳統(tǒng)割接面臨的數(shù)據(jù)丟失的巨大風險。新版本的大數(shù)據(jù)平臺具備cloudera manager管理工具，能方便地對平臺進行監(jiān)控和管理，實現(xiàn)快速擴容和滾動不間斷業(yè)務重啟計算節(jié)點，每年可節(jié)約50萬元。

生成海報

免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產(chǎn)權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。