精品国产亚洲一区二区三区|亚洲国产精彩中文乱码AV|久久久久亚洲AV综合波多野结衣|漂亮少妇各种调教玩弄在线

<blockquote id="ixlwe"><option id="ixlwe"></option></blockquote>
  • <span id="ixlwe"></span>

  • <abbr id="ixlwe"></abbr>

    時序數(shù)據(jù)庫IoTDB構筑長安汽車海量車況數(shù)據(jù)管理新引擎,助力智能網(wǎng)聯(lián)汽車發(fā)展

    本文源于:長安汽車智能化研究院

    業(yè)務場景介紹

    1.公司簡介:長安汽車,全稱“重慶長安汽車股份有限公司”,是中國領先的汽車制造商之一,以廣泛的產(chǎn)品線和創(chuàng)新技術而聞名。長安汽車不僅提供多種乘用車和商用車,還在智能網(wǎng)聯(lián)汽車技術方面處于行業(yè)前沿,特別是在車聯(lián)網(wǎng)平臺的開發(fā)上。

    車聯(lián)網(wǎng)平臺是長安汽車智能化戰(zhàn)略的核心組成部分,該平臺利用云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)和人工智能等技術,實現(xiàn)車輛與外部環(huán)境、其他車輛以及交通基礎設施的互聯(lián)互通。其核心平臺VOT實現(xiàn)了千萬級車輛實時在線、毫秒級通訊互聯(lián)、完整的生態(tài)接入能力,并在此基礎上提供實時數(shù)據(jù)采集、海量數(shù)據(jù)分析計算、實時預警車輛故障、保證車輛安全駕駛等功能,顯著提升了用戶的用車體驗。

    2.業(yè)務全景介紹:長安汽車智能化研究院承擔了長安汽車智能化轉(zhuǎn)型的重要角色,其車聯(lián)網(wǎng)平臺是公司智能化戰(zhàn)略的重要組成部分,該平臺借助大數(shù)據(jù)、云計算和人工智能等先進的數(shù)字技術,為消費者提供更安全、更舒適、更便捷的智能駕駛體驗。主要包含的業(yè)務如下:

    車聯(lián)網(wǎng)核心平臺VOT:公司基于超大規(guī)模云原生架構下設計的車云核心服務,業(yè)務涵蓋車輛遠控、車況、事件通訊、服務編排、規(guī)則引擎等核心能力,通過物聯(lián)網(wǎng)時序數(shù)據(jù)庫IoTDB實現(xiàn)了千萬級的車輛穩(wěn)定接入、千萬點每秒的數(shù)據(jù)并發(fā)處理以及超高的終端接入兼容性,是長安汽車所有車輛的云上大腦。

    數(shù)據(jù)分析平臺:公司基于Apache Doris升級了車聯(lián)網(wǎng)數(shù)據(jù)分析平臺,支持單日百億級別數(shù)據(jù)的實時處理,并能實現(xiàn)十億級別數(shù)據(jù)查詢的秒級響應。該平臺為長安汽車在提升用戶用車體驗、實時預警車輛故障、保證車輛安全駕駛等方面帶來顯著成果。

    云器Lakehouse大數(shù)據(jù)平臺:公司建設了基于云器Lakehouse的車聯(lián)網(wǎng)大數(shù)據(jù)平臺,面對超大規(guī)模數(shù)據(jù)量和業(yè)務的飛速發(fā)展,解決了成本高、用數(shù)難、運維煩等挑戰(zhàn)。

    時序數(shù)據(jù)庫IoTDB構筑長安汽車海量車況數(shù)據(jù)管理新引擎,助力智能網(wǎng)聯(lián)汽車發(fā)展

    車聯(lián)網(wǎng)業(yè)務整體架構圖

    3.平臺時序數(shù)據(jù)管理能力建設:伴隨著長安汽車旗下主要品牌(包括阿維塔、深藍、啟源等)的迅猛擴張以及智能網(wǎng)聯(lián)汽車的數(shù)量呈指數(shù)級增長,車聯(lián)網(wǎng)平臺迎來了前所未有的壓力。這種增長不僅給車聯(lián)網(wǎng)平臺帶來了數(shù)據(jù)并發(fā)處理的挑戰(zhàn),也導致了平臺海量數(shù)據(jù)處理成本的上升、效率的下降以及實時和歷史數(shù)據(jù)存儲費用的增加。

    具體來看,車況信息作為眾多車輛數(shù)據(jù)中的核心數(shù)據(jù),海量的連接數(shù)量導致數(shù)據(jù)上報量也呈指數(shù)級增長。在當前的日活躍用戶數(shù)下,每日實時上行的車況數(shù)據(jù)量已達到驚人的200T。

    IoTDB作為長安汽車車聯(lián)網(wǎng)平臺的核心數(shù)據(jù)存儲引擎,扮演著至關重要的角色,不僅支持高并發(fā)的讀寫操作,還負責歷史數(shù)據(jù)的長期存儲。

    業(yè)務需求痛點

      1.海量并發(fā)寫入性能低。當前,在長安汽車閑時活躍用戶量約200萬的情況下,車聯(lián)網(wǎng)平臺實時上傳的車況數(shù)據(jù)并發(fā)量已經(jīng)穩(wěn)定在數(shù)十萬級別。由于不同車型導致的車況模板信息需求差異,動態(tài)存儲成為了一個迫切需要解決的問題。

    同時,相比傳統(tǒng)汽車,智能汽車領域單個智能汽車的數(shù)據(jù)交互量呈現(xiàn)出數(shù)十倍的增長。以長安汽車近千萬的日活躍用戶量計算,長安汽車車聯(lián)網(wǎng)平臺長期承受著每秒超過50萬次的數(shù)據(jù)傳輸壓力。如此海量數(shù)據(jù)壓力下,傳統(tǒng)數(shù)據(jù)庫面臨著服務器資源高負載和寫入性能的雙重挑戰(zhàn)。

      2.存儲與查詢靈活性差。在面對這些挑戰(zhàn)時,長安汽車現(xiàn)有車況數(shù)據(jù)存儲引擎HBase表現(xiàn)出明顯的劣勢:原數(shù)據(jù)存儲引擎數(shù)據(jù)模型基于行鍵、列族和時間戳,所有的數(shù)據(jù)訪問模式都必須圍繞該模型設計。若數(shù)據(jù)訪問模式與 HBase 的數(shù)據(jù)模型不匹配,可能會導致查詢效率降低。

    而且,HBase 不支持像傳統(tǒng)關系型數(shù)據(jù)庫般的聯(lián)結(jié)操作和復雜的事務處理。因此在需要進行復雜查詢的應用場景中,HBase 可能并不是最佳選擇。

    此外,HBase 的查詢通常涉及全表掃描,這在大型表中會消耗大量資源和時間。盡管這一問題可以通過使用過濾器來減少掃描的數(shù)據(jù)量,但仍然是一個需要考慮的性能瓶頸。

    3.歷史數(shù)據(jù)存儲成本高。HBase 作為一種基于列的存儲解決方案,雖然適合存儲稀疏數(shù)據(jù),但在處理高頻更新和小批量隨機讀寫操作時效率并不理想。同時,盡管 HBase 支持 GZIP、Snappy 等多種壓縮算法以有效減少存儲空間占用,但這些操作可能會增加 CPU 使用率,并降低數(shù)據(jù)的讀寫性能,從而無法滿足大數(shù)據(jù)量下數(shù)據(jù)實時處理的需求。

    4.中心計算資源緊張。長安汽車原有的車況數(shù)據(jù)架構基于純云端的 HBase 存儲,強烈依賴于 Hadoop 生態(tài)計算架構,這種計算架構并非輕量級,其所有計算成本都緊密圍繞著建立的生態(tài)系統(tǒng)。這種依賴性,對云核心的負載造成了極大壓力。

    此外,HBase 基于單個主節(jié)點的集群架構,在面臨故障時雖然可以繼續(xù)連接其他區(qū)域(region),但主節(jié)點的恢復時間較長,從而導致計算鏈路性能下降,這也意味著所有計算壓力都集中在云端,單就HBase而言其復雜的架構難以在邊緣節(jié)點上部署。

    選型 IoTDB 原因

      1.支持動態(tài)模板的海量并發(fā)處理能力。IoTDB基于時間序列的存儲結(jié)構優(yōu)化與Hbase針對基于時間序列的固定模板不同,IoTDB的元數(shù)據(jù)模板支持動態(tài)的增刪改查,并在此基礎上實現(xiàn)了物理量元數(shù)據(jù)共享,優(yōu)化了存儲及使用成本。

    IoTDB也支持高并發(fā)連接,單臺服務器可以處理數(shù)萬次并發(fā)連接/秒,具備高寫入吞吐的特點;單核處理寫入請求可以達到數(shù)萬次/秒,單臺服務器的寫入性能可以達到數(shù)千萬點/秒;在集群環(huán)境下,寫入性能可以線性擴展,集群的寫入性能可達數(shù)億點/秒。

    2.實時讀寫與高效壓縮兼顧。IoTDB使用更高效的時間序列數(shù)據(jù)壓縮技術,如 Gorilla 編碼,可以在保持較高壓縮比的同時,實現(xiàn)快速的數(shù)據(jù)讀寫,既降低了歷史車況的存儲壓力,又滿足了車聯(lián)網(wǎng)下車況數(shù)據(jù)的實時使用場景。

    3.端云計算架構。IoTDB 的輕量級架構適用于邊緣設備,具有高效的數(shù)據(jù)管理和存儲能力。在邊緣節(jié)點,IoTDB支持低延遲的查詢,使實時數(shù)據(jù)分析成為可能;終端層的數(shù)據(jù)通過邊緣層的IoTDB進行實時采集、處理和存儲,并進行一系列的分析任務后,后續(xù)數(shù)據(jù)可上傳到云端IoTDB,滿足車聯(lián)網(wǎng)領域中大規(guī)模數(shù)據(jù)存儲、高速數(shù)據(jù)攝入和復雜數(shù)據(jù)分析的需求。

    邊緣IoTDB結(jié)合IoTDB云版本,可以支持在不同環(huán)境中管理時間序列數(shù)據(jù),提升數(shù)據(jù)質(zhì)量,降低云計算的成本。

    IoTDB時序數(shù)據(jù)管理流程簡述

    長安汽車車聯(lián)網(wǎng)平臺原有方案采取較為簡單的車況上報,經(jīng)由網(wǎng)關轉(zhuǎn)發(fā)后實時車況存儲在redis,歷史車況存儲在Hbase。

    基于IoTDB的新方案采用端云協(xié)作計算,部分車況數(shù)據(jù)在終端進行數(shù)據(jù)整合,也可根據(jù)特定需求(如國家采集標準的數(shù)據(jù)格式轉(zhuǎn)換、周期數(shù)據(jù)整合等)自行在終端進行簡單計算、短期存儲。按照配置上傳云端,通過規(guī)則引擎進行分發(fā)后,基于IoTDB實時性高的特征,同時進行實時數(shù)據(jù)推送、實時數(shù)據(jù)redis存儲、歷史數(shù)據(jù)IoTDB落庫并提供查詢接口做數(shù)據(jù)統(tǒng)一。

    時序數(shù)據(jù)庫IoTDB構筑長安汽車海量車況數(shù)據(jù)管理新引擎,助力智能網(wǎng)聯(lián)汽車發(fā)展

    車聯(lián)網(wǎng)平臺VOT完整架構圖

    應用效果

    1.車況上報百萬并發(fā)寫入。面向長安汽車百萬級在線車輛實時車況數(shù)據(jù)上報、實時存儲查詢場景,IoTDB每秒寫入能力達到800w+,并且支持水平擴展承載更高的壓力。

    時序數(shù)據(jù)庫IoTDB構筑長安汽車海量車況數(shù)據(jù)管理新引擎,助力智能網(wǎng)聯(lián)汽車發(fā)展

    當前,長安汽車VOT平臺實時接入車輛數(shù)量達到200萬輛,每日產(chǎn)生的數(shù)據(jù)量高達1500億條記錄。在這種規(guī)模下,依托IoTDB打造的新系統(tǒng)能夠保持寫入延遲在毫秒級別,數(shù)據(jù)實現(xiàn)快速可靠寫入。

    平臺單日產(chǎn)生的數(shù)據(jù)量累計約200T,在經(jīng)過IoTDB高效實時存儲處理后,數(shù)據(jù)量得以大幅壓縮,最終存儲量約為30T,實現(xiàn)了約10倍的數(shù)據(jù)壓縮比例。在當前的數(shù)據(jù)存量(覆蓋近90天的時間范圍)下,IoTDB在大數(shù)據(jù)處理和存儲方面的卓越性能得以體現(xiàn)。

    2.歷史車況高效查詢。針對目前長安汽車的萬億級車況數(shù)據(jù),IoTDB將查詢延遲控制在50ms內(nèi),完全滿足所需性能。

    時序數(shù)據(jù)庫IoTDB構筑長安汽車海量車況數(shù)據(jù)管理新引擎,助力智能網(wǎng)聯(lián)汽車發(fā)展

    此外,VOT平臺的數(shù)據(jù)處理架構設計充分考慮到高并發(fā)和大數(shù)據(jù)量的挑戰(zhàn),并基于IoTDB及其完善的生態(tài)接入能力,通過采用先進的數(shù)據(jù)索引和查詢優(yōu)化技術,從而支持快速的數(shù)據(jù)檢索和分析。

    不僅如此,平臺還集成了機器學習算法,用于智能預測和維護車輛狀態(tài),進一步提升數(shù)據(jù)處理的效率和準確性。這些技術的應用不僅提高數(shù)據(jù)處理的速度、降低運維成本,也為用戶提供了更加穩(wěn)定和可靠的服務體驗。

    3.平臺效果展示

    時序數(shù)據(jù)庫IoTDB構筑長安汽車海量車況數(shù)據(jù)管理新引擎,助力智能網(wǎng)聯(lián)汽車發(fā)展

    啟源App首頁

    時序數(shù)據(jù)庫IoTDB構筑長安汽車海量車況數(shù)據(jù)管理新引擎,助力智能網(wǎng)聯(lián)汽車發(fā)展

    車聯(lián)網(wǎng)VOT服務管理

    (免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
    任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內(nèi)容或斷開相關鏈接。 )