背景

應(yīng)用云化、云原生化是企業(yè)全面數(shù)字化轉(zhuǎn)型的必要技術(shù)基礎(chǔ)，光大銀行2019年開始建設(shè)新一代全棧金融混合云平臺(tái)，在引入了多種云計(jì)算核心技術(shù)的同時(shí)，也開始采用云原生集群架構(gòu)為應(yīng)用架構(gòu)服務(wù)化改造提供平臺(tái)支撐，隨著全行應(yīng)用系統(tǒng)的逐步上云，全棧云的可觀測(cè)性成為信息科技部關(guān)注的重點(diǎn)。

隨著云原生技術(shù)的應(yīng)用，網(wǎng)絡(luò)、系統(tǒng)、應(yīng)用運(yùn)維均發(fā)生了革命性的變化，應(yīng)用軟件向微服務(wù)架構(gòu)發(fā)展，微服務(wù)調(diào)用關(guān)系復(fù)雜，開發(fā)迭代速度加快，系統(tǒng)資源實(shí)時(shí)動(dòng)態(tài)變化，云網(wǎng)黑盒化嚴(yán)重，應(yīng)用遷移上云之后的系統(tǒng)穩(wěn)定性、業(yè)務(wù)可靠性保障面臨巨大挑戰(zhàn)。

圖1 云原生應(yīng)用的復(fù)雜度(示例)

同時(shí)云原生基礎(chǔ)設(shè)施與云原生應(yīng)用的監(jiān)控運(yùn)維手段也面臨很多新問題，具體包括：

1. 微服務(wù)架構(gòu)下多語言、多網(wǎng)絡(luò)協(xié)議帶來應(yīng)用的埋點(diǎn)成本高;

2. 微服務(wù)化導(dǎo)致業(yè)務(wù)調(diào)用鏈過程復(fù)雜，全鏈路追蹤難;

3. 應(yīng)用交互跨容器、虛擬機(jī)、宿主機(jī)多層，故障定界難;

4. 網(wǎng)絡(luò)路徑交織復(fù)雜、動(dòng)態(tài)多變，逐段抓包難，故障定位難;

5. 應(yīng)用、系統(tǒng)、云網(wǎng)的指標(biāo)數(shù)據(jù)、日志數(shù)據(jù)、追蹤數(shù)據(jù)、標(biāo)簽數(shù)據(jù)存在高基多維的特點(diǎn)，數(shù)據(jù)關(guān)聯(lián)、分析、呈現(xiàn)處理技術(shù)復(fù)雜;

6. 云原生應(yīng)用與云原生基礎(chǔ)設(shè)施之間的數(shù)據(jù)存在鴻溝，缺乏統(tǒng)一的運(yùn)維能力，導(dǎo)致應(yīng)用監(jiān)控運(yùn)維與基礎(chǔ)設(shè)施運(yùn)維協(xié)同難度高，故障處理效率低;

7. 應(yīng)用從分布式架構(gòu)向云原生遷移過程中，缺乏有效的工具支撐云原生應(yīng)用的開發(fā)、測(cè)試、遷移。

這些變化和挑戰(zhàn)給光大銀行的IT運(yùn)維、業(yè)務(wù)保障帶來巨大的困難，傳統(tǒng)監(jiān)控運(yùn)維手段難以滿足云技術(shù)變革背景下的運(yùn)維需求，構(gòu)建云原生統(tǒng)一可觀測(cè)性平臺(tái)就成為解決這類問題的必然技術(shù)選擇。

DeepFlow云原生可觀測(cè)性平臺(tái)

在光大銀行新一代全棧金融混合云平臺(tái)的規(guī)劃初期，技術(shù)團(tuán)隊(duì)即結(jié)合此前工作中的經(jīng)驗(yàn)總結(jié)，將全棧云和云原生業(yè)務(wù)的全面可觀測(cè)性列入到云平臺(tái)的重要能力中，同步規(guī)劃、同步驗(yàn)證、同步建設(shè)DeepFlow云原生可觀測(cè)性平臺(tái)。

整體方案中包括了DeepFlow云原生輕量級(jí)采集探針和DeepFlow云原生可觀測(cè)性分析平臺(tái)。

DeepFlow輕量級(jí)采集探針實(shí)現(xiàn)了對(duì)云原生可觀測(cè)性數(shù)據(jù)的低成本、全面采集，具體包括：

1. 通過BPF技術(shù)對(duì)IAAS層、PAAS層及NFV網(wǎng)元(LB、NAT Gateway、分布式路由等)的虛擬網(wǎng)絡(luò)的全鏈路全流量采集能力，實(shí)現(xiàn)業(yè)務(wù)端到端的網(wǎng)絡(luò)指標(biāo)數(shù)據(jù)、追蹤數(shù)據(jù)、日志數(shù)據(jù)的統(tǒng)一采集;

2. 通過eBPF技術(shù)構(gòu)建對(duì)云原生應(yīng)用無開發(fā)語言依賴、無開發(fā)框架依賴、無計(jì)算平臺(tái)依賴的無侵入采集能力，實(shí)現(xiàn)云原生應(yīng)用指標(biāo)數(shù)據(jù)、追蹤數(shù)據(jù)、日志數(shù)據(jù)統(tǒng)一采集;

3. 通過采集探針的開放接口，無縫匯聚Skywalking Agent的OpenTelemetry數(shù)據(jù)，實(shí)現(xiàn)云原生應(yīng)用進(jìn)程級(jí)的指標(biāo)數(shù)據(jù)、追蹤數(shù)據(jù)、日志數(shù)據(jù)的統(tǒng)一采集;

4. 通過容器平臺(tái)的API能力，實(shí)時(shí)感知容器資源的動(dòng)態(tài)變化，實(shí)現(xiàn)云原生資源、業(yè)務(wù)標(biāo)簽數(shù)據(jù)的統(tǒng)一采集。

DeepFlow云原生可觀測(cè)性平臺(tái)的核心技術(shù)和實(shí)現(xiàn)包括：

1. 通過Autotag技術(shù)自動(dòng)為所有觀測(cè)數(shù)據(jù)注入統(tǒng)一的屬性標(biāo)簽，消除數(shù)據(jù)孤島問題，以釋放數(shù)據(jù)的下鉆切分能力;

2. 通過SmartEncoding技術(shù)將屬性標(biāo)簽編碼為整型值，在標(biāo)簽注入階段直接注入整型標(biāo)簽，以10倍的效率提升可觀測(cè)性數(shù)據(jù)的存儲(chǔ)、處理性能;

3. 通過高性能數(shù)據(jù)分析引擎，對(duì)海量、高基、多維、異構(gòu)的可觀測(cè)性數(shù)據(jù)進(jìn)行統(tǒng)一的標(biāo)記、關(guān)聯(lián)、分析;

4. 通過應(yīng)用調(diào)用鏈可視化追蹤功能，實(shí)現(xiàn)對(duì)任意一次云原生應(yīng)用請(qǐng)求從業(yè)務(wù)代碼到框架代碼、應(yīng)用進(jìn)程、代理進(jìn)程、容器網(wǎng)絡(luò)、云網(wǎng)絡(luò)、NFV網(wǎng)元、物理網(wǎng)絡(luò)的全鏈路追蹤、指標(biāo)觀測(cè)、日志分析能力;

5. 通過網(wǎng)絡(luò)可視化分析功能，實(shí)現(xiàn)了對(duì)云網(wǎng)絡(luò)、容器網(wǎng)絡(luò)的從宏觀到微觀的拓?fù)淇梢暬治?、指?biāo)可視化分析、云網(wǎng)流量追蹤、網(wǎng)絡(luò)日志回溯等全方位的洞察能力;

6. 通過NAT追蹤功能，實(shí)現(xiàn)了面向NFV網(wǎng)元運(yùn)維的可觀測(cè)分析能力。

圖2 云原生應(yīng)用調(diào)用鏈追蹤

同時(shí)DeepFlow云原生可觀測(cè)性平臺(tái)實(shí)現(xiàn)了開放的可觀測(cè)性數(shù)據(jù)共享接口，包括：

1. 通過HTTP等標(biāo)準(zhǔn)接口實(shí)現(xiàn)告警事件與公司統(tǒng)一告警平臺(tái)的對(duì)接;

2. 通過API接口實(shí)現(xiàn)了Grafana對(duì)可觀測(cè)性數(shù)據(jù)的全自動(dòng)調(diào)閱，從而通過Grafana構(gòu)建跨平臺(tái)的數(shù)據(jù)查詢、呈現(xiàn)能力;

3. SQL查詢接口實(shí)現(xiàn)了與Skywalking數(shù)據(jù)共享對(duì)接;

4. 通過云原生采集探針的原始流量分發(fā)功能，為交易分析、安全分析提供容器網(wǎng)絡(luò)流量的獲取能力。

DeepFlow云原生可觀測(cè)性平臺(tái)實(shí)現(xiàn)了靈活的視圖定制化能力，運(yùn)維人員構(gòu)建面向業(yè)務(wù)的運(yùn)維監(jiān)測(cè)視圖，將云原生業(yè)務(wù)的服務(wù)質(zhì)量映射為8~10個(gè)黃金指標(biāo)(負(fù)載類指標(biāo)、時(shí)延類指標(biāo)、性能/異常類指標(biāo))，通過主動(dòng)的性能指標(biāo)監(jiān)測(cè)實(shí)現(xiàn)了面向云原生應(yīng)用穩(wěn)定性、可靠性的主動(dòng)保障能力。

創(chuàng)新性實(shí)戰(zhàn)經(jīng)驗(yàn)

隨著DeepFlow云原生可觀測(cè)性平臺(tái)的深入應(yīng)用，在光大銀行的全棧云及云原生應(yīng)用運(yùn)維中，通過大量的運(yùn)維實(shí)戰(zhàn)案例，充分說明了可觀測(cè)性對(duì)于企業(yè)IT開發(fā)、運(yùn)維、運(yùn)營的巨大價(jià)值，真正實(shí)現(xiàn)了云原生業(yè)務(wù)的洞察能力和穩(wěn)定性保障能力的，在實(shí)際運(yùn)維中云原生可觀測(cè)性平臺(tái)發(fā)揮了直接有效的作用：

1. 在某應(yīng)用從傳統(tǒng)分布式環(huán)境向容器平臺(tái)遷移工作中，開發(fā)測(cè)試環(huán)節(jié)發(fā)現(xiàn)該應(yīng)用遇到性能壓測(cè)明顯受限的問題，通過傳統(tǒng)的測(cè)試工具、APM工具在數(shù)周的定位過程中均無法找到問題根因，導(dǎo)致該應(yīng)用的云原生遷移進(jìn)度嚴(yán)重受阻，因此DeepFlow云原生可觀測(cè)性平臺(tái)緊急增加對(duì)該環(huán)境的采集覆蓋和分析，在1分鐘后完成了對(duì)該應(yīng)用訪問關(guān)系的繪制和應(yīng)用調(diào)用追蹤，在5分鐘內(nèi)通過指標(biāo)分析發(fā)現(xiàn)了微服務(wù)中的性能瓶頸點(diǎn)和性能瓶頸根因。

2. 在云上某次***業(yè)務(wù)異常的故障定位中，需要消耗2名中級(jí)運(yùn)維工程師數(shù)十個(gè)小時(shí)的工作量，進(jìn)行Pcap抓包、讀包定位，改用DeepFlow可觀測(cè)平臺(tái)提供的手段，通過1步繪制拓?fù)洌?個(gè)指標(biāo)觀測(cè)，3端日志的關(guān)聯(lián)分析，在30分鐘內(nèi)確定服務(wù)端軟件異常，進(jìn)而指導(dǎo)業(yè)務(wù)運(yùn)維人員定位發(fā)現(xiàn)

3. RabbitMQ消息隊(duì)列未及時(shí)處理，隊(duì)列積壓導(dǎo)致的應(yīng)用同步狀態(tài)異常問題。

4. 在某次云上數(shù)據(jù)庫偶發(fā)性故障定位中，通過1步繪制拓?fù)洌?個(gè)指標(biāo)觀測(cè)，3分鐘內(nèi)的日志分析，快速界定出故障源為數(shù)據(jù)庫應(yīng)用異常。

5. 在某次云上虛擬機(jī)訪問不通的故障定位中，通過1步繪制拓?fù)洌?個(gè)指標(biāo)觀測(cè)，1分鐘內(nèi)的日志分析，確定是由于虛擬機(jī)路由配置缺失導(dǎo)致。

實(shí)現(xiàn)價(jià)值

通過DeepFlow云原生觀測(cè)性平臺(tái)的構(gòu)建，在光大銀行的運(yùn)維實(shí)踐中，產(chǎn)生了巨大的實(shí)戰(zhàn)價(jià)值，包括：

開云、網(wǎng)、應(yīng)用“黑盒”

通過DeepFlow云原生觀測(cè)性平臺(tái)，打開了云網(wǎng)黑盒，打開了云原生平臺(tái)的系統(tǒng)黑盒，打開了云原生微服務(wù)調(diào)用的黑盒。

閃速故障定責(zé)定界定位

DeepFlow云原生觀測(cè)性平臺(tái)的數(shù)據(jù)關(guān)聯(lián)分析、極簡(jiǎn)高效的數(shù)據(jù)呈現(xiàn)，實(shí)現(xiàn)了分鐘級(jí)時(shí)延故障定界，分鐘級(jí)丟包故障定位，分鐘級(jí)業(yè)務(wù)異常故障定界，疑難雜癥的定位周期由數(shù)天縮短至30分鐘內(nèi)。

加速云原生遷移

在實(shí)踐中，我們還發(fā)現(xiàn)通過可觀測(cè)性不僅僅能加速光大銀行線上生產(chǎn)故障定位，提升在線業(yè)務(wù)可靠性，還能夠助力光大銀行開發(fā)、測(cè)試階段的異常發(fā)現(xiàn)、異常定位，縮短開發(fā)周期，提高上線代碼質(zhì)量。

而且通過DeepFlow可觀測(cè)性的快速定界能力，能夠厘清故障界面，提升光大銀行內(nèi)部對(duì)云、容器平臺(tái)的可靠性認(rèn)可，提升應(yīng)用向云原生重構(gòu)、遷移的信心。

打破組織邊界，構(gòu)建融合統(tǒng)一運(yùn)維能力

隨著云原生的發(fā)展，IT開發(fā)組織、運(yùn)維組織的形態(tài)也正在快速變革中，通過DeepFlow可觀測(cè)性構(gòu)建光大銀行跨云、容器、網(wǎng)絡(luò)、應(yīng)用的統(tǒng)一可觀測(cè)能力，打通了光大網(wǎng)絡(luò)團(tuán)隊(duì)、云技術(shù)團(tuán)隊(duì)、應(yīng)用運(yùn)維團(tuán)隊(duì)三個(gè)組織的運(yùn)維邊界，通過統(tǒng)一、客觀的可觀測(cè)數(shù)據(jù)，為跨組織協(xié)作提供客觀依據(jù)，提升溝通效率，減少運(yùn)維矛盾。

總結(jié)

在可觀測(cè)性平臺(tái)的建設(shè)過程中，我們也遇到很多挑戰(zhàn)和困難，比如可觀測(cè)性概念推廣普及難，可觀測(cè)性建設(shè)缺乏指導(dǎo)方法論和建設(shè)標(biāo)準(zhǔn)，用戶組織架構(gòu)與觀測(cè)數(shù)據(jù)融合的矛盾。首先，對(duì)于可觀測(cè)性概念用戶普及難的問題，我們發(fā)現(xiàn)真實(shí)的原因是可觀測(cè)性概念抽象、對(duì)象寬泛、與監(jiān)控區(qū)分不清、缺乏衡量標(biāo)準(zhǔn)。如果要高效率的推廣可觀測(cè)性，首先要站在用戶的角度，結(jié)合場(chǎng)景，合理闡述和布道可觀測(cè)性。通過大量的技術(shù)通過與交流，我們總結(jié)了簡(jiǎn)單易接受的可觀測(cè)性定義：

可觀測(cè)性定義1：源于監(jiān)控，又不止于監(jiān)控;源于運(yùn)維，又不局限于運(yùn)維。

可觀測(cè)性定義2：通過海量、多源、異構(gòu)數(shù)據(jù)(指標(biāo)、追蹤、日志)的獲取、關(guān)聯(lián)、分析，最大化發(fā)掘IT系統(tǒng)數(shù)據(jù)資產(chǎn)的價(jià)值(IT系統(tǒng)大數(shù)據(jù)分析、數(shù)據(jù)挖掘)。

其次，對(duì)于可觀測(cè)性建設(shè)缺乏指導(dǎo)方法論和建設(shè)標(biāo)準(zhǔn)的問題，經(jīng)過在可觀測(cè)性平臺(tái)建設(shè)的過程中，我們認(rèn)識(shí)到可觀測(cè)性的建設(shè)不是一朝一夕、一蹴而就的，可觀性平臺(tái)的建設(shè)更要關(guān)注持續(xù)性、成長性，更要關(guān)注平臺(tái)的如下幾點(diǎn)能力：

1. 持續(xù)提升，不斷增加新數(shù)據(jù)源的能力

2. 持續(xù)提升，不斷擴(kuò)充新標(biāo)簽關(guān)聯(lián)的能力

3. 持續(xù)提升，不斷發(fā)掘新的數(shù)據(jù)價(jià)值的能力

最后，對(duì)于用戶組織架構(gòu)與觀測(cè)數(shù)據(jù)融合的矛盾，核心在于可觀測(cè)性對(duì)于組織中各個(gè)團(tuán)隊(duì)的價(jià)值和收益，我們?cè)贒eepFlow可觀測(cè)性平臺(tái)的建設(shè)中，以價(jià)值為錨點(diǎn)，不斷地推廣、宣傳運(yùn)維數(shù)據(jù)打通、運(yùn)維數(shù)據(jù)關(guān)聯(lián)、運(yùn)維數(shù)據(jù)融合的巨大潛力和價(jià)值，從而不斷爭(zhēng)取更多的團(tuán)隊(duì)和角色對(duì)可觀測(cè)性的建設(shè)提供支持，從而構(gòu)筑數(shù)據(jù)更加豐富，使用功能更加強(qiáng)大，數(shù)據(jù)價(jià)值更打的可觀測(cè)性。

（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）