原標(biāo)題:智能運(yùn)維|揭開監(jiān)控系統(tǒng)神經(jīng)中樞的神秘面紗
隨著軟件系統(tǒng)的發(fā)展,監(jiān)控目標(biāo)場景越來越廣泛,對監(jiān)控系統(tǒng)的能力要求也越來越高。對于監(jiān)控系統(tǒng)來說,從能力上看基本可以劃分為數(shù)據(jù)采集、數(shù)據(jù)計(jì)算、數(shù)據(jù)存儲(chǔ)、異常檢測、報(bào)警處理以及監(jiān)控可視化六塊。
為了更好應(yīng)對大規(guī)模、復(fù)雜化的監(jiān)控業(yè)務(wù)場景,我們不僅僅需要在具體監(jiān)控能力上做深、做強(qiáng),還需要建立對應(yīng)機(jī)制來統(tǒng)籌這些能力一起良好協(xié)作。今天的這篇文章就為大家介紹監(jiān)控系統(tǒng)的神經(jīng)中樞——配置管理與分發(fā)系統(tǒng),讓我們一起揭開它神秘的面紗吧!
需求
在業(yè)務(wù)系統(tǒng)發(fā)展的初期,由于場景簡單,對監(jiān)控的需求也比較簡單,比如僅采集默認(rèn)的機(jī)器監(jiān)控?cái)?shù)據(jù),不需要進(jìn)行進(jìn)程、日志等監(jiān)控能力。同時(shí)監(jiān)控的規(guī)模也相對較小,用戶的配置數(shù)量一般在百或千級(jí)別,這時(shí)只需定期讀取數(shù)據(jù)庫中的配置就可以很好的工作。
隨著業(yè)務(wù)系統(tǒng)的快速發(fā)展,業(yè)務(wù)體量越來越大,業(yè)務(wù)復(fù)雜度越來越高,對監(jiān)控的需求也越來越高。傳統(tǒng)的簡單讀取數(shù)據(jù)庫配置在業(yè)務(wù)擴(kuò)展性和性能上遇到了挑戰(zhàn)。
1、支持不同類型的配置管理
監(jiān)控指標(biāo)采集、計(jì)算、報(bào)警等方面的配置種類越來越多。如物理機(jī)的機(jī)器資源類指標(biāo)、應(yīng)用程序的進(jìn)程和日志指標(biāo)的采集配置、站點(diǎn)的連通性采集配置、服務(wù)器的宕機(jī)檢測任務(wù)配置、多個(gè)實(shí)例間指標(biāo)的計(jì)算任務(wù)配置、指標(biāo)數(shù)據(jù)的異常檢測配置、報(bào)警信息發(fā)送配置等。
2、支持不同場景的配置分發(fā)
- 高并發(fā)配置下載場景:監(jiān)控系統(tǒng)中每個(gè)物理機(jī)部署一個(gè)Agent用于對部署在該機(jī)器上的應(yīng)用程序相關(guān)指標(biāo)進(jìn)行采集。Agent需要下載與主機(jī)關(guān)聯(lián)的采集配置,在大規(guī)模的監(jiān)控系統(tǒng)中,Agent的數(shù)量達(dá)到百萬級(jí)別,采集配置的更新周期為10s,配置分發(fā)系統(tǒng)需要應(yīng)對高并發(fā)查詢的壓力。
- 一致性配置下載場景:為了應(yīng)對高可用、大規(guī)模的數(shù)據(jù)計(jì)算及報(bào)警場景,各個(gè)子系統(tǒng)往往使用集群化部署。以報(bào)警集群為例,同一機(jī)器的數(shù)據(jù)可能會(huì)由報(bào)警集群的不同實(shí)例進(jìn)行判斷,若配置在集群內(nèi)不一致,那么報(bào)警系統(tǒng)的行為就會(huì)變得不可預(yù)期。
3、支持故障快速恢復(fù)
配置分發(fā)系統(tǒng)作為監(jiān)控的樞紐,關(guān)聯(lián)的模塊比較多,系統(tǒng)故障會(huì)影響采集、計(jì)算、報(bào)警子系統(tǒng)工作的正確性以及用戶新加監(jiān)控配置不生效,所以需要相應(yīng)的方案來保障監(jiān)控系統(tǒng)的快速恢復(fù)或重建能力,來保障監(jiān)控系統(tǒng)的可用。
圖1 配置管理&分發(fā)系統(tǒng)交互流程圖
方案
理完問題、需求,接下來就要針對這些問題進(jìn)行相應(yīng)的改造升級(jí)。下面我們從技術(shù)的角度介紹下如何解決這些問題吧!
1、支持配置可擴(kuò)展性
復(fù)雜的監(jiān)控能力意味著監(jiān)控系統(tǒng)的配置種類靈活多樣。如果直接將配置分發(fā)模型與業(yè)務(wù)模型對接,意味著業(yè)務(wù)上的每次改動(dòng)都需要配置下發(fā)系統(tǒng)進(jìn)行對應(yīng)的變更。那么如何統(tǒng)一配置的多樣性,做到配置下發(fā)對上層業(yè)務(wù)透明呢?答案是:歸類+抽象。
將不同的配置按照“目錄”進(jìn)行分類管理,實(shí)現(xiàn)統(tǒng)一的配置管理需求。
以文件作為載體,所有配置都以文件的形式進(jìn)行管理。不同的文件內(nèi)容格式代表著不同類型的配置,原有格式的升級(jí)以及新類型的添加統(tǒng)一抽象為文件處理,增強(qiáng)了系統(tǒng)的擴(kuò)展能力。
通過代碼管理系統(tǒng)管理文件的方式,實(shí)現(xiàn)變更歷史追蹤。通過對文件系統(tǒng)的定時(shí)備份與構(gòu)建快速故障恢復(fù)機(jī)制提升系統(tǒng)的可用性與可靠性。
圖2 配置歸類&抽象
在歸類方面,由于不同的能力需要的配置形式不同,我們以此為依據(jù)進(jìn)行分類。對應(yīng)到實(shí)現(xiàn)中則通過目錄表達(dá)分類的含義,通過子目錄來表達(dá)配置的層級(jí)與歸屬等關(guān)系。這里我們將配置目錄的層級(jí)分為監(jiān)控功能層級(jí)->用戶層級(jí)->應(yīng)用層級(jí)三層,在應(yīng)用目錄下將具體配置(如進(jìn)程監(jiān)控配置、日志監(jiān)控配置)寫入文件中。
2、確保一致下發(fā)
通過對配置管理方式的抽象與歸類整理,配置的一致性下發(fā)可以通過構(gòu)建配置文件內(nèi)容的一致性機(jī)制解決。我們使用“版本”作為文件內(nèi)容一致性機(jī)制的核心。當(dāng)用戶變更配置時(shí),配置管理系統(tǒng)會(huì)生成一個(gè)全局唯一的版本描述此次配置變更操作,版本中包含此次變更操作對應(yīng)的配置文件變更詳情。
配置下發(fā)時(shí),在各個(gè)子系統(tǒng)會(huì)定期檢測配置版本差異并更新本地配置至最新版本,從而保證配置在每個(gè)更新周期內(nèi)保持一致。
3、應(yīng)對高并發(fā)壓力
大規(guī)模的壓力則主要體現(xiàn)在采集Agent的配置下發(fā)部分。由于Agent只需拿到部署主機(jī)所需的監(jiān)控配置,因此將配置文件按照監(jiān)控的最小單元進(jìn)行拆分,并按照規(guī)范進(jìn)行打包。
圖3 Agent配置拆分&下載流程
當(dāng)前的業(yè)務(wù)部署往往采用混布方式,同一主機(jī)中會(huì)部署多個(gè)不同類型的應(yīng)用程序。為了支持這種監(jiān)控場景,主機(jī)上部署的采集Agent會(huì)查找主機(jī)上部署的應(yīng)用并下載對應(yīng)的多個(gè)應(yīng)用配置。當(dāng)業(yè)務(wù)規(guī)模增大時(shí),物理機(jī)增多,配置下載請求也會(huì)成倍增長,因配置存儲(chǔ)的Server端很容易達(dá)到性能瓶頸。通過可水平擴(kuò)展的靜態(tài)文件下載服務(wù)來應(yīng)對高并發(fā)下載壓力,通過ETag方式檢測文件是否變更,只針對變更的配置文件才進(jìn)行傳輸以減少下載流量,最終滿足了百萬級(jí)主機(jī)、千萬級(jí)實(shí)例的配置下發(fā)需求。
4、故障快速恢復(fù)
考慮到配置在監(jiān)控系統(tǒng)中的重要程度,為了保障業(yè)務(wù)的可用性,就需要構(gòu)建監(jiān)控系統(tǒng)的快速故障恢復(fù)機(jī)制。
同時(shí),由于監(jiān)控系統(tǒng)配置集中管理,隨著系統(tǒng)的發(fā)展,配置的體積也在不斷增長,配置文件體積達(dá)到數(shù)十GB級(jí)別,并且全部由小文件組成,文件個(gè)數(shù)也達(dá)到了數(shù)百萬級(jí)別。為了減輕系統(tǒng)壓力,在系統(tǒng)中加入“快照”機(jī)制,每隔一段時(shí)間便生成當(dāng)前全量配置的快照,當(dāng)出現(xiàn)大量更新時(shí),先通過“快照”減少更新量,再通過對應(yīng)同步機(jī)制進(jìn)行少量的文件更新。
總 結(jié)
經(jīng)過不斷的努力和多次改造,目前的配置管理及分發(fā)可以滿足監(jiān)控系統(tǒng)的需求。由于能夠靈活管理多種配置,并且快速、一致地送至各個(gè)系統(tǒng)。在面對故障場景時(shí)候,也可以及時(shí)撤回配置,避免更大的損失。然而隨著監(jiān)控業(yè)務(wù)的發(fā)展,系統(tǒng)架構(gòu)的變遷,起著中樞作用的配置管理與分發(fā)系統(tǒng)將會(huì)面臨新的挑戰(zhàn)。路漫漫其修遠(yuǎn)兮,吾將上下而求索!
了解更多,關(guān)注百度云微信公眾號(hào)
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- 美媒聚焦比亞迪“副業(yè)”:電子代工助力蘋果,下個(gè)大計(jì)劃瞄準(zhǔn)AI機(jī)器人
- 微信零錢通新政策:銀行卡轉(zhuǎn)入資金提現(xiàn)免手續(xù)費(fèi)引熱議
- 消息稱塔塔集團(tuán)將收購和碩印度iPhone代工廠60%股份 并接管日常運(yùn)營
- 蘋果揭秘自研芯片成功之道:領(lǐng)先技術(shù)與深度整合是關(guān)鍵
- 英偉達(dá)新一代Blackwell GPU面臨過熱挑戰(zhàn),交付延期引發(fā)市場關(guān)注
- 馬斯克能否成為 AI 部部長?硅谷與白宮的聯(lián)系日益緊密
- 余承東:Mate70將在26號(hào)發(fā)布,意外泄露引發(fā)關(guān)注
- 無人機(jī)“黑科技”亮相航展:全球首臺(tái)低空重力測量系統(tǒng)引關(guān)注
- 賽力斯發(fā)布聲明:未與任何伙伴聯(lián)合開展人形機(jī)器人合作
- 賽力斯觸及漲停,汽車整車股盤初強(qiáng)勢拉升
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實(shí),并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。