6月9日,信服云容災(zāi)技術(shù)負(fù)責(zé)人XiaSiming 在信服云《Tech Talk · 云技術(shù)有話聊》系列直播課上分享了《深信服混合云容災(zāi)技術(shù)解析》,詳細(xì)介紹了信服云容災(zāi)的價值、混合云容災(zāi)技術(shù)介紹、容災(zāi)場景實(shí)踐等內(nèi)容。以下是他分享的內(nèi)容摘要,想要了解更多可以關(guān)注“深信服科技”公眾號觀看直播回放。
一、容災(zāi)價值
隨著互聯(lián)網(wǎng)業(yè)務(wù)的蓬勃發(fā)展,云計(jì)算平臺承載著用戶的更多業(yè)務(wù),容災(zāi)在很大程度上可以保障用戶的業(yè)務(wù)安全。
容災(zāi)包括合規(guī)要求、安全事件、災(zāi)難故障等,針對運(yùn)維人員少、技術(shù)水平有限、預(yù)算有限等問題,信服云容災(zāi)技術(shù)方案為用戶打造了簡單、可靠、靈活、高性價比的解決方案。
信服云容災(zāi)主要以下四個特點(diǎn):
簡單易用:為用戶提供云平臺一體化的運(yùn)維體驗(yàn),不需要專業(yè)的災(zāi)備能力也能實(shí)現(xiàn)災(zāi)備。
安全可靠:確保數(shù)據(jù)一致性,容災(zāi)恢復(fù)效果,閑時可驗(yàn)證,及時可恢復(fù)。
靈活配置:靈活的災(zāi)備策略(CDP、定時備份)、保留策略,滿足本異地分級保護(hù)需求。
高性價比:相比自建機(jī)房,整體成本更優(yōu),上限實(shí)施更快,且可提供貼身運(yùn)維式服務(wù),降低用戶自身運(yùn)維壓力。
混合云容災(zāi)技術(shù)介紹
容災(zāi)是指虛擬機(jī)在生產(chǎn)中心(主站點(diǎn))保存一份備份,同時在容災(zāi)中心(備站點(diǎn))保存一份副本。隨時可以在主站點(diǎn)和備站點(diǎn)根據(jù)需要通過備份來恢復(fù)虛擬機(jī),當(dāng)用戶虛擬機(jī)業(yè)務(wù)因意外停止工作時,可以通過切換站點(diǎn)使業(yè)務(wù)繼續(xù)正常工作的系統(tǒng)。
深信服混合云容災(zāi)當(dāng)前實(shí)現(xiàn)的是虛擬機(jī)級別的容災(zāi)。在容災(zāi)過程中,用戶虛擬機(jī)業(yè)務(wù)不會受到影響。
根據(jù)業(yè)務(wù)重要程度的不同,可以實(shí)現(xiàn)不同RPO(Recovery Point Object)的容災(zāi)保護(hù)級別。容災(zāi)保護(hù)可以分為備份保護(hù)和CDP保護(hù)(持續(xù)數(shù)據(jù)保護(hù))。容災(zāi)恢復(fù)包括災(zāi)難恢復(fù)和計(jì)劃內(nèi)恢復(fù);恢復(fù)后虛擬機(jī)運(yùn)行在備站點(diǎn)。當(dāng)主站點(diǎn)恢復(fù)正常后,可將業(yè)務(wù)虛擬機(jī)從備站點(diǎn)回遷到主站點(diǎn)運(yùn)行。
容災(zāi)流程操作的第一步是創(chuàng)建一個容災(zāi)保護(hù)策略。將需要保護(hù)的虛擬機(jī)加入到容災(zāi)保護(hù)策略中。根據(jù)虛擬機(jī)業(yè)務(wù)的重要程度,定義容災(zāi)保護(hù)的RPO。創(chuàng)建容災(zāi)保護(hù)策略后,會在備站點(diǎn)同時創(chuàng)建一個對應(yīng)的容災(zāi)備機(jī)。容災(zāi)保護(hù)根據(jù)RPO的不同要求,有備份保護(hù)和CDP保護(hù)。
在備份保護(hù)過程中,會通過bitmap來讀取虛擬機(jī)磁盤上新增的I/O數(shù)據(jù),轉(zhuǎn)化成qcow2保存在主站點(diǎn)的備份存儲上。同時定時將該備份文件傳輸?shù)絺湔军c(diǎn)的備份存儲上進(jìn)行保存。
在CDP保護(hù)過程中,當(dāng)受保護(hù)的業(yè)務(wù)有IO操作時,會將所有的IO操作通過日志文件的形式保存到主站點(diǎn)存儲塊上。同時實(shí)時將IO文件傳輸?shù)絺湔军c(diǎn)的存儲塊上進(jìn)行保存。當(dāng)主站點(diǎn)發(fā)生災(zāi)難時,需要在備站點(diǎn)恢復(fù)虛擬機(jī)業(yè)務(wù)。通過傳輸?shù)絺湔军c(diǎn)的備份點(diǎn)快速恢復(fù)虛擬機(jī),同時對虛擬機(jī)進(jìn)行開機(jī)操作。主站點(diǎn)恢復(fù)正常后,將運(yùn)行在備站點(diǎn)的虛擬機(jī)回遷到主站點(diǎn)。此外,也會對備站點(diǎn)虛擬機(jī)進(jìn)行一次備份,確?;剡w后的虛擬機(jī)不丟失數(shù)據(jù),然后再將備站點(diǎn)的增量備份傳輸回主站點(diǎn),最后在主站點(diǎn)進(jìn)行覆蓋恢復(fù)。
備份分為全量備份、增量備份。在全量備份過程中,虛擬機(jī)會在BITMAP將磁盤數(shù)據(jù)的全部數(shù)據(jù)塊都標(biāo)記為臟,然后將全量數(shù)據(jù)從虛擬機(jī)運(yùn)行存儲中讀取出來,寫入到qcow2備份文件中。在此期間,虛擬機(jī)在備份過程中會監(jiān)控磁盤數(shù)據(jù)塊的變化情況,并記錄在BITMAP中,便于后續(xù)進(jìn)行增量備份。在增量備份中,虛擬機(jī)會通過BITMAP讀取磁盤上的增量臟數(shù)據(jù),將數(shù)據(jù)寫入備份存儲的qcow2文件中,同時通過BITMAP記錄新的臟數(shù)據(jù)塊。一般情況下,在某個存儲首次備份或者某個備份點(diǎn)損壞時,才會進(jìn)行全量備份,其他情況一般都進(jìn)行增量備份。
對于CDP備份,虛擬機(jī)所有的I/O操作落盤后,復(fù)制出一份I/O,寫入到指定配置的I/O日志存儲中,將I/O操作記錄成I/O日志文件保存。
CDP備份過程中,會實(shí)時記錄I/O日志,定期(最短1s)生成一致性的RP點(diǎn)。CDP只記錄用戶進(jìn)行的I/O操作,但并不會去記錄原始磁盤的狀態(tài)。需要依賴虛擬機(jī)所做的備份點(diǎn)。IOLOG和備份點(diǎn)相結(jié)合,才能真實(shí)還原某個時間點(diǎn)磁盤的真實(shí)狀態(tài)。
信服云CDP備份優(yōu)勢體現(xiàn)在這五個方面:
1.同時進(jìn)行虛擬機(jī)IO數(shù)據(jù)備份
虛擬機(jī)啟動時,不需要等待CDP數(shù)據(jù)同步完成,就可以開啟業(yè)務(wù),同時進(jìn)行虛擬機(jī)IO數(shù)據(jù)的備份。
2.緩存異步復(fù)制
對虛擬機(jī)的IO數(shù)據(jù)采用了緩存異步復(fù)制技術(shù),開啟CDP功能后,會從qemu的block層復(fù)制IO數(shù)據(jù)到iolog buffer,然后由cdp_worker服務(wù)異步寫入到iolog系統(tǒng),整個過程對虛擬機(jī)的io性能無任何影響。
3.虛擬機(jī)的CDP能夠動態(tài)開啟和關(guān)閉
虛擬機(jī)的CDP能夠動態(tài)開啟和關(guān)閉,在實(shí)際使用中會比較靈活。例如,對正在運(yùn)行的虛擬機(jī),不需要重啟或中斷業(yè)務(wù),就可以開啟CDP。
4.虛擬機(jī)與CDP在邏輯上進(jìn)行故障隔離
虛擬機(jī)與CDP在邏輯上進(jìn)行了故障隔離,當(dāng)CDP模塊出現(xiàn)故障時,不會影響虛擬機(jī)的業(yè)務(wù)。當(dāng)故障消除后,CDP模塊會自動恢復(fù)運(yùn)行。
5.快速瀏覽指定CDP備份內(nèi)的文件
支持快速瀏覽指定CDP備份內(nèi)的文件,方便用戶快速從CDP備份中獲取數(shù)據(jù)文件。
由于備份記錄的是一段時間磁盤數(shù)據(jù)的變化量,那么備份點(diǎn)就會存在冗余數(shù)據(jù),為了盡量減少冗余量,合理利用存儲資源,需要對備份進(jìn)行定期清理。清理備份是根據(jù)備份點(diǎn)的時間,從最早的備份點(diǎn)開始清理。依賴QEMU COMMIT的原理,將前一個備份跟后一個備份進(jìn)行合并,去掉其中重復(fù)的數(shù)據(jù)。容災(zāi)主站點(diǎn)的IOLOG的清理,是直接刪除I/O日志。而備站點(diǎn)是通過回放的方式,將IOLOG合并成一個備份。
在數(shù)據(jù)傳輸優(yōu)化上,信服云使用性能更高的lz4來替換原生的zlib壓縮算法,將單核的壓縮性從100MB/s提升到700MB/s,同時滿足萬兆帶寬場景,QEMU壓縮線程的CPU消耗從1000%降低到200%。
三、容災(zāi)場景實(shí)踐
容災(zāi)場景實(shí)踐分為本地?cái)?shù)據(jù)中心容災(zāi)到云上、云上跨區(qū)域容災(zāi)、云上容災(zāi)到本地?cái)?shù)據(jù)中心。
本地?cái)?shù)據(jù)中心容災(zāi)到云上
該場景主要針對的是用戶的業(yè)務(wù)運(yùn)行在線下資源池,需要將線下的資源池的業(yè)務(wù)容災(zāi)到線上的信服云上。此時需要在用戶線下和線上之間,打通鏈路后將線下的業(yè)務(wù)數(shù)據(jù)備份通過容災(zāi)網(wǎng)關(guān)傳輸?shù)骄€上的數(shù)據(jù)中心中,然后保存在線上的共享存儲中,當(dāng)用戶出現(xiàn)故障時,即可隨時從線上的共享存儲拉起虛擬機(jī),將業(yè)務(wù)恢復(fù)到線上的數(shù)據(jù)中心。當(dāng)需要將線上的數(shù)據(jù)回遷回線下數(shù)據(jù)中心時,可將線上數(shù)據(jù)中心虛擬機(jī)產(chǎn)生的臟數(shù)據(jù)通過容災(zāi)網(wǎng)關(guān)回遷到線下的數(shù)據(jù)中心,整個流程即可對用戶的線下資源池進(jìn)行業(yè)務(wù)保護(hù)。
云上跨區(qū)域容災(zāi)
云上跨區(qū)域容災(zāi)該場景主要針對的是用戶本身的業(yè)務(wù)虛擬機(jī)已經(jīng)運(yùn)行在信服云的云平臺上。當(dāng)用戶需要將信服云平臺上的數(shù)據(jù)容災(zāi)到另外一個資源池,實(shí)現(xiàn)異地容災(zāi),以確保數(shù)據(jù)的安全性。此時需要將線上的兩個數(shù)據(jù)中心之間鏈路進(jìn)行打通,打通后線上數(shù)據(jù)中心A可以將用戶的業(yè)務(wù)數(shù)據(jù)通過容災(zāi)網(wǎng)關(guān)容災(zāi)到線上數(shù)據(jù)中心B以達(dá)到容災(zāi)的效果。
云上容災(zāi)到本地?cái)?shù)據(jù)中心
此場景主要針對的是用戶的業(yè)務(wù)運(yùn)行已經(jīng)運(yùn)行在信服云的云平臺上。用戶需要將云上的業(yè)務(wù)容災(zāi)到異地的線下的私有云場景,此時用戶的業(yè)務(wù)運(yùn)行在信服云的云平臺上,需要先打通信服云平臺跟線下的私有云之間的網(wǎng)絡(luò)鏈路,通過信服云容災(zāi)網(wǎng)關(guān)將線上的業(yè)務(wù)數(shù)據(jù)從共享存儲中讀取出來生成備份,然后將備份傳輸?shù)骄€下資源池中,存儲到線下資源池的備份存儲中。當(dāng)出現(xiàn)業(yè)務(wù)故障時,可隨時在線下資源池通過恢復(fù)拉起的方式將線下虛擬機(jī)在線下資源池進(jìn)行拉起,拉起完成后可隨時將線下的數(shù)據(jù)通過容災(zāi)網(wǎng)關(guān)回遷到線上的數(shù)據(jù)中心,以達(dá)到故障容災(zāi)的效果。
以上是信服云在混合云容災(zāi)過程中的技術(shù)方案和實(shí)踐介紹。想要了解更多可以關(guān)注“深信服科技”公眾號觀看直播回放。
(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實(shí),并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )