貝殼找房是2018年4月推出的“新居住”服務平臺，為消費者提供包括二手房、新房、租賃等全方位的居住服務。隨著公司業(yè)務的發(fā)展和中臺戰(zhàn)略的推進，為了管理大量的分布式調度任務，貝殼找房技術團隊開發(fā)了一套中心化的作業(yè)調度系統(tǒng)KOB(Ke Job的簡稱)，定義了公司的任務調度模型，實現了任務調度的統(tǒng)一管理和監(jiān)控。

KOB是貝殼找房開發(fā)的分布式作業(yè)調度系統(tǒng)，其架構簡介如下：

作為貝殼找房的大型開源項目之一，KOB背后的核心功能和創(chuàng)新點是大家關心的重點。針對一些關鍵問題，我們采訪了項目負責人趙禹光。

Q：為什么要做KOB這個項目?

說來話長，隨著公司業(yè)務的發(fā)展和中臺戰(zhàn)略的推進，很多大型項目拆分成多個小項目和微服務。我們之前使用Quartz來實現作業(yè)調度功能，但隨著項目的增多，作業(yè)調度任務也分散在許多不同的項目和微服務中。這樣不僅不利于作業(yè)調度任務的統(tǒng)一管理，也會浪費大量的服務資源，同時也無法實現跨項目間的任務調度。

基于以上思考，我們開發(fā)了第一版作業(yè)調度系統(tǒng)，又經過了1年多的沉淀，開源了KOB作業(yè)調度系統(tǒng)。

Q：為什么后來要選擇開源?

帶著公司在發(fā)展中遇到的作業(yè)調度問題，我們調研了很多市場上的產品，發(fā)現并沒有能很好地解決我們需求的產品，因此我們決定自研。現在經過了1年多的沉淀，把我們的方案和產品以開源的方式回饋給社區(qū)，希望可以為作業(yè)調度方向提供新的解決方案，讓大家共同參與建設。

Q：目前國內有哪些比較好的作業(yè)調度系統(tǒng)?KOB跟它們相比又有什么區(qū)別?

作業(yè)調度系統(tǒng)是每個互聯網公司的基礎服務，國內常用的有Elastic-job、TBSchedule等開源產品。

首先，它們都基于Quartz實現任務調度，每個項目需要建立相應的配置和存儲，有一定的接入成本，且任務調度模塊的擴展性較低。而KOB的作業(yè)調度組件都是自研的，各種配置由服務端統(tǒng)一管理，接入成本比較低，并且基于KOB做功能定制會更加靈活。

其次，KOB在中心化的實現方案下，保證了每個業(yè)務線機器資源的彈性伸縮，同時也實現了任務調度的統(tǒng)一管理和監(jiān)控，降低了每個項目的管理成本。

再次，KOB實現了管道隊列模塊，在調度任務較多時，會將任務保留并延遲執(zhí)行，保證調度任務必然運行，不會因為負載過高而丟失任務。

最后，我們支持對已接入的項目做資源隔離，使得各個項目的接入更加簡單，不必考慮其他項目。其他的差異可以查看我們做的競品分析：KOB競品分析

Q：我們在架構方面，有哪些創(chuàng)新呢?

除了剛才所說的區(qū)別以外，KOB的任務調度機制和任務管理理念也有所不同。

以Quartz為例，Quartz用MySQL的行鎖解決任務分配問題。但對于大量短任務的這種情況，每個客戶端都會搶占數據庫鎖，這樣就會出現大量的線程等待，對客戶端是非常不友好的。而KOB是用ZooKeeper來實現任務調度的，會統(tǒng)一由服務端分配調度任務，預先分配好了執(zhí)行任務的客戶端，避免了客戶端搶占數據庫鎖這樣的資源浪費。

Q：KOB目前可以支持那些語言的客戶端呢?其他語言想接入KOB會不會成本很高?

目前只有Java版本的客戶端，正在規(guī)劃增加對其他語言的支持。在這里也希望大家加入我們的隊伍，一起開發(fā)其他語言的客戶端。

其他語言的客戶端開發(fā)也比較容易，因為KOB的架構主要的邏輯在服務端，客戶端通過與ZooKeeper通信來實現任務調度。

Q：目前線上的穩(wěn)定性怎么樣?

目前在公司內部，已經接入了數百個線上服務，每天完成幾萬次的任務調度，調度準確性達99.999%，時間誤差在毫秒級，支持失效轉移，穩(wěn)定性是有保證的。

Q：接入了這么多的項目后，相應的運維成本是否會增加呢?

不會的，KOB的服務端是實現了高可用的，服務失敗會自動處理，不會耗費運維人力，另外我司的基礎監(jiān)控也比較完善。

目前KOB并不需要專職的運維同學，在服務的承載能力下，任何業(yè)務方都可以自由地在平臺上進行接入，自行查看任務運行情況。并且每個項目間都是邏輯隔離的，不用擔心受到其他業(yè)務的影響。

KOB作業(yè)調度系統(tǒng)使用了目前市場最主流的技術棧，可靠性、擴展性都很高，而學習成本很低。

Q：想問下KOB作業(yè)調度系統(tǒng)的下一步規(guī)劃是什么?

我們會抓緊推進KOB社區(qū)的建設，同社區(qū)一起發(fā)展，在功能上即將發(fā)布跨項目調度功能，正在考慮增加DAG調度等新功能。

Q：最后一個問題，團隊有沒有其他產品開源的計劃?

團隊目前有一些其他技術類項目，解決業(yè)務中遇到的一些具體的問題，比如幫助線上定位問題、數據一致性組件等，也有開源計劃，暫時保密。

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。