——Flink Forward Europe 2019 會議之行回顧

Flink Forward Europe 2019 于柏林時間 2019 年10月7日至9日在德國柏林如期舉行。很榮幸能夠在時隔兩年之后和同事王唯一起以演講者的身份再次參加 Flink Forward 大會。今年的大會是 Flink Forward 有史以來參會人數(shù)最多,演講議題最豐富的一屆。也拿到了來自Google Cloud、AWS、Alicloud、Cloudera等贊助商的金牌贊助。有趣的是,和往屆不同,所有金牌贊助商都在大堂擁有了自己的展臺。

本屆的 Keynotes 眾星云集,有來自Ververica、Google、AWS、Cloudera等的重要分享。10 月 8 日上午的 Ververica CTO Stephan Ewen 帶了本屆會議最重要的 Keynote 之一:Stream Processing and Applications in the Modern Age。其中他提到了 Stateful Functions 的概念——一個可降低大規(guī)模構(gòu)建和協(xié)調(diào)分布式有狀態(tài)應用程序復雜性的開源框架。它將 Apache Flink 流處理的優(yōu)點和功能即服務(FaaS)結(jié)合在一起,為下一代事件驅(qū)動的編程模式提供了強大的抽象。

上圖中左側(cè)為事件的流入和流出,中間部分是多個 Stateful Function 負責對事件進行傳遞,右側(cè)部分是對狀態(tài)的 snapshot,以實現(xiàn)分布式有狀態(tài)部署。

AWS 展示了其從 2013 年開始實現(xiàn) fully managed streaming service,到2016 年支持 Flink 應用,再到 2018 年推出 Kinesis Data Analytics 平臺。其中提到 Flink 是在 AWS 上發(fā)展最快的 stream processing 技術(shù)。整個分享以AWS 用戶的角度出發(fā),深刻分析了 AWS 用戶的需求特點,將這些用戶分為了“一般用戶”(約 50% 的用戶,初次接觸流式計算),“大型用戶”(在 AWS 運行數(shù)十個流計算應用,每天處理百億級數(shù)據(jù)量),以及平臺用戶(在 AWS 運行數(shù)百個流計算應用,每天處理萬億級數(shù)據(jù)量)。不得不承認,需求促進了科技進步,而科學技術(shù)又是第一生產(chǎn)力。

隨后 Google 也在 Keynote 中分享了從 2004 年以來對 stream processing 的經(jīng)驗總結(jié)。從訂制的流式處理應用 windmill 到 trailing edge watermark 到 Hand tuning load variance , 再到對搜索關(guān)鍵詞這樣高 cardinality 數(shù)據(jù)的 auto scaling ,最后到如何將狀態(tài)存儲和實時計算分離以提高可擴展性。整個分享下來,讓人不禁佩服 Google 的方法論和工程能力。

8號,9號兩天下午的分會場,我們也看到了來自世界各地不同團隊帶來的精彩分享。其中不乏有對Flink底層技術(shù)的深度探討;對應用場景的巧妙探索;對平臺整合能力的實踐;以及Flink對AI算法支持的努力。

瀚思自從兩年前遷移到 Flink 平臺以來,把安全分析流水線上需要的各種分析模式,包括離線分析、實時流分析、機器學習,逐步統(tǒng)一到一套描述語言和執(zhí)行平臺上。本屆我們帶來的議題是其中的機器學習環(huán)節(jié),分享如何利用Flink SQL來構(gòu)建整套的自動化機器學習流程。我們主要從安全分析的特殊需求著手,探討了為何需要機器學習算法;在客戶場景中我們遇到過什么問題;在實時計算流程中加入機器學習算法有什么挑戰(zhàn);如何利用Flink SQL構(gòu)建機器學習流程;最后如何將所有步驟進行自動部署。關(guān)于以上議題的技術(shù)實現(xiàn)會在下期進行詳細的專題分享,敬請期待。

本次四十分鐘分享由我和同事王唯共同完成,期間我們現(xiàn)場演示了自動化機器學習編排系統(tǒng),得到了聽眾的一致贊賞。答疑和階段,有聽眾提出了關(guān)于如何動態(tài)驗證,更新模型,如何自動化學習模型準確度,是否支持第三方模型導入等問題。很顯然,高自動化程度的機器學習系統(tǒng)是未來幾年的趨勢,各家都在朝著這個方向努力。如何在海量數(shù)據(jù)中快速提取有效信息,更好的服務客戶,為公司帶來更大的收益,成為了大數(shù)據(jù)公司快速發(fā)展的必備技能。

無獨有偶,阿里的實時計算團隊也探討了如何在 Flink 上構(gòu)建一整套的 AI生態(tài)。其核心出發(fā)點在于如何降低機器學習,深度學習在工業(yè)層面上的實現(xiàn)成本。傳統(tǒng)情況下,一個完整的深度學習流程主要包括四大步驟:數(shù)據(jù)接入 -> 數(shù)據(jù)變換 -> 模型訓練 -> 模型上線服務。而這往往需要軟件工程師的工程能力,數(shù)據(jù)科學家的算法能力,以及對不同系統(tǒng)的運維能力。很顯然,即使是實現(xiàn)一個簡單的深度學習流程,都需要多方的協(xié)作,故而難以擴展。所以從這個角度出發(fā),阿里的 Flink 團隊提出了大膽的設(shè)想:能否將所有步驟都放在 Flink 上運行?為了回答這個問題,他們正在做多方面的努力,包括:將分布式的 TensorFlow 程序運行于 Flink的 Job 之上,由 Flink 的 TaskManager 來管理資源分配;通過梯度計算對算法模型進行驗證,動態(tài)更新;對 Python 算法庫的更好的支持。最終的成果都會貢獻給社區(qū)。

縱觀本屆的主要議題,可以看到核心痛點集中在如何降低流式應用的開發(fā)維護成本,尤其是如何將流式計算與 AI 算法相結(jié)合來滿足日益增長的業(yè)務需求。為了這個共同的目標,整個 Apache Flink 團隊在過去半年的時間里修復了 2000 個左右的 PR ,為我們帶來了具有質(zhì)的飛躍的 Flink 1.9.1。Stephen 也很幽默的在其演講稿中貼上了 Flink 吉祥物的兩張貼圖以作對比:

最后,再次祝賀本次Flink Forward Europe 大會圓滿成功,同時期待今年11月份在北京舉行的 Flink Forward Asia 。

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。