精品国产亚洲一区二区三区|亚洲国产精彩中文乱码AV|久久久久亚洲AV综合波多野结衣|漂亮少妇各种调教玩弄在线

<blockquote id="ixlwe"><option id="ixlwe"></option></blockquote>
  • <span id="ixlwe"></span>

  • <abbr id="ixlwe"></abbr>

    騰訊底層技術(shù)進(jìn)化史 | 科技前沿

    撰文 / 李信馬

    編輯?/ 趙晨希

    題圖 / IC Photo

    上周周四(6月16日),騰訊對(duì)外宣布,內(nèi)部的自研業(yè)務(wù)實(shí)現(xiàn)了全面上云。

    初次聽(tīng)到這個(gè)消息,還是有些震撼,上云雖然是當(dāng)下的主旋律,但像騰訊這樣體量的大公司,能夠做到全面上云,并不是一件容易的事情。根據(jù)騰訊對(duì)外公開(kāi)的信息,其自研業(yè)務(wù)上云的規(guī)模突破了5000萬(wàn)核;另一方面,騰訊統(tǒng)計(jì),上云為騰訊累計(jì)節(jié)省的成本超過(guò)30億人民幣。

    這不禁讓筆者想起了在《騰訊傳》看到的一段往事,1999年,缺錢(qián)的騰訊急需投資甚至賣(mài)身,卻找不到合適的投資人或買(mǎi)家,當(dāng)時(shí)接觸過(guò)騰訊的企業(yè)都表示“不理解騰訊技術(shù)和無(wú)形資產(chǎn)的價(jià)值”,出價(jià)最高的不過(guò)60萬(wàn)人民幣,而估值的方法,基本是按照電腦乃至桌椅板凳的數(shù)量來(lái)計(jì)算,找銀行貸款,能抵押的也不過(guò)“幾臺(tái)折舊的服務(wù)器”。

    這算是騰訊的至暗時(shí)刻之一,有些黑色幽默的是,幾位愿意借錢(qián)的朋友,都不肯接受用騰訊的股票來(lái)還債,其中一位比較大方的甚至還表示:“不還也可以,但我不要你的股票?!薄v訊當(dāng)前的市值,超過(guò)了3.59萬(wàn)億港元。

    憑借QQ秀的異軍突起,騰訊迅速成為中國(guó)最賺錢(qián)的互聯(lián)網(wǎng)公司之一,但很長(zhǎng)一段時(shí)間里,也只是家能賺錢(qián)的公司,可以說(shuō),那時(shí)人們看到了騰訊的商業(yè)價(jià)值,但并沒(méi)看到騰訊具備科技上的價(jià)值,哪怕騰訊的幾位創(chuàng)始人和早期員工中不乏優(yōu)秀的工程師。

    真正的科技公司是什么樣子的呢?比如“IOE”:IBM的小型機(jī)、Oracle數(shù)據(jù)庫(kù)、EMC存儲(chǔ)設(shè)備,簡(jiǎn)直可以稱(chēng)之為當(dāng)時(shí)互聯(lián)網(wǎng)公司的三件套,中國(guó)互聯(lián)網(wǎng)公司賺到的錢(qián),不少流進(jìn)了他們的口袋??纯磭?guó)外的科技公司,再看看我們的科技公司,多少會(huì)讓人有些氣餒。

    這也是筆者想寫(xiě)這篇文章的原因,十余年過(guò)去了,我們看到像騰訊、阿里巴巴、百度這樣的互聯(lián)網(wǎng)大公司,研發(fā)實(shí)力不斷增強(qiáng),從以前的“造不如買(mǎi)”,到阿里云、騰訊云對(duì)外輸出,還有在開(kāi)源領(lǐng)域,從索取到擁抱再到貢獻(xiàn),這是比單純的商業(yè)價(jià)值更令人激動(dòng)的技術(shù)價(jià)值的體現(xiàn)。

    一夜暴富或者富可敵國(guó)的故事,這個(gè)世界見(jiàn)過(guò)了太多,爾曹身與名俱滅,不廢江河萬(wàn)古流。而底層科技的進(jìn)步,才是推動(dòng)我們的文明,持續(xù)前進(jìn)的動(dòng)力源。騰訊在這方面做的事情,要比30億更值得來(lái)聊一下。

    大數(shù)據(jù)時(shí)代

    2008年,《自然》雜志提出了“Big Data”(大數(shù)據(jù))的概念,揭開(kāi)了大數(shù)據(jù)時(shí)代的序幕。當(dāng)時(shí)互聯(lián)網(wǎng)上非結(jié)構(gòu)化數(shù)據(jù)迎來(lái)井噴式的爆發(fā),據(jù)說(shuō)阿里因用戶(hù)激增導(dǎo)致“計(jì)算力”不足,早上8點(diǎn)到9點(diǎn)半,服務(wù)器的處理器使用率會(huì)飆升到98%,為了解決“大規(guī)模數(shù)據(jù)計(jì)算”的問(wèn)題,這一年阿里啟動(dòng)了“云梯計(jì)劃”,最后成長(zhǎng)為阿里云這棵參天大樹(shù)。差不多同一時(shí)間,百度也在進(jìn)行對(duì)分布式的研發(fā)。

    筆者曾采訪(fǎng)過(guò)曾任騰訊大數(shù)據(jù)負(fù)責(zé)人的劉煜宏(現(xiàn)在已經(jīng)是騰訊云副總裁、騰訊數(shù)據(jù)平臺(tái)部副總經(jīng)理),他在2005年就加入了騰訊,還清楚地記得,當(dāng)時(shí)騰訊使用國(guó)外廠商的“盒子”,每次發(fā)生宕機(jī)事故,只能等對(duì)方的技術(shù)人員來(lái)解決,而且恢復(fù)時(shí)間漫長(zhǎng)。

    更大的問(wèn)題,是越來(lái)越無(wú)法滿(mǎn)足騰訊對(duì)大數(shù)據(jù)處理的需求?!昂芏鄶?shù)據(jù)我們跑不出來(lái),比如QQ用戶(hù)畫(huà)像,3個(gè)月跑一次都跑不出來(lái)?!眲㈧虾暾f(shuō)。無(wú)論是從價(jià)格,還是從實(shí)際需求來(lái)看,對(duì)當(dāng)時(shí)的騰訊來(lái)說(shuō),尋找新的解決方案是必須要做的事情,問(wèn)題只有一個(gè)——怎么做?

    2009年1月,騰訊開(kāi)始搭建第一個(gè)Hadoop集群,只有30臺(tái)服務(wù)器,業(yè)務(wù)最初拿來(lái)試水的業(yè)務(wù)是QQ藍(lán)鉆,遷移后對(duì)效率的提升顯而易見(jiàn),只需要30分鐘,就能完成對(duì)月度數(shù)據(jù)的分析。幾個(gè)月后,湯道生(現(xiàn)任騰訊高級(jí)執(zhí)行副總裁、云與智慧產(chǎn)業(yè)事業(yè)群總裁)將《開(kāi)心農(nóng)場(chǎng)》(后改名《QQ農(nóng)場(chǎng)》)引入QQ空間,這后來(lái)成為了中國(guó)互聯(lián)網(wǎng)史上最瘋狂的增長(zhǎng)之一。5月22日,游戲上線(xiàn)的當(dāng)天,游戲開(kāi)發(fā)公司“五分鐘”的服務(wù)器就被流量擠爆,不得不將服務(wù)器的管理權(quán)限讓渡給騰訊,而騰訊面對(duì)每天高達(dá)100萬(wàn)的用戶(hù)增長(zhǎng),也只能一次次增加服務(wù)器,并隨時(shí)面臨爆棚的危險(xiǎn)。

    據(jù)當(dāng)時(shí)主管后臺(tái)的盧山(現(xiàn)任騰訊高級(jí)執(zhí)行副總裁、技術(shù)工程事業(yè)群總裁)透露,在2009年的下半年,最后追加給《QQ農(nóng)場(chǎng)》的服務(wù)器超過(guò)了4000臺(tái)。“那是一個(gè)不可思議的數(shù)字,也許在很長(zhǎng)的時(shí)間里,都不會(huì)被打破?!睖郎@樣評(píng)價(jià)。受益于此,2010年騰訊的半年利潤(rùn)一舉超過(guò)阿里、百度、新浪和搜狐的總和,但另一方面,劉煜宏等技術(shù)人員也意識(shí)到,傳統(tǒng)的數(shù)倉(cāng)已經(jīng)難以支持騰訊業(yè)務(wù)的發(fā)展,轉(zhuǎn)向分布式計(jì)算勢(shì)在必行。

    《QQ農(nóng)場(chǎng)》?圖片來(lái)源:網(wǎng)絡(luò)

    不過(guò)直到2012年時(shí),騰訊大部分業(yè)務(wù)還跑在傳統(tǒng)數(shù)據(jù)庫(kù)上,Hadoop的集群只有幾十臺(tái)規(guī)模。對(duì)此,筆者曾思考過(guò),也許,可能是那時(shí)候的騰訊處于業(yè)務(wù)快速擴(kuò)張期,對(duì)技術(shù)相對(duì)忽視了??傊?,蔣杰(現(xiàn)任騰訊副總裁、騰訊數(shù)據(jù)平臺(tái)部總經(jīng)理)來(lái)到騰訊時(shí),一番摸底考查下來(lái),他對(duì)騰訊大數(shù)據(jù)的判斷是:比阿里要落后三年左右。

    在這之前,蔣杰在阿里呆了五年,也是阿里最早做大數(shù)據(jù)的那批人,云梯1隊(duì)的成員。阿里云的“云梯之爭(zhēng)”最終的獲勝者是從零開(kāi)始自研“飛天”云梯2隊(duì),但這場(chǎng)勝利卻是王堅(jiān)“欽點(diǎn)”的,2隊(duì)在得到全集團(tuán)技術(shù)資源的支持后成功突破了“5K”(調(diào)度 5000 臺(tái)服務(wù)器)的瓶頸。

    一度領(lǐng)先的云梯1隊(duì)其實(shí)曾經(jīng)率先實(shí)現(xiàn)4000臺(tái)的集群調(diào)度,當(dāng)時(shí)云梯2隊(duì)還卡在1500臺(tái)左右,但阿里云的工程師判斷,Hadoop 在從4000臺(tái)到5000臺(tái)的過(guò)程中,將遇到難以克服的障礙,原因是受端口數(shù)量限制,萬(wàn)兆交換機(jī)下面實(shí)際最多分出2200臺(tái)二級(jí)交換機(jī),再加一層就是4400臺(tái)。不過(guò)這個(gè)判斷后來(lái)被證明并不準(zhǔn)確,因?yàn)榘俣仍?013年時(shí),上線(xiàn)了1.3萬(wàn)臺(tái)的Hadoop單集群,這也是當(dāng)時(shí)世界上公開(kāi)最大的Hadoop集群。

    在蔣杰到來(lái)之前,騰訊大數(shù)據(jù)的實(shí)力與BA有著明顯差距。2012年底,騰訊大數(shù)據(jù)的單集群規(guī)模突破了4400臺(tái),基本實(shí)現(xiàn)了從關(guān)系型數(shù)據(jù)庫(kù)到自建大數(shù)據(jù)平臺(tái)的全面遷移,2013年2月,傳統(tǒng)數(shù)據(jù)庫(kù)在騰訊全部下線(xiàn)。

    不過(guò)隨著互聯(lián)網(wǎng)流量流向移動(dòng)端,個(gè)性化內(nèi)容推薦的模式異軍突起,騰訊數(shù)據(jù)量爆發(fā)式增長(zhǎng),業(yè)務(wù)部門(mén)對(duì)數(shù)據(jù)處理速度和及時(shí)性的要求也更“快”,?有時(shí)候上線(xiàn)了某個(gè)業(yè)務(wù)或手游,5分鐘后總辦的領(lǐng)導(dǎo)就會(huì)去問(wèn)運(yùn)營(yíng)數(shù)據(jù),Hadoop離線(xiàn)計(jì)算剛建成就要落伍了。

    真如逆水行舟一般,不進(jìn)則退。

    2014年9月,騰訊大數(shù)據(jù)在單集群達(dá)到8800臺(tái)后,開(kāi)始正式轉(zhuǎn)向?qū)崟r(shí)計(jì)算的Spark & Storm體系,并結(jié)合騰訊的需求對(duì)核心組件進(jìn)行重寫(xiě)。到2015年2月,騰訊對(duì)外宣布其Spark集群規(guī)模成為全球第一,筆者在采訪(fǎng)蔣杰時(shí),他曾提到,這一年對(duì)他還有另外的紀(jì)念意義,意味著騰訊在大數(shù)據(jù)領(lǐng)域的技術(shù)水平,正式躋身國(guó)內(nèi)第一梯隊(duì)。

    在大數(shù)據(jù)領(lǐng)域,騰訊還有許多故事可講,比如之后通過(guò)機(jī)器學(xué)習(xí)解決廣告業(yè)務(wù)的個(gè)性化推薦問(wèn)題等,不過(guò)從時(shí)間上來(lái)說(shuō),這時(shí)候該講另一件事情了,也是筆者覺(jué)得更重要,也更能體現(xiàn)科技價(jià)值的“開(kāi)源”。

    開(kāi)源時(shí)代

    2011年,“軟件正在吞噬世界”的說(shuō)法被提出,到了2015年,《福布斯》《連線(xiàn)》等媒體進(jìn)一步認(rèn)為,開(kāi)源正在吞噬軟件。而到了現(xiàn)在,很多人更直接地表示,開(kāi)源正在吞噬世界。

    很遺憾,中國(guó)的科技公司又慢了一拍。

    這里說(shuō)的慢了一拍,不是對(duì)開(kāi)源軟件的使用,實(shí)際上,中國(guó)的科技公司對(duì)使用開(kāi)源軟件還是很積極的,但對(duì)做開(kāi)源貢獻(xiàn),往往就敬謝不敏了。上文有關(guān)大數(shù)據(jù)的討論,提到的分布式計(jì)算框架Hadoop,就是由Apache基金會(huì)開(kāi)發(fā)的開(kāi)源項(xiàng)目,也是當(dāng)時(shí)互聯(lián)網(wǎng)公司替代傳統(tǒng)數(shù)據(jù)庫(kù)的主流方案。

    之后替換Hadoop的分布式內(nèi)存計(jì)算框架Spark,同樣是Apache軟件基金會(huì)旗下的頂級(jí)開(kāi)源項(xiàng)目,在數(shù)據(jù)處理環(huán)節(jié)上全面優(yōu)于MapReduce(MapReduce可以看作是Hadoop的組成之一),而Storm可以簡(jiǎn)單理解為實(shí)時(shí)計(jì)算版的Hadoop,可以說(shuō),騰訊的發(fā)展極大受益于開(kāi)源軟件。

    而騰訊對(duì)待開(kāi)源的態(tài)度,用后來(lái)騰訊開(kāi)源負(fù)責(zé)人許勇曾經(jīng)的話(huà)來(lái)說(shuō):“2010年前其實(shí)騰訊起碼技術(shù)上是挺封閉的。”那時(shí)騰訊內(nèi)部“數(shù)據(jù)孤島”的現(xiàn)象很?chē)?yán)重,由于沒(méi)有統(tǒng)一的開(kāi)發(fā)框架,每個(gè)業(yè)務(wù)團(tuán)隊(duì)又都有自己的開(kāi)發(fā)習(xí)慣和開(kāi)發(fā)語(yǔ)言,讓開(kāi)發(fā)協(xié)作出現(xiàn)了許多問(wèn)題。不同語(yǔ)言之間的通信適配非常繁重,不同團(tuán)隊(duì)會(huì)重復(fù)實(shí)現(xiàn)一樣的功能組件,而且代碼質(zhì)量參差不齊——有些團(tuán)隊(duì)沒(méi)有實(shí)現(xiàn)業(yè)務(wù)容災(zāi),有些團(tuán)隊(duì)為了快速上線(xiàn),直接寫(xiě)死IP在代碼中,甚至有的后臺(tái)開(kāi)發(fā)團(tuán)隊(duì)沒(méi)有平臺(tái)建設(shè)人員,操作都需要登錄服務(wù)器,乃至造成誤操作。

    身為資深程序員的馬化騰對(duì)內(nèi)部的問(wèn)題也心知肚明,2010年4月22日,在騰訊戰(zhàn)略管理大會(huì)上,馬化騰提出對(duì)內(nèi)“各業(yè)務(wù)單元需建立新的協(xié)作機(jī)制,靈活機(jī)動(dòng)打破‘部門(mén)墻’”,騰訊也開(kāi)始試水對(duì)內(nèi)開(kāi)源。在2010年到2015年之間,對(duì)內(nèi)開(kāi)源一定程度上讓騰訊減少了內(nèi)耗,但在對(duì)外開(kāi)源上,騰訊還是相當(dāng)謹(jǐn)慎和敏感,曾經(jīng)一位騰訊程序員對(duì)筆者表示:“如果對(duì)外開(kāi)源,要經(jīng)過(guò)層層審批,假如一個(gè)開(kāi)發(fā)把自己寫(xiě)的部分代碼開(kāi)源了,結(jié)果忘了里面有一些內(nèi)網(wǎng)的東西,那就完蛋了?!?

    一直到2016年,騰訊才開(kāi)始低調(diào)地將開(kāi)源項(xiàng)目開(kāi)始在Github上公布,2017年,騰訊開(kāi)源的項(xiàng)目數(shù)增長(zhǎng)到近20個(gè),之后開(kāi)源項(xiàng)目數(shù)量快速增長(zhǎng)。

    2018年6月25日的LC3(LinuxCon + ContainerCon + CloudOpen)中國(guó)2018大會(huì),騰訊宣布將自研開(kāi)源項(xiàng)目TARS貢獻(xiàn)給Linux基金會(huì),并正式成為L(zhǎng)inux基金會(huì)白金會(huì)員,圖上為L(zhǎng)inux基金會(huì)執(zhí)行董事Jim Zemlin(左)與騰訊副總裁曾宇(右)??圖片來(lái)源:騰訊

    但對(duì)當(dāng)時(shí)騰訊內(nèi)部的技術(shù)氛圍是否足夠開(kāi)放,筆者還是持一定懷疑態(tài)度的,因?yàn)?018年,還有騰訊的新員工在內(nèi)網(wǎng)吐槽:“來(lái)到騰訊就像來(lái)到技術(shù)沙漠?!彬v訊對(duì)開(kāi)源態(tài)度轉(zhuǎn)變的關(guān)鍵節(jié)點(diǎn),應(yīng)該是在2018年的夏末秋初,在三天三夜的“香港會(huì)議”上,盧山(現(xiàn)任騰訊高級(jí)執(zhí)行副總裁、技術(shù)工程事業(yè)群總裁)提出了“開(kāi)源協(xié)同”,之后在2018年9月30日,騰訊啟動(dòng)戰(zhàn)略升級(jí),成立六大事業(yè)群,即“930變革”。2019年1月,騰訊正式組建技術(shù)委員會(huì),由盧山和湯道生牽頭,“開(kāi)源協(xié)同”成為了技術(shù)委員會(huì)兩大重要戰(zhàn)略之一,之后騰訊的內(nèi)外開(kāi)源進(jìn)一步走上了快車(chē)道。

    講個(gè)有意思的事情,上文提到,騰訊希望機(jī)器學(xué)習(xí)解決廣告業(yè)務(wù)的個(gè)性化推薦問(wèn)題,但當(dāng)時(shí)業(yè)界的重點(diǎn)基本是放在圖像識(shí)別、語(yǔ)音識(shí)別等領(lǐng)域,開(kāi)源的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)平臺(tái)如TensorFlow、Pytorch等,也并不太適應(yīng)騰訊的業(yè)務(wù)需求。

    于是在2015年,騰訊聯(lián)合北京大學(xué)共同研發(fā)了Angel項(xiàng)目——假如當(dāng)時(shí)有合適的開(kāi)源軟件,可能這個(gè)項(xiàng)目并不會(huì)誕生——這個(gè)項(xiàng)目可以說(shuō)是為騰訊的業(yè)務(wù)量身打造的,本質(zhì)上是一個(gè)大規(guī)模、分布式的機(jī)器學(xué)習(xí)平臺(tái),架構(gòu)核心是高性能參數(shù)服務(wù)器,聚焦在稀疏數(shù)據(jù)和高維模型領(lǐng)域,與騰訊的業(yè)務(wù)息息相關(guān),比如推薦模型(可用于商品廣告推薦)和圖網(wǎng)絡(luò)模型(可用于社交網(wǎng)絡(luò)分析)。

    而這個(gè)項(xiàng)目,在2017年正式對(duì)外開(kāi)源,然后被大量的公司和機(jī)構(gòu)使用,其中包括華為、 小米、滴滴等互聯(lián)網(wǎng)大公司,并在2018年進(jìn)入LF AI基金會(huì)孵化。2019年12月19日,Angel成功從LF AI基金會(huì)畢業(yè),這也是中國(guó)首個(gè)成功畢業(yè)的項(xiàng)目,目前在Github獲星6500+??梢哉f(shuō),在這個(gè)項(xiàng)目上,騰訊貫徹了開(kāi)源的精神,也值得業(yè)界的尊敬。

    Github上對(duì)Angel的簡(jiǎn)介??圖片來(lái)源:Github

    在中國(guó),開(kāi)源曾被長(zhǎng)期忽視,但開(kāi)源社區(qū)在的影響正與日俱增,即使是科技巨頭也要承認(rèn),一個(gè)受歡迎的項(xiàng)目,通過(guò)開(kāi)源接受全社區(qū)的檢驗(yàn)和評(píng)價(jià),以及優(yōu)秀開(kāi)發(fā)者對(duì)其的完善,得到的提升長(zhǎng)期來(lái)看要快于內(nèi)部的研發(fā),并且有利于在更大范圍內(nèi)形成技術(shù)生態(tài)。

    近年來(lái)中國(guó)科技企業(yè)也紛紛加大了開(kāi)源的力度,比如華為的鴻蒙、百度的飛槳等,騰訊近兩年的開(kāi)源貢獻(xiàn),在全球企業(yè)中位居前十。如果我們領(lǐng)先的科技企業(yè)都愿意貢獻(xiàn)更多到開(kāi)源領(lǐng)域,那將是一件值得自豪,也能為世界貢獻(xiàn)更多科技價(jià)值的事情。

    好了,我們先將開(kāi)源的話(huà)題放下,回過(guò)頭來(lái)聊文章開(kāi)頭說(shuō)的事情。

    云原生時(shí)代

    在香港會(huì)議上,盧山提出了“開(kāi)源協(xié)同”的建議,而湯道生則提出了“自研上云”的建議,這兩個(gè)建議,也是騰訊技術(shù)委員會(huì)的兩大重要戰(zhàn)略。自研上云,顧名思義,主要是將騰訊集團(tuán)內(nèi)部的海量自研業(yè)務(wù),包括社交、游戲、內(nèi)容等業(yè)務(wù)搬上云端。

    時(shí)至今日,云計(jì)算的意義已經(jīng)無(wú)需贅言了,業(yè)務(wù)上云也是理所當(dāng)然——騰訊自己就有云,沒(méi)道理不用啊。

    不過(guò)具體上云要上到什么程度?據(jù)騰訊對(duì)披露的信息,當(dāng)時(shí)騰訊內(nèi)部其實(shí)也分成了兩派,其中一派認(rèn)為,騰訊各大事業(yè)群(BG)應(yīng)該使用云上的虛擬機(jī),但架構(gòu)還是用各業(yè)務(wù)自己的,簡(jiǎn)單點(diǎn)理解,就是IaaS層上云。

    如果只是這樣,那么這篇文章其實(shí)沒(méi)有寫(xiě)的必要了,無(wú)非是騰訊云多了一些內(nèi)部客戶(hù)。

    另一派的看法是,IaaS層要上云,各BG的PaaS也要上云并統(tǒng)一。騰訊以“賽馬機(jī)制”出名,也借此做出了不少優(yōu)秀的產(chǎn)品,但相互間的隔離也成了痼疾(不然也不必“開(kāi)源協(xié)同”和“自研上云”了),再進(jìn)一步,就會(huì)有一個(gè)很現(xiàn)實(shí)的問(wèn)題:當(dāng)時(shí)騰訊每個(gè)BG都有各自PaaS平臺(tái),有基于開(kāi)源的,有基于自研的,并且調(diào)度技術(shù)都是和各自業(yè)務(wù)磨合好了的,如果強(qiáng)行統(tǒng)一,業(yè)務(wù)部門(mén)一定會(huì)反彈。

    這個(gè)問(wèn)題其實(shí)在阿里巴巴也出現(xiàn)過(guò),當(dāng)初阿里在內(nèi)部推廣阿里云,投訴像雪花般紛至沓來(lái)絕不夸張,王堅(jiān)被說(shuō)成騙子,在臺(tái)上泣不成聲也不止一次。哪怕是后來(lái)執(zhí)掌阿里云的胡曉明,在聽(tīng)說(shuō)自己的業(yè)務(wù)要上阿里云(那時(shí)他在螞蟻金服),他也很不情愿(事實(shí)證明后來(lái)的確出了很多問(wèn)題)。

    實(shí)際上,雖然2019年1月技術(shù)委員會(huì)就成立了,但從2月到4月,騰訊總辦還在不停討論如何上云。在盧山、湯道生等的堅(jiān)持下,騰訊最后確定,自研上云不僅要使用云上虛擬機(jī),而且要擁抱最新的云原生技術(shù),將資源統(tǒng)一調(diào)度。

    這個(gè)結(jié)果用一句話(huà)來(lái)描述,就是“風(fēng)物長(zhǎng)宜放眼量”。

    雖然有爭(zhēng)論,但對(duì)云原生是大勢(shì)所趨,大家卻是沒(méi)有異議的。云原生(CloudNative)是一個(gè)組合詞:Cloud+Native。Cloud表示應(yīng)用程序位于云中,不是傳統(tǒng)的數(shù)據(jù)中心;Native表示應(yīng)用程序從設(shè)計(jì)之初即考慮到云的環(huán)境,為云而設(shè)計(jì),能夠充分發(fā)揮云平臺(tái)的“彈性+分布式”的優(yōu)勢(shì)。

    這個(gè)概念也在不斷演化,2015年云原生計(jì)算基金會(huì)(CNCF)成立,最初把云原生定義為“容器化封裝+自動(dòng)化管理+面向微服務(wù)”;2018年,CNCF又將服務(wù)網(wǎng)格(Service Mesh)和聲明式API給加了進(jìn)來(lái)。總之,在2019年,理念上的統(tǒng)一并不是問(wèn)題,問(wèn)題只在于執(zhí)行。

    從目標(biāo)來(lái)看,騰訊的全面上云是想要借助云原生,尤其是容器、微服務(wù)、DevOps的能力,構(gòu)建面向未來(lái)的技術(shù)架構(gòu),打破部門(mén)墻和重復(fù)造輪子現(xiàn)象,加強(qiáng)基礎(chǔ)研發(fā),提高公司的技術(shù)資源利用效率。另一方面,這個(gè)過(guò)程中積累的云產(chǎn)品、技術(shù)未來(lái)也通過(guò)騰訊云對(duì)外輸出。

    實(shí)際中,用哪個(gè)BG的調(diào)度技術(shù),首先就成為擺在騰訊各個(gè)技術(shù)運(yùn)營(yíng)部面前的難題。為此,騰訊內(nèi)部展開(kāi)了激烈的PK,也調(diào)研了很多云原生技術(shù),最終確定了基于內(nèi)部開(kāi)源協(xié)同的K8S能力來(lái)構(gòu)建統(tǒng)一的技術(shù)底座,在此之上使用騰訊云TKE來(lái)構(gòu)建每個(gè)BG自身的業(yè)務(wù)運(yùn)維發(fā)布平臺(tái)。騰訊云TKE即騰訊云上的容器服務(wù)(Tencent Kubernetes Engine,TKE),基于 Kubernetes 提供以容器為核心的解決方案。當(dāng)時(shí)騰訊云容器產(chǎn)品中心總監(jiān)鄒輝在運(yùn)營(yíng)管理大會(huì)上,向每個(gè)BG匯報(bào)方案,最終達(dá)成一致:代碼上開(kāi)源協(xié)同,資源上在騰訊云統(tǒng)一,運(yùn)營(yíng)上各個(gè)BG獨(dú)立。

    2019年騰訊啟動(dòng)上云,主要是主機(jī)上云,2020年全面啟動(dòng)容器化改造,這個(gè)過(guò)程中就出現(xiàn)了不少“幺蛾子”。

    比如騰訊平臺(tái)與內(nèi)容事業(yè)群(PCG),提出了不少“不可思議”的要求,像創(chuàng)建集群的接口要支持指定的各種參數(shù),數(shù)量多到以至于騰訊云的負(fù)責(zé)團(tuán)隊(duì)?wèi)岩蓪?duì)方“想把我們TKE當(dāng)成一個(gè)空殼,只是把集群買(mǎi)完之后,指定完這個(gè)參數(shù),還要自己閉環(huán)干這個(gè)事情”(來(lái)自騰訊提供的采訪(fǎng)記錄)。事實(shí)證明無(wú)論內(nèi)部還是外部客戶(hù),都確實(shí)有這個(gè)需求,這個(gè)需求后來(lái)演變成了TKE的兩個(gè)產(chǎn)品能力——TKE獨(dú)立集群和TKE自定義參數(shù)。

    還有騰訊互動(dòng)娛樂(lè)事業(yè)群(IEG),因?yàn)楹芏鄻I(yè)務(wù)要遷移到云上,要求TKE支持固定IP。這個(gè)需求,說(shuō)實(shí)話(huà)挺不“云原生”的,因?yàn)閲?yán)格意義上真正的云原生是不支持固定IP的。于是雙方進(jìn)行了多次“PK”,最后在IEG表示不支持的話(huà),業(yè)務(wù)就不能上云后,騰訊云的團(tuán)隊(duì)只好推出了一個(gè)新特性——容器支持固定IP,結(jié)果沒(méi)想到,這個(gè)特性之后在外部客戶(hù)中也大受歡迎,成為騰訊云的一個(gè)“獨(dú)家利器”。

    其間也有碰了“一鼻子灰”的事情,曾經(jīng)有個(gè)重要的游戲上線(xiàn),結(jié)果晚上高峰期做活動(dòng)時(shí),有兩個(gè)小時(shí)非???,當(dāng)時(shí)騰訊內(nèi)部論壇上有不少“騰訊云不行”、“騰訊云垃圾”、“原來(lái)挺好的,非要搞上云”之類(lèi)的吐槽,這個(gè)事情鬧出來(lái)之后,直接捅到總辦,一度搞得他們壓力很大。事后總結(jié),雙方團(tuán)隊(duì)發(fā)現(xiàn),是評(píng)估計(jì)算資源時(shí),應(yīng)該用高主頻服務(wù)器,卻用了普通服務(wù)器,到了高峰期算力就扛不住了。

    不過(guò),上云整體的進(jìn)展還算順利,在推進(jìn)節(jié)奏上,騰訊云的團(tuán)隊(duì)注意“抓大頭”,先啃最難啃的骨頭,比如QQ是騰訊首個(gè)全面上云的內(nèi)部業(yè)務(wù),而且過(guò)程中用戶(hù)零感知。騰訊從QQ開(kāi)始,上云也以QQ開(kāi)始,不得不說(shuō)是個(gè)有趣的輪回。

    對(duì)于IEG的游戲,就先讓最熱門(mén)游戲上云,這樣其他觀望的腰部業(yè)務(wù)看到?jīng)]問(wèn)題后,基本就會(huì)選擇跟進(jìn)。在業(yè)務(wù)切換的過(guò)程中,騰訊云的團(tuán)隊(duì)還要負(fù)責(zé)保駕護(hù)航,當(dāng)時(shí)每當(dāng)《王者榮耀》推出一個(gè)活動(dòng),他們就會(huì)提前去梳理可能的風(fēng)險(xiǎn)和問(wèn)題。至于像騰訊會(huì)議、視頻號(hào)這樣的新業(yè)務(wù),更是一開(kāi)始便是云原生的。

    騰訊云副總裁徐勇州在采訪(fǎng)中回憶,2019年在騰訊內(nèi)部的樂(lè)問(wèn)平臺(tái)上,對(duì)為什么上云的討論還有不少,到2021年,基本就不再質(zhì)疑了,TKE的核心量一年之內(nèi)增長(zhǎng)了將近4倍。“整體的業(yè)務(wù)負(fù)載,三年前大概是在30%的水平,但是今天,基于云原生帶來(lái)的調(diào)度以及遷移的能力,集群負(fù)載提升到45%,在離線(xiàn)業(yè)務(wù)混部集群的負(fù)載更是到了65%這樣一個(gè)相對(duì)比較高的水準(zhǔn),業(yè)界做得好的也就是北美有做到50%左右?!毙煊轮菘偨Y(jié)說(shuō)。

    其實(shí)騰訊主要業(yè)務(wù)的全面上云在2021年就基本完成,只有有些業(yè)務(wù)在等待服務(wù)器的逐步替換。根據(jù)騰訊的統(tǒng)計(jì),騰訊云TKE擁有目前國(guó)內(nèi)最大規(guī)模的Kubernetes集群,相對(duì)于自研上云前,云服務(wù)器相對(duì)物理服務(wù)器性能損耗下降到0,CBS的存儲(chǔ)性能提升13倍,網(wǎng)絡(luò)的包轉(zhuǎn)發(fā)能力提升7.6倍,TKE的在離線(xiàn)業(yè)務(wù)混部能力使服務(wù)器資源利用率從30%提升至65%。同時(shí),自研業(yè)務(wù)上云過(guò)程中,還有將近100項(xiàng)成果復(fù)用到公有云。

    這的確也是一個(gè)里程碑式的事件。

    從2009年到2022年,中國(guó)互聯(lián)網(wǎng)也經(jīng)歷了PC互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)和產(chǎn)業(yè)互聯(lián)網(wǎng)三個(gè)不同的階段,從底層技術(shù)到表層的商業(yè)模式都在發(fā)生著改變。2009年,創(chuàng)業(yè)公司“五分鐘”因?yàn)闊o(wú)力提供《開(kāi)心農(nóng)場(chǎng)》所需的算力,不得不以幾百萬(wàn)的價(jià)格就賣(mài)掉了游戲在騰訊平臺(tái)的使用權(quán),并在2012年末破產(chǎn)。2011年,比微信提前上線(xiàn)一個(gè)月前的米聊,在用戶(hù)增長(zhǎng)最快、競(jìng)爭(zhēng)最激烈的時(shí)候,因?yàn)榉?wù)器和后臺(tái)架構(gòu)的缺陷,出現(xiàn)了五次宕機(jī),不得不主動(dòng)退出了競(jìng)爭(zhēng)。2018年9月,如日中天的騰訊在股價(jià)接連下跌之后,自我革命,走向了“開(kāi)源協(xié)同”和“自研上云”的道路。

    我們看到中國(guó)互聯(lián)網(wǎng)商業(yè)模式創(chuàng)新的威力,已經(jīng)大幅讓步給科技的進(jìn)步,以往看不見(jiàn)的冰山,正逐漸浮出海面。文中提到的一些技術(shù)也許快成為明日黃花,但開(kāi)源和云原生,還有更多文中沒(méi)提到的前沿科技領(lǐng)域,卻仍是方興未艾,而這也將會(huì)是未來(lái)科技公司的競(jìng)爭(zhēng)力所在。

    額外講一件事情,自2019年,金融科技及企業(yè)服務(wù)營(yíng)收規(guī)模正式披露以來(lái),其單季度營(yíng)收規(guī)模已經(jīng)翻了一番。2021年Q4,騰訊的金融科技與企業(yè)服務(wù)收入達(dá)到479.58億元,首次超過(guò)游戲收入,占總營(yíng)收比例升至33.26%。從騰訊的變化我們能看到,做研發(fā)搞技術(shù),不止能省錢(qián),也真的能掙到錢(qián),而且比單純掙錢(qián)更有趣和讓人有敬意。

    也希望這樣有趣的好故事,能在更多中國(guó)公司內(nèi)上演。

    參考資料:

    吳曉波《騰訊傳》

    淺黑科技《阿里云的這群瘋子》

    極客網(wǎng)企業(yè)會(huì)員

    免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。

    2022-06-24
    騰訊底層技術(shù)進(jìn)化史 | 科技前沿
    關(guān)鍵詞:大數(shù)據(jù)、開(kāi)源、全面上云

    長(zhǎng)按掃碼 閱讀全文