“利用AWS豐富的功能和靈活的計費模式,我們不僅提升了系統(tǒng)的穩(wěn)定性、可靠性和動態(tài)擴容能力,從而輕松應(yīng)對業(yè)務(wù)的爆發(fā)式增長,同時還使計算成本降低了1/3、運維成本降低了60%?!?/strong>
——馮華寅,芝麻科技聯(lián)合創(chuàng)始人&CTO
一家快速成長的初創(chuàng)企業(yè)
南京芝麻信息科技有限公司(以下簡稱“芝麻科技”)是國內(nèi)知名的線下大數(shù)據(jù)服務(wù)公司,致力于線下消費者大數(shù)據(jù)的采集與精細分析,通過數(shù)據(jù)服務(wù)驅(qū)動商業(yè)效率的提升。芝麻科技的主要產(chǎn)品線是MOLLI,這是一組專門針對購物中心提升業(yè)務(wù)效率的數(shù)據(jù)分析解決方案,涵蓋客流分析、廣告營銷等多個方面,目標(biāo)是解決商場的引流問題以及品牌客戶的精準廣告投放問題。
目前,芝麻科技已經(jīng)在全國覆蓋10萬余消費生活場所、七億部移動設(shè)備,日處理數(shù)據(jù)近百億條。芝麻科技服務(wù)的客戶包括寶潔、歐萊雅、歐時力、赫基、勁霸、北汽、福特、碧桂園、紅星美凱龍、靜安嘉里中心、佳兆業(yè)商業(yè)、虹悅城等國內(nèi)外知名企業(yè),服務(wù)的主要行業(yè)包括母嬰、化妝品、汽車、房產(chǎn)、時尚等。
業(yè)務(wù)爆發(fā)式增長帶來的挑戰(zhàn)
芝麻科技成立于2013年,是一家創(chuàng)業(yè)公司,為了快速開展業(yè)務(wù),芝麻科技在成立之初就決定在云平臺進行產(chǎn)品開發(fā)和部署。
在遷移至AWS之前,芝麻科技使用了其他云服務(wù)商的云平臺,通過在虛擬機上自建服務(wù)的方式來構(gòu)建應(yīng)用系統(tǒng)。隨著業(yè)務(wù)的快速發(fā)展,這種方式的弊端開始顯現(xiàn)出來,主要體現(xiàn)在三個方面:
一、用于數(shù)據(jù)采集的Kafka集群、用于數(shù)據(jù)分析的Hadoop集群都需要自己搭建并配備專門的運維團隊,導(dǎo)致前期的學(xué)習(xí)成本和運維成本相對較高;
二、系統(tǒng)架構(gòu)動態(tài)擴容不方便,為了滿足系統(tǒng)的峰值需求,必須高配資源,這造成了極大的資源浪費,最嚴重的時候有2/3的計算資源都是閑置的;
三、為了提高系統(tǒng)的穩(wěn)定性和可靠性,需要自行設(shè)計很多基礎(chǔ)服務(wù)的高可用和高性能基礎(chǔ)架構(gòu)方案,顯著增加系統(tǒng)的復(fù)雜性,使系統(tǒng)穩(wěn)定性難以得到保障。
“芝麻科技是創(chuàng)業(yè)公司,為了應(yīng)對瞬息萬變的市場需求,我們希望能把人力資源聚焦在應(yīng)用的迭代開發(fā)上,而不是把大量的時間和精力都花費在IT基礎(chǔ)設(shè)施的運維工作上?!敝ヂ榭萍悸?lián)合創(chuàng)始人&CTO馮華寅說。
2016年9月,芝麻科技加入了“AWS云創(chuàng)計劃”,獲得了免費的起步云資源、技術(shù)培訓(xùn)及支持服務(wù),開始熟悉和了解AWS云服務(wù)。經(jīng)過近一年的試用,芝麻科技從2017年底開始將其整個應(yīng)用系統(tǒng)遷移至AWS ,借助AWS豐富的PaaS層服務(wù),不僅極大地減少了對基礎(chǔ)架構(gòu)的人力投入,同時還大幅度提升了系統(tǒng)的穩(wěn)定性、可靠性和動態(tài)擴容能力,促進了業(yè)務(wù)的快速增長。
芝麻科技選擇AWS的原因
作為創(chuàng)業(yè)公司,芝麻科技的目標(biāo)是能實現(xiàn)產(chǎn)品的快速迭代,確保應(yīng)用系統(tǒng)穩(wěn)定可靠并具備優(yōu)異的動態(tài)擴容能力,同時還能大幅度節(jié)省成本?;谶@一目標(biāo),芝麻科技對比了市場上主流的云服務(wù)提供商,最終AWS以豐富的產(chǎn)品和服務(wù)、靈活的計費方式、完善的安全機制成為芝麻科技的不二之選。
1、豐富的產(chǎn)品和服務(wù)
AWS提供了豐富的產(chǎn)品和服務(wù),完整地涵蓋了計算、存儲、數(shù)據(jù)庫、遷移、網(wǎng)絡(luò)和內(nèi)容分發(fā)、移動服務(wù)、分析、管理、安全等用戶需要的各個方面,這些產(chǎn)品和服務(wù)不僅極大地簡化了應(yīng)用系統(tǒng)的開發(fā),同時還保證了應(yīng)用系統(tǒng)的穩(wěn)定性和可靠性。
芝麻科技在遷移到AWS后,對原有的應(yīng)用系統(tǒng)進行了結(jié)構(gòu)升級,用Amazon Kinesis替代了原來的Kafka集群,用Amazon EMR替代了自建的Hadoop集群,利用Kinesis完成數(shù)據(jù)的實時聚合,它每小時可以從數(shù)萬種來源(如網(wǎng)站點擊流、財務(wù)交易、社交媒體源、定位追蹤事件等)中持續(xù)捕獲和存儲TB級數(shù)據(jù),并將數(shù)據(jù)傳輸給后續(xù)的Amazon EMR大數(shù)據(jù)處理系統(tǒng)進行分析處理。在這一過程中,進入系統(tǒng)的實時數(shù)據(jù)在處理之前都存儲在Kinesis中,確保了整個系統(tǒng)的持久性和彈性。“AWS上豐富的托管服務(wù)使我們的開發(fā)人員無需再把大量的精力用于基礎(chǔ)架構(gòu)的維護,轉(zhuǎn)而專注于核心業(yè)務(wù)系統(tǒng)的創(chuàng)新和開發(fā)?!瘪T華寅說。
2、靈活的計費方式
對所有創(chuàng)業(yè)公司來說,如何降低成本至關(guān)重要。在云資源的使用上,AWS提供了三種計費方式供用戶選擇,包括預(yù)留實例、按需實例和競價實例,不同類型的實例價格差別很大,用戶可以根據(jù)自己的實際應(yīng)用需求進行選擇,并利用AWS豐富的監(jiān)控和管理工具,以自動化的方式隨時進行調(diào)整,在確保系統(tǒng)可靠性和穩(wěn)定性的前提下盡可能降低成本。
例如,在芝麻科技的MOLLI系統(tǒng)中,大量的數(shù)據(jù)分析并不需要實時進行,因此可以在集中進行大數(shù)據(jù)處理時臨時啟動多個競價實例來快速完成處理任務(wù)?!爸ヂ榭萍嫉臉I(yè)務(wù)發(fā)展非常迅速,我們很難提前數(shù)月預(yù)估所需要的計算資源,因此那種按年購買云資源的模式不適合我們?!瘪T華寅說。
3、完善的安全機制
芝麻科技為企業(yè)客戶提供服務(wù),因此系統(tǒng)與數(shù)據(jù)的安全性必須得到充分保障。AWS本身的架構(gòu)設(shè)計、安全管理和豐富的安全服務(wù)功能為用戶提供了基礎(chǔ)架構(gòu)層面的安全保障,用戶只需要負責(zé)其應(yīng)用系統(tǒng)本身的安全性即可。
此外,AWS專業(yè)的技術(shù)支持服務(wù)、極高的品牌知名度和豐富的云服務(wù)運營經(jīng)驗也是芝麻科技選擇AWS的原因。
使用AWS云服務(wù)的成效
芝麻科技在2016年加入AWS針對創(chuàng)業(yè)型公司的云創(chuàng)計劃,試用了大部分AWS云服務(wù),并結(jié)合自身業(yè)務(wù)需求,重點評估了Amazon EMR、Kinesis、Amazon Relational Database Service (Amazon RDS)等服務(wù)。隨后從2017年8月開始將整個系統(tǒng)向AWS遷移,經(jīng)過遷移評估、架構(gòu)設(shè)計、遷移規(guī)劃、試運行、系統(tǒng)切換等一系列過程,成功地完成了整個系統(tǒng)的遷移和架構(gòu)升級,所使用的AWS云服務(wù)包括Amazon Elastic Compute Cloud (Amazon EC2)、AWS Auto Scaling、Elastic Load Balancing、Amazon Simple Storage Service (Amazon S3)、Amazon Glacier、Kinesis、Amazon EMR、Amazon RDS、Amazon CloudWatch、Amazon Redshift、AWS Lambda等。圖1是芝麻科技使用AWS云服務(wù)的架構(gòu)示意圖。
芝麻科技使用AWS云服務(wù)的架構(gòu)示意圖
將整個應(yīng)用系統(tǒng)完整地遷移到AWS上,使芝麻科技在多方面獲益。
首先,是大幅度降低了計算資源使用成本和運維成本。芝麻科技將AWS特有的按需、預(yù)留和競價實例與自身的業(yè)務(wù)特性相結(jié)合,通過組合不同種類的實例,獲得了超高的性價比,僅在后端用Amazon EMR進行大數(shù)據(jù)處理方面,由于采用了競價實例和彈性伸縮技術(shù),在充分滿足業(yè)務(wù)對計算性能要求的前提下,將計算成本減少到之前自建Hadoop集群時的一半。同時,利用AWS Auto Scaling、ELB等服務(wù),應(yīng)用系統(tǒng)僅在需要時增添實例,一旦完成處理,即可立刻釋放實例,這使得總的計算資源使用成本降低了1/3。在運維方面,通過使用AWS上的PaaS層服務(wù),減少了運維人員的投入,運維人員從原來的5人縮減為2人,節(jié)省了60%的人力成本。
其次,是縮短了系統(tǒng)開發(fā)、測試及部署時間,項目的迭代周期從原來的4個月縮短到2個月。系統(tǒng)的性能也得到大幅度提升,MOLLI系統(tǒng)大量采用了AWS的托管服務(wù),組件的高可用性由AWS保證,減少了自行設(shè)計帶來的復(fù)雜度,數(shù)據(jù)存儲的持久性、系統(tǒng)的彈性及安全性都得到充分的保證?!案匾氖鞘褂肁WS提升了系統(tǒng)的穩(wěn)定性和動態(tài)擴容能力,使我們能夠輕松應(yīng)對業(yè)務(wù)的爆發(fā)式增長?!瘪T華寅說道。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- 美媒聚焦比亞迪“副業(yè)”:電子代工助力蘋果,下個大計劃瞄準AI機器人
- 微信零錢通新政策:銀行卡轉(zhuǎn)入資金提現(xiàn)免手續(xù)費引熱議
- 消息稱塔塔集團將收購和碩印度iPhone代工廠60%股份 并接管日常運營
- 蘋果揭秘自研芯片成功之道:領(lǐng)先技術(shù)與深度整合是關(guān)鍵
- 英偉達新一代Blackwell GPU面臨過熱挑戰(zhàn),交付延期引發(fā)市場關(guān)注
- 馬斯克能否成為 AI 部部長?硅谷與白宮的聯(lián)系日益緊密
- 余承東:Mate70將在26號發(fā)布,意外泄露引發(fā)關(guān)注
- 無人機“黑科技”亮相航展:全球首臺低空重力測量系統(tǒng)引關(guān)注
- 賽力斯發(fā)布聲明:未與任何伙伴聯(lián)合開展人形機器人合作
- 賽力斯觸及漲停,汽車整車股盤初強勢拉升
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責(zé)任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。