星環(huán)科技一站式大數(shù)據(jù)平臺Transwarp Data Hub(TDH)每年都會有大版本更新迭代，5月15日在星環(huán)科技2020春季新品發(fā)布會上推出的7.0版本，主打一站式多模異構(gòu)數(shù)據(jù)處理，打破了行業(yè)內(nèi)普遍存在的不同數(shù)據(jù)庫產(chǎn)品切換的不便利，通過一個平臺處理多種數(shù)據(jù)模型，用戶無需維護多種數(shù)據(jù)庫即將成為現(xiàn)實。

數(shù)年來，星環(huán)科技一直堅持自主研發(fā)，逐年推動技術(shù)進步，2013年星環(huán)科技創(chuàng)立時就從大數(shù)據(jù)的四個角度來定義產(chǎn)品，來解決大數(shù)據(jù)的4個V的需求，數(shù)據(jù)量大、數(shù)據(jù)的種類多、數(shù)據(jù)的實時性要求高、要從數(shù)據(jù)中發(fā)掘價值。TDH是可以用于解決大數(shù)據(jù)四個V的一站式平臺解決方案，①大量化(volume)，采用分布式計算和分布式存儲框架，充分利用計算機集群的整體計算和存儲能力，解決了數(shù)據(jù)大量化問題。② 速度化(velocity)：采用實時流處理引擎，解決了用戶對數(shù)據(jù)處理時效性的需求 ③ 多樣化(variety)：處理的數(shù)據(jù)類型不再局限于結(jié)構(gòu)化數(shù)據(jù)，能同時處理文本數(shù)據(jù)、圖數(shù)據(jù)等非結(jié)構(gòu)化數(shù)據(jù)。 ④價值提升(value)：充分利用數(shù)據(jù)，用于多種數(shù)據(jù)模型的分析，提升數(shù)據(jù)價值。

滿足客戶需求應(yīng)運而生的TDH7.0

經(jīng)過七年的不懈努力，產(chǎn)生了發(fā)布會上看到的Transwarp Data Hub 7.0的整體構(gòu)思。TDH從最初的一個多工具組合平臺，逐步經(jīng)演變成為一個多模型數(shù)據(jù)處理平臺。目前，各種大數(shù)據(jù)技術(shù)應(yīng)用越來越廣泛。對于一些單一的典型場景，業(yè)界有了知名的解決方案，例如：結(jié)構(gòu)化數(shù)據(jù)使用Hive;動態(tài)列模型使用Bigtable、Hbase;文檔處理使用MogoDB;圖數(shù)據(jù)使用Neo4j;搜索引擎ElasticSearch，等等。但在實際應(yīng)用中，用戶的使用場景日趨復(fù)雜，處理多模型的需求日趨廣泛。在處理多模型的需求時，用戶不得不采用多工具組合的混合方法，但這種混合方法的運維過于復(fù)雜，必須要維護多種數(shù)據(jù)庫來滿足不同模型的需求。因此，用戶迫切需要一個統(tǒng)一的平臺解決日益多樣靈活的各類需求。

TDH7.0作為一個多模型的數(shù)據(jù)處理平臺可以提供統(tǒng)一的數(shù)據(jù)操作/查詢語言 SQL、統(tǒng)一的數(shù)據(jù)計算引擎、統(tǒng)一的分布式存儲管理系統(tǒng)、統(tǒng)一的資源管理框架，滿足利用一個多模異構(gòu)平臺，處理多種數(shù)據(jù)的需求。產(chǎn)品從上而下劃分為五個層次：①SQL層：開發(fā)了統(tǒng)一的SQL引擎，兼容各種不同的SQL方言;②計算層：開發(fā)了統(tǒng)一的計算引擎，進行統(tǒng)一的計算任務(wù)優(yōu)化和分發(fā);③存儲模型層，TDH一個平臺支持七種不同的存儲模型，適用于不同的應(yīng)用場景，包括：圖存儲 Graph Storage、文檔存儲 Document Storage、全文檢索 Full-text Search、鍵值存儲 Key-Value Storage、行列混合存儲 Row-Columnar Storage 、時空地理存儲 Sequential Geospatial Storage、非結(jié)構(gòu)化對象存儲 Unstructured Object Storage。④存儲管理層：開發(fā)了統(tǒng)一的存儲管理引擎，提供數(shù)據(jù)塊分布管理、數(shù)據(jù)多副本一致性管理、文件服務(wù)管理等功能;⑤資源調(diào)度層，開發(fā)了統(tǒng)一的資源調(diào)度框架，通過容器化編排，統(tǒng)一調(diào)度計算、存儲、網(wǎng)絡(luò)資源。

TDH7.0多模型數(shù)據(jù)處理平臺三大核心優(yōu)勢

優(yōu)勢一：極大提升了各個產(chǎn)品的效率。如果同一份數(shù)據(jù)需要進行多種不同模型分析：分析查詢、模糊匹配查詢、關(guān)系推理查詢。TDH可以針對不同需求采用多種最優(yōu)存儲模型：分析查詢采用行列混合存儲;模糊匹配查詢采用全文檢索;關(guān)系推理查詢采用圖數(shù)據(jù)存儲。多種模式的存儲，可以使各場景下的查詢分析性能都得到極大優(yōu)化。

優(yōu)勢二：便捷的應(yīng)用開發(fā)。在傳統(tǒng)混合模型中，不同模型數(shù)據(jù)間做關(guān)聯(lián)分析，需要進行跨數(shù)據(jù)庫的數(shù)據(jù)導(dǎo)入導(dǎo)出，十分復(fù)雜。而我們的產(chǎn)品采用了統(tǒng)一的數(shù)據(jù)管理，一個簡單的SQL語句就可以直接進行關(guān)聯(lián)查詢，如同操作同一個數(shù)據(jù)庫一般，使應(yīng)用開發(fā)變得十分便捷。

優(yōu)勢三：降低運維成本。在傳統(tǒng)混合模型中，不同模型需要運維不同數(shù)據(jù)庫。特別當(dāng)同一份數(shù)據(jù)存儲于多數(shù)據(jù)庫時，數(shù)據(jù)一致性成為極大挑戰(zhàn)。此外，數(shù)據(jù)總體情況的運維，需要各個運維子系統(tǒng)匯總并二次開發(fā)，運維成本巨大。而我們的產(chǎn)品采用了統(tǒng)一的數(shù)據(jù)管理，在產(chǎn)品底層服務(wù)中直接保障數(shù)據(jù)一致性，同時對多模型的數(shù)據(jù)進行整體運維，是天然的一體化系統(tǒng)。

星環(huán)科技新一代搜索產(chǎn)品Transwarp New Search重磅推出

隨著新一代信息技術(shù)的發(fā)展，圍繞著數(shù)據(jù)的采集、傳輸、存儲、管理、分析、應(yīng)用各環(huán)節(jié)的大數(shù)據(jù)技術(shù)異?；钴S。同時，數(shù)據(jù)庫的技術(shù)也日新月異。除了傳統(tǒng)的關(guān)系型數(shù)據(jù)庫，也誕生了許多非關(guān)系數(shù)據(jù)庫相關(guān)的新興技術(shù)。說到分析型非關(guān)系數(shù)據(jù)庫，就不得不提到一類典型的業(yè)務(wù)：全文搜索。

作為廣泛應(yīng)用于TDH7.0中的全文檢索產(chǎn)品，星環(huán)科技經(jīng)過幾年的自主研發(fā)，在這次發(fā)布會上推出了新一代搜索產(chǎn)品Transwarp New Search。相比常見的開源產(chǎn)品，Transwarp New Search在性能方面有更加亮眼的優(yōu)勢，在數(shù)據(jù)服務(wù)上限、數(shù)據(jù)安全性、數(shù)據(jù)恢復(fù)速度、數(shù)據(jù)讀寫速度、SQL計算性能，擴展功能等方面都有大幅的迭代和提升。

將數(shù)據(jù)服務(wù)上限提升10倍：星環(huán)科技對內(nèi)存使用進行了優(yōu)化，采用了獨創(chuàng)的堆外技術(shù)(Off-Heap)、冷卻技術(shù)(Cooling)和自適應(yīng)段合并算法(Self-Adaption Segment Merge)，節(jié)省了內(nèi)存使用。因此，單節(jié)點單實例的數(shù)據(jù)量上限提升至50TB左右，是開源ES方案的五倍，大大提升了磁盤的利用率，降低了用戶的硬件成本。此外，星環(huán)科技拋棄了開源產(chǎn)品P2P架構(gòu)，采用分布式一致性協(xié)議(raft)來管理集群，將集群規(guī)模上限從100節(jié)點左右提升到200節(jié)點以上。

數(shù)據(jù)安全性顯著提高：星環(huán)科技拋棄了主從最終一致性模型，采用了分布式一致性協(xié)議(raft)來保證數(shù)據(jù)的強一致性。即使極端的斷電場景，也能保證數(shù)據(jù)一致性，數(shù)據(jù)安全大大提升。此外，還提供了回收站功能。用戶誤刪除數(shù)據(jù)后，可以便捷的恢復(fù)數(shù)據(jù)。產(chǎn)品使用更安全、更放心。

數(shù)據(jù)恢復(fù)速度快10倍：星環(huán)科技對寫入數(shù)據(jù)做了細粒度的標(biāo)記控制，單點故障數(shù)據(jù)恢復(fù)時，采用增量數(shù)據(jù)拷貝方式，啟動時間加快，數(shù)分鐘內(nèi)完成。而開源產(chǎn)品集群規(guī)模上百節(jié)點時，單點故障恢復(fù)時間超過一小時。

數(shù)據(jù)讀寫速度更快：星環(huán)科技產(chǎn)品對讀寫線程資源的管理更嚴(yán)格、更精細，既保證集群穩(wěn)定性，又盡力充分使用資源，使讀寫性能更優(yōu)，并提供了Bulkload功能，批量寫入速度和穩(wěn)定性大幅提高。與開源產(chǎn)品相比，節(jié)省存儲資源20%，提升查詢速率2倍。

良好的SQL計算性能：星環(huán)科技引入了自主研發(fā)的分布式計算引擎，兼容開源ES的接口，同時很好的對接了SQL的生態(tài)。除了單點查詢之外，大幅提升了復(fù)雜聚合分析性能。語法上，星環(huán)科技的產(chǎn)品支持標(biāo)準(zhǔn)SQL，也支持SQL擴展搜索語義，以及Oracle、DB2等SQL方言，對數(shù)據(jù)庫用戶更友好，學(xué)習(xí)、遷移成本更低。

擴展功能：支持pdf/word/excel等常用格式文檔的存儲和搜索;提供中、維、藏、英、法、日、韓、德、西、葡等語言分詞器，方便用戶處理不同語言的文本;支持文章相似度匹配、關(guān)鍵字提取、摘要提取等自然語言處理功能;支持時空地理數(shù)據(jù)的存儲和分析;可配套使用星環(huán)科技安全軟件(Transwarp Guardian)，獲取優(yōu)質(zhì)的安全服務(wù)，包括：用戶認(rèn)證、用戶授權(quán)、安全審計、數(shù)據(jù)傳輸存儲加密等諸多功能;可配套使用星環(huán)科技管理軟件(Transwarp Manager)，獲取集群安裝、運維、監(jiān)控、管理方面的優(yōu)質(zhì)服務(wù)。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。