2021年3月24日，主題為《數據的世界，世界的數據》的星環(huán)科技2021春季新品發(fā)布會在星環(huán)上海總部舉行。會上，星環(huán)科技一站式數據開發(fā)與治理平臺TranswarpDataStudio(以下簡稱TDS)正式發(fā)布2.2版本，旨在通過數據的全生命周期管理能力，加速企業(yè)數字化建設進程。
星環(huán)科技在多年助力企業(yè)數字化轉型的實踐中發(fā)現，企業(yè)數字化建設發(fā)展過程中有兩個重要的方向，一個是底層數據類型、數據接入與計算方式要逐步多樣化，另一個則是數據應用能夠逐漸繁榮，從而實現數據和應用之間的正向反饋和相互促進迭代。這個過程中，根據對星環(huán)科技的行業(yè)客戶的大量觀察，雖然各個企業(yè)有不同的數字化發(fā)展的策略，但是總體上有遵循著階段化循序演進的規(guī)律，可以概括為數據統(tǒng)一化、數據資產化、數據業(yè)務化和數據生態(tài)化四個階段，而發(fā)展到每個階段企業(yè)都需要不同的數據管理能力來完成階段性建設目標。
在數據統(tǒng)一化階段，企業(yè)需要通過數據加載、同步、實時的數據接入、SQL開發(fā)以及任務調度管理等能力來構建數據倉庫或者數據湖;在數據資產化階段，企業(yè)需要構建血緣、標準、質量管理，以及數據資產目錄、模型管理等數據治理平臺，并能提供數據地圖的能力;在數據業(yè)務化階段，企業(yè)需要提供一套數據智能與分析的解決方案;在數據生態(tài)化階段，企業(yè)需要構建數據交易共享平臺，其中包括數據共享交換、對數據安全的保護、隱私計算還有聯邦學習等能力。如果能結合以上四個階段，構建企業(yè)大數據能力并建設所有系統(tǒng)，企業(yè)就完成了數據價值演進的全過程。
隨著企業(yè)的數據類型和數據應用的增加，大量的數據會積累起來，因此數據資產化的工作就非常有挑戰(zhàn)性。未來更好的將數據升級為資產，企業(yè)一般需要開展數據開發(fā)和數據治理工作，這是一個組織管理加技術落地的工作，需要在一體化的數據治理方法論的指導下來落實每個有效的數據的質量提升、標準落地和業(yè)務級價值梳理。為了更好的幫助我們的企業(yè)用戶能夠更好的落地數據治理工作，新發(fā)布的TDS2.2能夠實質性的幫助用戶提升效率。TDS是一個集開發(fā)與治理為一體的一站式工具平臺，不僅在產品上實現了較為完整的覆蓋，更是將星環(huán)數據治理咨詢團隊的行業(yè)經驗和方法論沉淀在工具中，此外還結合機器學習技術來輔助專業(yè)人員可以更快的將各種治理工作自動化，因此TDS可以大幅度提升企業(yè)數據開發(fā)和治理的效率，加速企業(yè)數字化轉型進程。
TDS提供了完整的數據開發(fā)、數據治理、數據資產管理、數據標簽與服務、數據共享與交易等一系列數據全生命周期的處理工具，與TDS1.x相比，新版本新增了兩個子產品，一個是數據質量管理工具Governor，用于管理數據從獲取到消亡每個階段里可能引發(fā)的數據質量問題;另一個是數據商城TranswarpForesight，它整合了TDS的數據服務開發(fā)工具Midgard和標簽開發(fā)工具StarViewer，為業(yè)務人員提供數據資產的檢索、下載、共享的能力，結合著數據血緣幫助數據使用者、開發(fā)者和管理者做整體協(xié)同，構建其數據運營能力。
除以上提到的四個工具之外，TDS的子產品還包括：面向數據庫SQL程序開發(fā)者的桌面集成開發(fā)環(huán)境Waterdrop、網頁版的團隊協(xié)作的SQL開發(fā)環(huán)境SQLBook、可視化的ETL開發(fā)工具Transporter、數據計算任務的調度平臺Workflow、數據可視化工具Pilot、數據API的開發(fā)與管理工具Midgard以及數據資產管理工具軟件Catalog。
值得關注的是，TDS不僅能夠支持基于星環(huán)平臺的大數據開發(fā)與治理，同時也可以管理各種關系數據庫和主流大數據平臺，用于企業(yè)級的數據治理和數據資產平臺的建設。
今天，星環(huán)科技一站式數據開發(fā)與治理平臺TDS，迎來了全新的2.2版本。經過多個版本的不斷迭代，TDS以功能更全面、性能更出色的姿態(tài)與大家見面，在TDS的助力之下，企業(yè)數據平臺的建設效率將會大幅度提升，業(yè)務用戶與數據資產的打通也將更加徹底，最終實現數據與業(yè)務的結合。新版本的TDS具備以下四個核心能力：
核心能力一：數據聯邦
TDS通過數據聯邦技術實現了數據的統(tǒng)一管理和服務，實現了三個統(tǒng)一：
第一、統(tǒng)一的數據門戶，數據商城TranswarpForesight整合各平臺數據產品做對外的數據共享與交換;
第二、統(tǒng)一的數據API服務能力，數據服務開發(fā)工具Midgard產品能夠通過直連數據庫的方式，將數據庫的表或字段數據直接發(fā)布為服務API，并提供高并發(fā)的查詢能力;
第三、統(tǒng)一的技術元數據，數據資產目錄Catalog通過數據庫直連獲取技術元數據，通過補充異構數據庫數據血緣，展現完整的數據地圖和血緣分析。
與此同時，基于Inceptor的聯邦計算能力，TDS可實現統(tǒng)一的SQL計算和統(tǒng)一的數據治理。InceptorSQL引擎能夠實現跨異構數據平臺的SQL計算，支持多種關系型數據庫、異構大數據平臺以及MPP數據庫。TDSSQL開發(fā)工具SQLBook可以充分利用Inceptor的聯邦計算能力，承擔企業(yè)統(tǒng)一數據開發(fā)入口的角色：開發(fā)者提交的SQL任務能夠通過Inceptor的聯邦計算能力來統(tǒng)一處理，無需維護多個異構數據平臺的開發(fā)環(huán)境和開發(fā)入口。
核心能力二：智能化數據治理能力
隨著當今ToB市場數據治理需求的高速增長，數據治理解決方案作為人力密集型項目的痛點也逐漸被放大。通過智能化手段來緩解甚至解決該痛點的趨勢也隨之到來。星環(huán)TDS能夠提供結合專家規(guī)則與機器學習的智能化數據治理能力。TDS首先自動識別數據資產，然后對識別到的數據資產進行自動分類，最后自動監(jiān)控數據資產動態(tài)，實現了對數據資產的智能編目;同時專業(yè)咨詢團隊構建的行業(yè)知識庫，通過智能算法自動提煉知識，形成行業(yè)智能模型，能夠向用戶智能的推薦數據質量規(guī)則、數據標準貫標，有效解決人力瓶頸;最后還支持智能發(fā)現敏感數據，保護數據資產的合規(guī)性。
核心能力三：優(yōu)秀的團隊協(xié)作能力
企業(yè)的大數據開發(fā)普遍缺少軟件工程的整體管控流程，隨著業(yè)務復雜性提高、開發(fā)團隊越來越多、代碼與模型版本混亂，導致后期維護成本越來越高，而星環(huán)TDS能夠幫助企業(yè)構建大數據智能化開發(fā)平臺，提供全程圖形化操作、知識規(guī)則庫、開發(fā)協(xié)同、安全管控以及版本管理能力，實現大數據全流程開發(fā)、測試、上下線的線上化，并完成全平臺的數據訂閱與跨平臺數據推送等數據中臺服務，構建數據應用的完整DevOps體系。
核心能力四：分布式架構的設計，最大可支持PB級別的數據平臺建設工作
TDS的調度工具Workflow利用分布式調度引擎，最大可支持百萬級別任務調度的生產需求;TDS的數據集成工具Transporter用ELT代替?zhèn)鹘y(tǒng)的ETL，充分利用了星環(huán)底層大數據平臺的計算能力，能夠避免傳統(tǒng)ETL工具本身的計算瓶頸;數據服務開發(fā)工具Midgard通過Hyperbase提供的高并發(fā)API，以及云操作系統(tǒng)TCOSIngress提供的高性能API網關，都可以達到單節(jié)點2萬QPS的優(yōu)秀性能表現;數據資產目錄Catalog基于分布式圖數據庫，支持百億級數據操作的存儲與分析。同時精確到字段級別的血緣分析能力，能夠實時感知和追蹤平臺內的數據變化。
目前，星環(huán)科技一站式數據開發(fā)與治理平臺TranswarpDatastudio(TDS)，通過數據的全生命周期管理、數據聯邦、智能化數據治理等能力，已經為多個大型企業(yè)客戶數字化轉型提供落地方案，降低了企業(yè)大數據開發(fā)的技術門檻，并提升了企業(yè)數據開發(fā)效率。未來，星環(huán)將繼續(xù)通過大數據核心技術為企業(yè)賦能，助力企業(yè)加速數字化轉型。
（免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
