科技云報道原創(chuàng)。
最近,又一個概念火了——向量數(shù)據(jù)庫。
隨著大模型帶來的應用需求提升,4月以來多家海外知名向量數(shù)據(jù)庫創(chuàng)業(yè)企業(yè)傳出融資喜訊。
4月28日,向量數(shù)據(jù)庫平臺Pinecone宣布獲得1億美元(約7億元)B輪融資;4月22日,向量數(shù)據(jù)庫平臺Weaviate宣布獲得5000萬美元(約3.5億元)B輪融資;4月6日Chroma獲1800萬美元種子輪融資;4月19日Qdrant獲750萬美元種子輪融資。
國內方面,星環(huán)科技、北交所云創(chuàng)數(shù)據(jù)等公司的股價連續(xù)異動,其中云創(chuàng)數(shù)據(jù)自底部以來股價已接近翻倍。
7月4日,騰訊云正式發(fā)布向量數(shù)據(jù)庫Tencent Cloud VectorDB,預計8月上線騰訊云官網(wǎng)。
一連串的市場動作,都展示了向量數(shù)據(jù)庫的爆紅。那么,什么是向量數(shù)據(jù)庫,到底有啥用?
什么是向量數(shù)據(jù)庫?
當你在網(wǎng)上看到一張壁紙,你想知道這是哪個國家的美景,卻不知道如何搜索;或者,在閱讀一篇文章時,你想深入了解這個話題,尋找更多的觀點和資料,卻不知道該如何精確描述。
這時,你需要的是一個能夠理解你的意圖,為你提供最相關的結果,讓你輕松找到你想要的信息的工具。
這就是向量數(shù)據(jù)庫(Vector Data Base),它就像一個超級大腦,幫助你解決這些問題。
所謂向量數(shù)據(jù)庫,是一種專門用于存儲、 管理、查詢、檢索向量的數(shù)據(jù)庫,可以把復雜的非結構化數(shù)據(jù)通過向量化,處理統(tǒng)一成多維空間里的坐標值。
目前,向量數(shù)據(jù)庫主要應用于人工智能、機器學習、數(shù)據(jù)挖掘等領域。
具體來看,向量數(shù)據(jù)庫被廣泛地用于大模型訓練、推理和知識庫補充等場景:
●支撐訓練階段海量數(shù)據(jù)的分類、去重和清洗,給大模型的訓練降本增效;
●通過新數(shù)據(jù)的帶入,幫助大模型提升處理新問題的能力,突破預訓練帶來的知識時間限制,避免大模型出現(xiàn)幻覺;
●提供一種私有數(shù)據(jù)連接大模型的方式,解決私有數(shù)據(jù)注入大模型帶來的安全和隱私問題,加速大模型在產業(yè)落地。
簡而言之,向量數(shù)據(jù)庫可以解決大模型預訓練成本高、沒有“長期記憶”、知識更新不足、提示詞工程復雜等問題,突破大模型在時間和空間上的限制,加速大模型落地行業(yè)場景。
向量數(shù)據(jù)庫的發(fā)展
在向量數(shù)據(jù)庫出現(xiàn)之前,大家普遍使用的是關系型數(shù)據(jù)庫,如MySQL、Oracle等,這些數(shù)據(jù)庫以表格的形式存儲數(shù)據(jù),適合存儲結構化數(shù)據(jù)。但對于非結構化數(shù)據(jù),如文本、圖像、音頻等,處理起來就相對困難。
此外,關系型數(shù)據(jù)庫在處理大規(guī)模數(shù)據(jù)時,性能會下降,不適合大數(shù)據(jù)處理。這就像是在一個擁擠的圖書館里找一本書,你知道它在哪個書架上,但是找到它還需要花費大量的時間。
而向量數(shù)據(jù)庫和傳統(tǒng)數(shù)據(jù)庫的不同點在于,向量數(shù)據(jù)庫處理的是各種AI應用產生的非結構化數(shù)據(jù),通過近似查進行模糊匹配,輸出的是概率上的提供相對最符合條件的答案,而非精確的標準答案。
舉例來說,傳統(tǒng)數(shù)據(jù)庫做圖片檢索可能是通過關鍵詞去搜索,向量數(shù)據(jù)庫是通過語義搜索圖片中相同或相近的向量并呈現(xiàn)結果。理論是向量之間的距離越接近,就說明語意越接近,效果也有最相似。
隨著時間的推移,向量數(shù)據(jù)庫開始在不同的領域和應用中不斷成長和進化。從20世紀90年代末到2000年初,美國國立衛(wèi)生研究院和斯坦福大學都開始使用向量數(shù)據(jù)庫。
2005年到2015年間,隨著基因研究的深入和加速,向量數(shù)據(jù)庫也在并行中增長,像UniVec 數(shù)據(jù)庫這樣的工具在2017年就已經被廣泛使用,它們在基因序列比對、基因組注釋等領域發(fā)揮了重要作用。
2017年和2019年之間,向量數(shù)據(jù)庫開始爆炸式增長,它被應用于自然語言處理、計算機視覺、推薦系統(tǒng)等領域。這些領域都需要處理大量和多樣化的數(shù)據(jù),并從中提取有價值的信息。
向量數(shù)據(jù)庫通過使用諸如余弦相似度、歐氏距離、Jaccard 相似度等度量方法,以及諸如倒排索引、局部敏感哈希、乘積量化等索引技術,實現(xiàn)了高效和準確的向量檢索。
目前各大廠商使用的推薦系統(tǒng)、以圖搜圖、哼唱搜歌、問答機器人等應用,其內核都是向量數(shù)據(jù)庫。
在今年,向量數(shù)據(jù)庫開始被用于與大語言模型結合的應用。
它為大語言模型提供了一個外部知識庫,使得大語言模型可以根據(jù)用戶的查詢,在向量數(shù)據(jù)庫中檢索相關的數(shù)據(jù),并根據(jù)數(shù)據(jù)的內容和語義來更新上下文,從而生成更相關和準確的文本。
這些大語言模型通常使用深度神經網(wǎng)絡來學習文本數(shù)據(jù)中隱含的規(guī)律和結構,并能夠生成流暢和連貫的文本。
向量數(shù)據(jù)庫 過使用諸如BERT、GPT等預訓練模型將文本轉換為向量,并使用諸如FAISS、Milvus等開源平臺來構建和管理向量數(shù)據(jù)庫。
總體而言,向量數(shù)據(jù)庫成功地解決了很多挑戰(zhàn),并為人們帶來了很多價值。
針對傳統(tǒng)關系型數(shù)據(jù)庫難以處理的大規(guī)模數(shù)據(jù)、低時延高并發(fā)檢索、模糊匹配等領域,向量數(shù)據(jù)庫通過數(shù)據(jù)的向量化來滿足特定需求,尤其適用于人工智能領域。
讓行業(yè)大模型具備know how能力
隨著AI大模型的崛起,向量數(shù)據(jù)庫的爆紅也就不難理解。
一是,在現(xiàn)實世界里,非結構化數(shù)據(jù)是“主流”。根據(jù)Gartner的數(shù)據(jù),非結構化數(shù)據(jù)占企業(yè)生成的新數(shù)據(jù)比例高達90%,并且增長速度比結構化數(shù)據(jù)快三倍。
而生成式AI大模型進一步帶來了非結構化數(shù)據(jù)的暴增,也相應推動了對向量數(shù)據(jù)庫的需求。
向量數(shù)據(jù)庫的一大優(yōu)勢在于,能夠通過機器學習方法處理和理解來自不同源的多種模態(tài)信息,如文本、圖像、音頻和視頻等。
二是,越來越多的大模型從業(yè)者認為,所有的行業(yè)都值得被AI重新做一遍。
因此,建立在不同行業(yè)的垂直大模型,成為大家的切入點,而向量數(shù)據(jù)庫是行業(yè)大模型具備“行業(yè)knowhow”能力的必經之路。
這背后是,AI大模型的產生,需要經歷大量反復的訓練和調試。雖然通用AI大模型能回答一般性問題,但在垂直領域服務中,其知識深度、準確度和時效性有限。
而利用向量數(shù)據(jù)庫結合大模型和自有知識資產,可以構建垂直領域的AI能力。向量數(shù)據(jù)庫存儲和處理向量數(shù)據(jù),提供高效的相似度搜索和檢索功能。
正如東北證券觀點,AI化的本質則是向量化,向量化計算成本高昂,海量的高維向量勢必需要專門的數(shù)據(jù)庫進行存儲和處理,向量數(shù)據(jù)庫應運而生。
向量數(shù)據(jù)庫在拓展AI全新應用場景的同時,也將對傳統(tǒng)數(shù)據(jù)庫產品形成替代,進而成為AI時代的Killer App。
目前,向量數(shù)據(jù)庫是一個亟待引爆的藍海市場。
據(jù)公開資料顯示,向量數(shù)據(jù)庫市場空間巨大,尚處于從0-1階段,預測到2030年,全球向量數(shù)據(jù)庫市場規(guī)模有望達到500億美元,國內向量數(shù)據(jù)庫市場規(guī)模有望超過600億人民幣。
未來隨著生成式AI大模型開發(fā)量和使用量的增長,向量數(shù)據(jù)庫的應用有望快速增長。
而國內外眾多玩家如傳統(tǒng)數(shù)據(jù)庫廠商、初創(chuàng)數(shù)據(jù)庫廠商、云廠商、跨界廠商等都已躍躍欲試,提前開始布局向量數(shù)據(jù)庫,做好了應對AI大模型時代的準備。
免責聲明:此文內容為第三方自媒體作者發(fā)布的觀察或評論性文章,所有文字和圖片版權歸作者所有,且僅代表作者個人觀點,與極客網(wǎng)無關。文章僅供讀者參考,并請自行核實相關內容。投訴郵箱:editor@fromgeek.com。
- 蜜度索驥:以跨模態(tài)檢索技術助力“企宣”向上生長
- 算力荒緩解,自主化智算還有必要嗎?
- 波司登千元鵝絨褲僅3克鵝絨,警惕被“國貨品牌”割韭菜
- 中國電車進入10萬級時代,2025年決生死,但日本車先頂不住了
- 中國存儲芯片大舉圍剿美日韓芯片,外媒確認在技術上進一步突破
- 谷歌成為手機市場的殺手,國產手機或被迫擁護國產操作系統(tǒng)
- 折疊屏2024的新東西、好東西、舊東西
- 董明珠與小米的二次戰(zhàn)爭
- 芯片不賣中國,美芯無處賣了,本來不要的市場偷偷地賣,后悔莫及
- 僅售999元 月底開售 閃極打響AI眼鏡量產發(fā)令槍
- 蘿卜快跑走紅、滴滴加碼,中國Robotaxi大戰(zhàn)升級
免責聲明:本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。