12月19日消息，12月19日，百川智能宣布開(kāi)放基于搜索增強(qiáng)的Baichuan2-Turbo系列API，包含Baichuan2-Turbo-192K 及Baichuan2-Turbo。在支持192K超長(zhǎng)上下文窗口的基礎(chǔ)上，還增加了搜索增強(qiáng)知識(shí)庫(kù)的能力。

即日起，API用戶(hù)可上傳文本資料來(lái)創(chuàng)建自身專(zhuān)屬知識(shí)庫(kù)，從而根據(jù)自身業(yè)務(wù)需求打造更完整、高效的智能解決方案。百川智能在引領(lǐng)國(guó)內(nèi)大模型開(kāi)源生態(tài)之后，再次引領(lǐng)行業(yè)開(kāi)啟了企業(yè)定制化的新生態(tài)。

此外，百川智能還升級(jí)了官網(wǎng)模型體驗(yàn)，目前其官網(wǎng)大模型已支持PDF、Word等多種文本上傳以及URL網(wǎng)址輸入，用戶(hù)可通過(guò)官網(wǎng)入口體驗(yàn)搜索增強(qiáng)和長(zhǎng)窗口加持后的通用智能。

百川智能認(rèn)為，搜索增強(qiáng)是大模型落地應(yīng)用的關(guān)鍵，能夠有效解決幻覺(jué)、時(shí)效性差、專(zhuān)業(yè)領(lǐng)域知識(shí)不足等阻礙大模型應(yīng)用的核心問(wèn)題。一方面，搜索增強(qiáng)技術(shù)能有效提升模型性能，并且使大模型能“外掛硬盤(pán)”，實(shí)現(xiàn)互聯(lián)網(wǎng)實(shí)時(shí)信息+企業(yè)完整知識(shí)庫(kù)的“全知”；另一方面，搜索增強(qiáng)技術(shù)還能讓大模型精準(zhǔn)理解用戶(hù)意圖，在互聯(lián)網(wǎng)和專(zhuān)業(yè)/企業(yè)知識(shí)庫(kù)海量的文檔中找到與用戶(hù)意圖最相關(guān)的知識(shí)，然后將足夠多的知識(shí)加載到上下文窗口，借助長(zhǎng)窗口模型對(duì)搜索結(jié)果做進(jìn)一步的總結(jié)和提煉，更充分地發(fā)揮上下文窗口能力，幫助模型生成最優(yōu)結(jié)果，從而實(shí)現(xiàn)各技術(shù)模塊之間的聯(lián)動(dòng)，形成一個(gè)閉環(huán)的強(qiáng)大能力網(wǎng)絡(luò)。

大模型+搜索構(gòu)成完整技術(shù)棧，實(shí)現(xiàn)了大模型和領(lǐng)域知識(shí)、全網(wǎng)知識(shí)的全新鏈接

盡管大模型是劃時(shí)代的技術(shù)突破，但現(xiàn)階段大模型并不完美，幻覺(jué)、時(shí)效性差、缺乏專(zhuān)業(yè)領(lǐng)域知識(shí)等問(wèn)題，是其落地千行百業(yè)必須要面對(duì)的挑戰(zhàn)。

對(duì)此，業(yè)界探索了多種解決方案，包括擴(kuò)大參數(shù)規(guī)模、擴(kuò)展上下文窗口長(zhǎng)度、為大模型接入外部數(shù)據(jù)庫(kù)，使用特定數(shù)據(jù)訓(xùn)練或微調(diào)垂直行業(yè)大模型等。這些路線(xiàn)各有優(yōu)勢(shì)，但也都存在自身的局限。

例如，持續(xù)擴(kuò)大模型參數(shù)雖然能夠不斷提升模型智能，但是需要海量數(shù)據(jù)和算力的支撐，巨額的成本對(duì)中小企業(yè)非常不友好，而且完全依靠預(yù)訓(xùn)練也很難解決模型的幻覺(jué)、時(shí)效性等問(wèn)題。

業(yè)界亟需找到一條集諸多優(yōu)勢(shì)于一體的路徑，將大模型的智能切實(shí)轉(zhuǎn)化為產(chǎn)業(yè)價(jià)值。在百川智能的技術(shù)思考中，大模型+搜索增強(qiáng)是大模型時(shí)代的新計(jì)算機(jī)，大模型類(lèi)似于計(jì)算機(jī)的CPU，通過(guò)預(yù)訓(xùn)練將知識(shí)內(nèi)化在模型內(nèi)部，然后根據(jù)用戶(hù)的Prompt生成結(jié)果；上下文窗口可以看做計(jì)算機(jī)的內(nèi)存，存儲(chǔ)了當(dāng)下正在處理的文本；互聯(lián)網(wǎng)實(shí)時(shí)信息與企業(yè)完整知識(shí)庫(kù)共同構(gòu)成了大模型時(shí)代的硬盤(pán)。

基于這一技術(shù)理念，百川智能以Baichuan2大模型為核心，將搜索增強(qiáng)技術(shù)與大模型深度融合，結(jié)合此前推出的超長(zhǎng)上下文窗口，構(gòu)建了一套大模型+搜索增強(qiáng)的完整技術(shù)棧，實(shí)現(xiàn)了大模型和領(lǐng)域知識(shí)、全網(wǎng)知識(shí)的全新鏈接。

用行業(yè)大模型解決企業(yè)應(yīng)用不是最佳方法，大模型+搜索增強(qiáng)可以解決99%企業(yè)知識(shí)庫(kù)的定制化需求

企業(yè)自有數(shù)據(jù)/知識(shí)庫(kù)，是企業(yè)的核心競(jìng)爭(zhēng)力。大模型如果不能結(jié)合企業(yè)自有數(shù)據(jù)/知識(shí)庫(kù)，對(duì)企業(yè)沒(méi)有價(jià)值。對(duì)此，業(yè)界的傳統(tǒng)做法是做行業(yè)大模型，通過(guò)預(yù)訓(xùn)練或者微調(diào)訓(xùn)練大模型。

但是基于特定數(shù)據(jù)預(yù)訓(xùn)練或微調(diào)垂直行業(yè)大模型需要高密度的技術(shù)人才團(tuán)隊(duì)、大量的算力支持，并且每更新一次數(shù)據(jù)都要重新訓(xùn)練或微調(diào)模型，不僅成本高昂、靈活性差，更關(guān)鍵的是不能保證訓(xùn)練的可靠性和應(yīng)用的穩(wěn)定性，多次訓(xùn)練后仍會(huì)出現(xiàn)問(wèn)題。此外，大部分企業(yè)數(shù)據(jù)，都是結(jié)構(gòu)化的數(shù)據(jù)，也不適合SFT，模型無(wú)法準(zhǔn)確記憶結(jié)構(gòu)化信息，會(huì)帶來(lái)幻覺(jué)。

為解決傳統(tǒng)方法的缺陷，業(yè)內(nèi)探索了長(zhǎng)上下文窗口和向量數(shù)據(jù)庫(kù)兩種較好的路徑。在此基礎(chǔ)上，百川智能更進(jìn)一步，不僅將向量數(shù)據(jù)庫(kù)升級(jí)為搜索增強(qiáng)知識(shí)庫(kù)，極大提升了大模型獲取外部知識(shí)的能力，并且把搜索增強(qiáng)知識(shí)庫(kù)和超長(zhǎng)上下文窗口結(jié)合，讓模型可以連接全部企業(yè)知識(shí)庫(kù)以及全網(wǎng)信息，能夠替代絕大部分的企業(yè)個(gè)性化微調(diào)，解決99%企業(yè)知識(shí)庫(kù)的定制化需求，不僅為企業(yè)節(jié)省巨大成本，還能夠更好地實(shí)現(xiàn)垂直領(lǐng)域知識(shí)的沉淀，讓專(zhuān)有知識(shí)庫(kù)能夠真正成為企業(yè)不斷增值的資產(chǎn)。

百川智能構(gòu)建的大模型+搜索增強(qiáng)解決方案解決掉幻覺(jué)和時(shí)效性問(wèn)題后，有效提升了大模型的可用性，拓展了大模型能夠覆蓋的領(lǐng)域，例如金融、政務(wù)、司法、教育等行業(yè)的智能客服、知識(shí)問(wèn)答、合規(guī)風(fēng)控、營(yíng)銷(xiāo)顧問(wèn)等場(chǎng)景。

而搜索增強(qiáng)相比微調(diào)，在提升可用性的同時(shí)還顯著降低了應(yīng)用成本，讓更多中小企業(yè)也能夠享受到大模型帶來(lái)的變革，特別是在電商行業(yè)可幫助廣大店家提升營(yíng)銷(xiāo)效率乃至轉(zhuǎn)化率。此外，這種應(yīng)用方式還可以幫助提升企業(yè)各種場(chǎng)景應(yīng)用創(chuàng)新的效率，加速大模型在千行百業(yè)創(chuàng)造實(shí)際價(jià)值。

突破搜索增強(qiáng)技術(shù)多個(gè)難點(diǎn)，稀疏檢索與向量檢索并行召回率提升至 95%

雖然搜索增強(qiáng)能夠有效解決大模型落地應(yīng)用的諸多問(wèn)題，但在技術(shù)層面構(gòu)建這樣一套系統(tǒng)卻并不容易，需要深厚的搜索和模型研發(fā)經(jīng)驗(yàn)來(lái)發(fā)現(xiàn)并解決各個(gè)環(huán)節(jié)的技術(shù)難點(diǎn)與挑戰(zhàn)。

在大語(yǔ)言模型時(shí)代，用戶(hù)的需求表達(dá)不僅口語(yǔ)化、多元化，并且還與上下文強(qiáng)相關(guān)，因此用戶(hù)需求（Prompt）與搜索的對(duì)齊成為了大模型獲取外部知識(shí)過(guò)程中最為核心的問(wèn)題。

為了更精準(zhǔn)地理解用戶(hù)意圖，百川智能使用自研大語(yǔ)言模型對(duì)用戶(hù)意圖理解進(jìn)行微調(diào)，能夠?qū)⒂脩?hù)連續(xù)多輪、口語(yǔ)化的Prompt信息轉(zhuǎn)換為更符合傳統(tǒng)搜索引擎理解的關(guān)鍵詞或語(yǔ)義結(jié)構(gòu)。

此外，百川智能還參考Meta的CoVe（Chain-of-Verification Reduces Hallucination in Large Language Models）技術(shù)，將真實(shí)場(chǎng)景的用戶(hù)復(fù)雜問(wèn)題拆分成多個(gè)獨(dú)立可并行檢索的子結(jié)構(gòu)問(wèn)題，從而讓大模型可以針對(duì)每個(gè)子問(wèn)題進(jìn)行定向的知識(shí)庫(kù)搜索，提供更加準(zhǔn)確和詳盡的答案。

同時(shí)通過(guò)自研的TSF(Think Step-Further)技術(shù)，百川智能的知識(shí)庫(kù)可以推斷出用戶(hù)輸入背后深層的問(wèn)題，更精準(zhǔn)的理解用戶(hù)的意圖，進(jìn)而引導(dǎo)模型回答出更有價(jià)值的答案，為用戶(hù)提供全面和滿(mǎn)意的輸出結(jié)果。

在精確理解用戶(hù)需求的基礎(chǔ)上，想要進(jìn)一步提升知識(shí)獲取的效率和準(zhǔn)確性，還需要借助向量模型解決用戶(hù)需求和知識(shí)庫(kù)的語(yǔ)義匹配問(wèn)題。為實(shí)現(xiàn)更好的向量檢索效果，百川智能自研的向量模型使用了超過(guò) 1.5T token 的高質(zhì)量中文數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，通過(guò)自研的損失函數(shù)解決了對(duì)比學(xué)習(xí)對(duì)于 batchsize 的依賴(lài)，在C-MTEB評(píng)測(cè)集 6 個(gè)任務(wù)（分類(lèi)、聚類(lèi)、文本推理、排序、檢索、文本相似度） 中的 5 個(gè)任務(wù)上都取得了效果的大幅領(lǐng)先，綜合分?jǐn)?shù)登上榜首。

雖然當(dāng)下構(gòu)建大模型知識(shí)庫(kù)的主流方法是向量檢索，但是向量模型的效果過(guò)于依賴(lài)訓(xùn)練數(shù)據(jù)的覆蓋，在訓(xùn)練數(shù)據(jù)未覆蓋的領(lǐng)域泛化能力會(huì)有明顯折扣，并且用戶(hù) prompt 和知識(shí)庫(kù)中文檔長(zhǎng)度的差距也給向量檢索帶來(lái)了很大挑戰(zhàn)。

對(duì)此，百川智能在向量檢索的基礎(chǔ)上融合了稀疏檢索和 rerank模型。通過(guò)稀疏檢索與向量檢索并行的混合檢索方式，將目標(biāo)文檔的召回率提升到了 95%，大幅領(lǐng)先于市面上絕大多數(shù)開(kāi)源向量模型的80%召回率。

不僅如此，對(duì)于大模型在回答過(guò)程中由于引用資料不準(zhǔn)確以及與大模型不匹配，導(dǎo)致模型的“幻覺(jué)”加重的現(xiàn)象。百川智能還在通用RAG（檢索增強(qiáng)生成）的技術(shù)基礎(chǔ)上首創(chuàng)了Self-Critique大模型自省技術(shù)，該技術(shù)能夠讓大模型基于Prompt對(duì)檢索回來(lái)的內(nèi)容從相關(guān)性、可用性等角度進(jìn)行自省，篩選出最優(yōu)質(zhì)、最匹配的候選內(nèi)容，有效提升材料的知識(shí)密度和廣度，并降低檢索結(jié)果中的知識(shí)噪聲。

5000萬(wàn)tokens數(shù)據(jù)集測(cè)試回答精度95%，長(zhǎng)窗口+搜索實(shí)現(xiàn)“真·大海撈針”

長(zhǎng)上下文窗口雖然可以接收更長(zhǎng)的文本信息，但擴(kuò)展上下文窗口長(zhǎng)度會(huì)影響模型性能，在當(dāng)前技術(shù)下存在上限。并且長(zhǎng)窗口每次回答問(wèn)題都要將文檔全部重讀一遍，推理效率低、成本高。

百川智能通過(guò)長(zhǎng)窗口+搜索增強(qiáng)的方式，在192K長(zhǎng)上下文窗口的基礎(chǔ)上，將大模型能夠獲取的原本文本規(guī)模提升了兩個(gè)數(shù)量級(jí)，達(dá)到5000萬(wàn)tokens。通過(guò)搜索增強(qiáng)，模型可以先根據(jù)用戶(hù)的Prompt在海量的文檔中檢索出最相關(guān)的內(nèi)容，再將這些文檔與Prompt一起放到長(zhǎng)窗口中，有效節(jié)省了推理費(fèi)用和時(shí)間成本。

“大海撈針”測(cè)試（Needle in the Heystack）是由海外知名AI創(chuàng)業(yè)者兼開(kāi)發(fā)者 Greg Kamradt 設(shè)計(jì)的，業(yè)內(nèi)公認(rèn)最權(quán)威的大模型長(zhǎng)文本準(zhǔn)確度測(cè)試方法。

對(duì)于192k token以?xún)?nèi)的請(qǐng)求，百川智能可以實(shí)現(xiàn)100%回答精度。

而對(duì)于192k token以上的文檔數(shù)據(jù)，百川智能結(jié)合搜索系統(tǒng)，將測(cè)試集上下文長(zhǎng)度擴(kuò)展到 5000w tokens，分別評(píng)測(cè)了純向量檢索和稀疏檢索+向量檢索的檢索的效果。測(cè)試結(jié)果顯示，稀疏檢索+向量檢索的方式可以實(shí)現(xiàn)95%的回答精度，即使在 5000萬(wàn)tokens的數(shù)據(jù)集中也可以做到接近全域滿(mǎn)分，而單純的向量檢索只能實(shí)現(xiàn) 80%的回答精度。

本次測(cè)試，百川智能使用中文場(chǎng)景，實(shí)驗(yàn)配置如下：

不僅如此，百川智能搜索增強(qiáng)數(shù)據(jù)庫(kù)的表現(xiàn)也十分優(yōu)秀，在博金大模型挑戰(zhàn)賽-金融數(shù)據(jù)集（文檔理解部分）、MultiFieldQA-zh和DuReader三個(gè)行業(yè)主流知識(shí)庫(kù)測(cè)試集上的得分均領(lǐng)先GPT-3.5、GPT-4等行業(yè)頭部模型。

據(jù)了解，目前多個(gè)行業(yè)的頭部企業(yè)已與百川智能達(dá)成合作，同時(shí)，基于搜索增強(qiáng)的Baichuan2-Turbo系列API原生支持昇騰AI基礎(chǔ)軟硬件平臺(tái)。

百川智能未來(lái)也將持續(xù)聯(lián)合華為在技術(shù)層面深度合作，并融合百川智能的長(zhǎng)上下文窗口和搜索增強(qiáng)知識(shí)庫(kù)能力為客戶(hù)提供多樣化智能化解決方案。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。