基于大模型優(yōu)秀的問答、總結和話術生成能力,主流聯(lián)絡中心紛紛接入大模型升級智能知識庫、智能工單、智能陪練等應用。

以智能填單為例,借助大模型能夠輕松從對話中提取出實體信息、判定對話意圖、識別情緒、生成溝通摘要等。通過簡單的Prompt,完成工單字段的提取任務更是輕而易舉。

然而在初期效果測試中,大模型獲取的工單填單結果對比客服的真實填寫結果準確率不足30%,且大模型的處理速度也達不到業(yè)務方提出2秒內返回結果的要求。

大模型并非傳統(tǒng)的NLP技術,無法依靠業(yè)務標注數(shù)據(jù)進行自主優(yōu)化,那么大模型的調用方在業(yè)務應用中,該如何進行使用效果優(yōu)化成為了現(xiàn)實考題。

現(xiàn)實考題:五大因素影響填單可用率

提不準

眾所周知,工單填寫對字段有著明確的格式要求,尤其是選項或統(tǒng)計類的字段,需要大模型嚴格按照格式輸出指定結果。

幻覺問題:

例如,若需要判斷客戶的注冊渠道,大模型必須嚴格返回“支付寶”三個字段。而現(xiàn)實情景中,大模型往往返回連篇累牘的描述,導致工單系統(tǒng)無法收到準確的結果。

此外大模型不僅“啰嗦”,還容易“胡編亂造”,返回的結果是經(jīng)過“理解”、“聯(lián)想”加工的,這在對容錯性有著嚴格要求的現(xiàn)實業(yè)務場景中是不能被接受的。

缺乏業(yè)務背景:

在真實業(yè)務場景中,客戶和坐席之間的對話內容往往無法清晰、明確地對照工單中所需記錄、填寫的信息標準發(fā)生。例如,坐席能夠根據(jù)消費者的模糊描述,“使用的是一款能夠進行AI畫臉的產品”精準匹配出對應的產品。而大模型則難以做出正確的判斷,無法勝任絕大多數(shù)的工單填寫任務。

缺乏判斷能力:

更大的挑戰(zhàn)是,在退訂業(yè)務等雙方存在復雜拉扯的對話場景中,大模型容易按照任意一方的“片面之詞”判定最終結果,而不是根據(jù)業(yè)務邏輯得出準確結論。例如,客戶申請退回三個月的費用金額,客服表示只能退回一個月。

如果客戶同意,那實際雙方達成一致的退回金額為一個月的費用,而非三個月。如果客戶表示不同意,則實際退回費用為0。如果大模型沒有“理解”這一判定標準,則最終退回的金額會在一個月或三個月中隨機生成。

填太慢

實際業(yè)務中,坐席的工作節(jié)奏非?？?需要在通話進行中,2秒內完成工單內容的填寫,通話結束后5秒內完成通話小結的填寫。如果大模型不能比坐席的填寫速度更快,那么大模型應用的意義與價值將大打折扣。

實時場景的時延問題:

坐席輔助場景要求低時延,而智能填單旨在自動幫助人工填寫工單,如果填單時間超過2秒,便基本失去了幫助坐席提率的可能。坐席不可能在對話過程中,等待大模型輸出結果后再詢問客戶下一個問題。但即使只調用一次大模型進行小結,平均時延也在5秒左右。

而通話會話小結的評價指標為:要素完備性、要素準確率、業(yè)務接受率。若對會話小結中的細分場景、業(yè)務細則、專有名詞等方面有更高的要求,便需要在通用格式的會話小結中再補充業(yè)務要素。這就需要多次調用大模型,智能小結的時延將會達到10秒左右。

連接調用不穩(wěn)定產生漏損:

大模型調用會有失敗的情況,就像有時會遇到偶發(fā)的不響應情況,這在C端應用中用戶尚可容忍,但是在企業(yè)服務應用中,尤其是嵌入核心作業(yè)流程的場景下,業(yè)務對于偶發(fā)的漏損情況則較為敏感,小結的漏損率會在5%左右。

四大路徑:巧妙解決準確率與時效性問題

作為領先的對話式AI解決方案提供商,中關村科金【會話洞察產研組】始終致力于打破技術應用瓶頸,為用戶帶來更加卓越、智能的體驗。經(jīng)過一年的研究和內部測試,我們有了一些新的解決方案,或許正是眾多企業(yè)苦苦找尋的答案。

考題一:大模型應用的準確率與延時如何改善?

路徑一:小模型對輸出結果進行驗證以解決幻覺問題

最初,大多技術專家通過JSON對大模型的輸出進行限制,以確保大模型每次輸出的結果都盡可能滿足業(yè)務要求,但仍存在一定概率的幻覺問題。為此,中關村科金另辟蹊徑,在大模型輸出結果后,疊加一層相似度判定模型,讓大模型的輸出結果對齊到預設的選項中。

在此基礎上,中關村科金還增加了對大模型輸出結果的各類格式轉化,以滿足將大模型輸出內容轉化為工單所需的數(shù)值、百分比、日期、時間等各類字段類型的需求。

路徑二:讓運營人員便捷地將業(yè)務背景“錄入”大模型

中關村科金利用不同行業(yè)的客戶數(shù)據(jù),對Prompt進行了針對性的優(yōu)化,并在自研的模型上進行了微調,以確保大模型在不同行業(yè)、不同場景中,擁有通用的“領域知識”。與此同時,我們還通過對常見的智能填單場景進行抽象,讓用戶可以便捷地輸入企業(yè)專屬知識。通過將運營人員輸入的信息與經(jīng)過驗證的Prompt進行拼接后,大模型的數(shù)據(jù)準確率最高提升到了95%以上。

在復雜的對話場景中,通過對每一輪的分析結果進行修正,大模型不僅能夠從對話中區(qū)分出渠道,還能夠準確判斷出前述舉例中,最終需要退還給客戶的正確金額。此類需要一定邏輯推理的場景,大模型智能填單的準確率也能穩(wěn)定在85%。

此外,借助預設的字段,不僅能夠準確判定返回退款的金額,還能夠根據(jù)實際對話內容確定返回退款的比例、退回多少個月的費用等,覆蓋對話總結、業(yè)務辦理情況收集、用戶反饋問題收集、用戶需求收集、用戶信息收集5大類型的智能填單需求。

考題二:大模型應用時效性怎么保障?

路徑一:分布式分析實現(xiàn)“搶跑”

面對通話結束后才填寫的會話小結,中關村科金進行分步拆解,在通話開始后先執(zhí)行不依賴全部通話內容分析的任務,每進行幾輪對話,就進行一次分析,從而將分析拆解到對話進行中“悄悄”完成。通話結束后,只需執(zhí)行剩余需要依賴全部通話內容的分析任務,從而將會話小結的智能填單時間從10秒縮減到了平均3秒內。

路徑二:更小的領域大模型帶來更快的速度

在時效性要求更高的工單場景,中關村科金使用了自研的得助大模型,針對電銷、客服等更聚焦的場景訓練的領域大模型,實現(xiàn)了更小的參數(shù)、更高的準確率。同時,由于訓練時已具備了對領域的通用知識,無需多次調用大模型完成業(yè)務錄入,便可實現(xiàn)1~2秒內即可穩(wěn)定返回結果的應用成效。

智能助力:得助智能填單降本增效顯著

目前,中關村科金智能填單系統(tǒng)已正式上線得助智能聯(lián)絡中心,并向廣大客戶開放使用,幫助客戶提升坐席的填單效率,并更詳細的記錄通話中的信息。

在多個項目應用中,得助智能填單都取得了預期效果,在幫助運營人員提升工作效率、節(jié)省企業(yè)運營成本等方面展現(xiàn)出明顯優(yōu)勢。

顯著提高會話工單的準確率

由于客服日常的工作強度高,尤其是在線坐席常常需要同時處理多通對話,難免出現(xiàn)信息錯填、漏填的情況。而得助智能填單不僅能夠幫助坐席減輕工作負擔,還能夠對填寫有誤的地方進行提醒、矯正。

幫助運營人員獲取更豐富的信息

過往為了不給客服增加不必要的負擔,會話小結字段只要求客服填寫關鍵的幾項信息,坐席填寫的內容也不夠詳細。使用得助智能填單后,系統(tǒng)可以幫助運營人員更全面地收集信息、更完整地記錄信息。

節(jié)省出海業(yè)務的運營成本

對于出?？蛻舳?大模型具備多語種理解和翻譯能力,客戶使用智能小結功能對英文郵件進行字段提取,不僅準確率高達93%以上,還能大幅節(jié)省人工翻譯成本。

大模型智能填單作為一種新興的技術應用,未來隨著應用邊界不斷拓展,將進一步改變企業(yè)的運營方式和效率。而中關村科金一直堅持探索前沿人工智能技術與千行百業(yè)應用場景的落地融合,力求打破技術應用瓶頸,為客戶提供最優(yōu)質、最智能的解決方案。

隨著技術逐步成熟和實踐不斷積累,中關村科金將持續(xù)優(yōu)化和完善得助智能填單系統(tǒng),以滿足不同行業(yè)、不同場景下的多樣化需求,為千行百業(yè)的數(shù)字化轉型貢獻更多力量。

（免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）