12月7日，國內(nèi)人工智能行業(yè)準(zhǔn)獨(dú)角獸“實(shí)在智能”2022冬季新品發(fā)布會重磅登場：“蝶變·新番”“帶來一場震撼行業(yè)的RPA發(fā)布會！打破傳統(tǒng)，變革模式。本次發(fā)布會從功能和體驗(yàn)兩個(gè)維度帶來了實(shí)在的“科技與狠活”，一言以蔽之：“一款真正人人可用的RPA。

實(shí)在智能CEO孫林君、產(chǎn)品負(fù)責(zé)人周春照、算法負(fù)責(zé)人歐陽小剛發(fā)布新產(chǎn)品和新技術(shù)

創(chuàng)業(yè)四年，實(shí)在智能始終秉持“AI賦能商業(yè)”的初心，堅(jiān)定相信人機(jī)協(xié)同及超自動(dòng)化時(shí)代的美好未來。凡事必作于細(xì)，也必成于實(shí)，致力于不斷突破傳統(tǒng)RPA的天花板，降低大眾人群上手?jǐn)?shù)字化工具的門檻，提升用戶體驗(yàn)。

新模式：沉浸式搭建超自動(dòng)化流程的IPA模式

新技術(shù)：智能屏幕語義理解技術(shù)（ISSUT）

沉浸式搭建超自動(dòng)化流程的IPA模式，徹底打破RPA軟件應(yīng)用門檻，開啟RPA“可視化窗口”時(shí)代：

相信大家正在用手機(jī)閱讀這篇文章，那么不知您是否還記得2007年蘋果公司的iPhone首次發(fā)布會。觸屏手機(jī)的發(fā)明徹底改變了手機(jī)和消費(fèi)電子產(chǎn)品行業(yè)，大幅降低手機(jī)的使用門檻，讓手機(jī)全面普及，推動(dòng)了移動(dòng)互聯(lián)網(wǎng)時(shí)代的爆發(fā)。這是一個(gè)用技術(shù)顛覆行業(yè)，并讓全社會受益的經(jīng)典案例。

沉浸式搭建超自動(dòng)化流程的IPA模式，由“專家模式”邁向“小白模式”

傳統(tǒng)RPA軟件，其實(shí)是一種“專家模式”。即，用戶如果想配置自動(dòng)化操作，必須要先學(xué)會如何使用RPA軟件，進(jìn)而才能在RPA軟件與業(yè)務(wù)軟件之間不斷切換，逐步以“拖拉拽”或“寫代碼”的方式，完成自動(dòng)化流程配置。

而實(shí)在RPA的IPA模式，則完全不同，簡言之這是一種“小白模式”。用戶不需要額外學(xué)習(xí)使用實(shí)在RPA，也完全不需要“拖拉拽”或“寫代碼”，按照正常流程直接操作業(yè)務(wù)軟件即可。

每當(dāng)鼠標(biāo)懸停，實(shí)在RPA會自動(dòng)推薦（并可在線學(xué)習(xí)優(yōu)化推薦）此處可以/可能進(jìn)行的自動(dòng)化操作。

每當(dāng)鼠標(biāo)點(diǎn)擊，該步操作自動(dòng)轉(zhuǎn)為自動(dòng)化流程中的一步。由此迭代，任何新手都可以迅速搭建自己的數(shù)字員工。

傳統(tǒng)RPA“專家模式” vs 實(shí)在RPA“IPA模式/小白模式”

實(shí)在RPA的IPA模式，類似觸屏手機(jī)的顛覆式創(chuàng)新，徹底推平了橫亙在用戶面前，導(dǎo)致傳統(tǒng)RPA學(xué)習(xí)成本大、使用門檻高的三座大山——“拾取、元素和變量”，帶來了真正的人人可用，實(shí)現(xiàn)“打開就能用、入門就上手”。

不妨來聽聽行業(yè)專家、專業(yè)用戶提前嘗鮮體驗(yàn)的反饋集錦：

震撼一：沉浸式的超自動(dòng)化體驗(yàn)，識別一切，操作一切

· 不再需要傳統(tǒng)RPA軟件的“流程畫布”，把“更大，更寬，更全面”的電腦屏幕留給用戶。

· 不再需要傳統(tǒng)RPA軟件的“拖拉拽”，鼠標(biāo)懸停+鼠標(biāo)點(diǎn)擊，即可完成自動(dòng)化流程配置。

· 不再需要傳統(tǒng)RPA軟件與應(yīng)用軟件之間所必須的頻繁切換，基于對所有屏幕元素的識別和理解，以及頂部“靈動(dòng)島” + 側(cè)邊“流程窗”的輕盈交互，實(shí)現(xiàn)在超自動(dòng)化的元宇宙中快速打造數(shù)字員工。

震撼二：所見即所得的操作，一看就會，一用就對

無需學(xué)習(xí)：不用理解和記憶“組件/元素/變量”，不用“拖拉拽”，不用“寫代碼”。

無需思考：

· 鼠標(biāo)懸停，馬上彈出可能的自動(dòng)化操作推薦列表

· 鼠標(biāo)框選任意圖像區(qū)域后，馬上彈出可能的AI能力推薦列表（文字識別等）

· 支持基于場景和動(dòng)作的在線學(xué)習(xí)，用得越多越“聰明”，推薦越準(zhǔn)。

無需轉(zhuǎn)化：鼠標(biāo)點(diǎn)擊，馬上在“流程窗”中自動(dòng)生成自動(dòng)化流程。

自動(dòng)理解上千種圖標(biāo)含義復(fù)雜頁面結(jié)構(gòu)并預(yù)測推薦自動(dòng)化操作

為了更清晰、更全面地展示IPA模式的強(qiáng)大功能，這里用日常工作中最常見、使用頻率最高的Excel數(shù)據(jù)處理做個(gè)簡單演示。任何直接對數(shù)據(jù)表的操作，不僅包括，插入行或列，寫入單元格或區(qū)域內(nèi)容，自動(dòng)填充、數(shù)據(jù)篩選、復(fù)制行列、插入新的sheet、重命名sheet、表格里內(nèi)容的查找替換等。

甚至是，復(fù)雜的數(shù)據(jù)透視操作。都會在右側(cè)“流程窗”中自動(dòng)生成自動(dòng)化流程，并自動(dòng)忽略無效步驟，且可以直接運(yùn)行。這種所見即所得的數(shù)字員工搭建方式，大幅提升數(shù)據(jù)采集和處理效率，降低了數(shù)據(jù)自動(dòng)化處理門檻。

對Excel的人工操作自動(dòng)生成簡潔可執(zhí)行的自動(dòng)化流程。基于以上模式，以某客戶真實(shí)場景的Excel自動(dòng)化操作需求為例：

使用傳統(tǒng)RPA：相對資深的RPA開發(fā)工程師需花4個(gè)多小時(shí)，通過50多個(gè)組件才能完成搭建。

使用實(shí)在RPA的IPA模式：無需RPA開發(fā)工程師，業(yè)務(wù)人員自身只需短短6分鐘左右即可完成，“流程窗”中生成的動(dòng)作只有32個(gè)，前所未有地提升了工作效率。同時(shí)，IPA模式還支持對復(fù)雜頁面數(shù)據(jù)結(jié)構(gòu)的自動(dòng)分析，實(shí)現(xiàn)一鍵采集整個(gè)表格數(shù)據(jù)。

二、創(chuàng)新技術(shù)：國產(chǎn)自研，行業(yè)首創(chuàng)的智能屏幕語義理解技術(shù)

本次發(fā)布會上，實(shí)在智能同時(shí)重磅發(fā)布了IPA模式背后的全自研創(chuàng)新技術(shù)——智能屏幕語義理解技術(shù)（ISSUT：Intelligence Screen Semantics Understanding Techonology）。

產(chǎn)品是表，技術(shù)是里。

用心優(yōu)化，用AI改變。

看到這里，相信大家已經(jīng)領(lǐng)略了IPA模式的神奇和驚艷，下面我們就抽絲剝繭、正式拆解一下IPA模式背后“變戲法的帽子”：

Action 1：識別屏幕

1、融合拾取3.0技術(shù)：使得“元素”皆可拾取

RPA行業(yè)中提到的“元素”，指的是屏幕上的圖標(biāo)、文字或區(qū)域。RPA要首先識別它們，然后才能自動(dòng)地點(diǎn)擊和操作它們。

基于CV技術(shù)的融合拾取，支持無差別識別各類軟件

實(shí)在智能在2022年3月31日“AI你所愛 新益求新”發(fā)布會中全行業(yè)首發(fā)了“融合拾取3.0”技術(shù)，高效精準(zhǔn)地解決了復(fù)雜元素的識別和操作。

融合拾取技術(shù)持續(xù)快速迭代，精度速度大幅提升

在前期工作基礎(chǔ)上，本次發(fā)布的ISSUT技術(shù)，解決了“何為元素、能否識別”等問題，只需鼠標(biāo)輕輕一移、輕輕一點(diǎn)就能完成拾取元素這個(gè)動(dòng)作。這是實(shí)現(xiàn)智能屏幕語義理解的第一步，也是實(shí)現(xiàn)RPA真正人人可用的第一步！

2、動(dòng)態(tài)元素匹配技術(shù)：使得“元素”一鍵適配

RPA行業(yè)中提到的“元素”，指的是屏幕上的圖標(biāo)、文字或區(qū)域。RPA要首先識別它們，然后才能自動(dòng)地點(diǎn)擊和操作它們。當(dāng)文字內(nèi)容或圖標(biāo)外觀發(fā)生了改變時(shí)， RPA機(jī)器人有可能會找不到之前的元素。這時(shí)就是動(dòng)態(tài)元素匹配技術(shù)的用武之地：

· 借助AI算法，輕松處理元素變化情況

· 一次識別，永久適配

Action 2：理解屏幕

1、頁面結(jié)構(gòu)分析技術(shù)：既能檢得更小，也能看得更大

舉個(gè)栗子：

當(dāng)我們使用聊天軟件的時(shí)候，人可以輕松理解軟件界面（電腦屏幕），知道哪里是消息列表，哪里是對話輸入框……那么問題來了，RPA機(jī)器人如何準(zhǔn)確、快速、更好地模擬人工操作呢？

為此，我們引入了頁面結(jié)構(gòu)分析技術(shù)，使得實(shí)在RPA在“認(rèn)識屏幕”之外，更可以“理解屏幕”，并可自適應(yīng)頁面拉伸/移動(dòng)/及文字填充/位移等各種變化情況。其中包含多項(xiàng)獨(dú)創(chuàng)技術(shù)亮點(diǎn)：

· 頁面圖神經(jīng)網(wǎng)絡(luò)分析

· 動(dòng)態(tài)縮放自適應(yīng)

· 區(qū)域內(nèi)容填充識別

通過頁面結(jié)構(gòu)分析技術(shù)智能理解聊天軟件界面

2、屏幕語義抽取技術(shù)：隔屏取物，懂你所見

這項(xiàng)技術(shù)，使得IPA模式真正像人一樣理解屏幕的每一個(gè)部分，將我們的辦公直覺投射到屏幕上，實(shí)現(xiàn)真正的所見即所得：

在VR中，我們可以隔空取物；在實(shí)在RPA的IPA模式中，我們可以隔“屏”取物——即，鼠標(biāo)的每一次滑動(dòng)，背后的AI算法都將瞬間完成一次計(jì)算，分析出屏幕中元素和區(qū)域的含義并且推薦相應(yīng)的自動(dòng)化操作：

· 當(dāng)鼠標(biāo)滑過一個(gè)瀏覽器圖標(biāo)，AI就知道它能用來打開網(wǎng)頁和搜索新聞；

· 當(dāng)鼠標(biāo)滑過一個(gè)對話框，AI就判斷可以輸入文字并發(fā)送消息；

· 當(dāng)鼠標(biāo)框選一個(gè)包含各種文字的區(qū)域，AI就知道可以進(jìn)行文字識別及抽取。

Action 3：操作預(yù)測：

1、多模態(tài)意圖預(yù)測從“頭禿想想想”到“自如點(diǎn)點(diǎn)點(diǎn)”

對于傳統(tǒng)RPA（“專家模式”）RPA開發(fā)工程師往往需要從一堆的組件中找到一個(gè)想要的組件，通過“想想想+拖拉拽”完成自動(dòng)化流程配置；

對于實(shí)在RPA（“IPA模式/小白模式”）多模態(tài)意圖預(yù)測技術(shù)，可以支持通過多模態(tài)識別和序列上下文挖掘等方法，精準(zhǔn)預(yù)測用戶的每一個(gè)操作意圖，抹平了從業(yè)務(wù)場景操作到RPA組件之間的理解鴻溝：

· 用戶的每一次點(diǎn)擊就是一次拾?。?/p>

· 用戶的每一步操作都在配置流程。

應(yīng)用軟件操作回到臺前，RPA開發(fā)退回到幕后，實(shí)現(xiàn)二者的真正分離。

2、業(yè)務(wù)感知推薦：理解場景，操作業(yè)務(wù)

結(jié)合表格檢測、場景預(yù)測和自然語言處理技術(shù)，實(shí)在RPA的IPA模式。不僅可以，自動(dòng)推薦原子級操作（點(diǎn)擊圖標(biāo)、輸入文字、鼠標(biāo)移動(dòng)）；還可以，基于業(yè)務(wù)場景理解，自動(dòng)推薦業(yè)務(wù)級操作：

· 打開網(wǎng)站登錄頁面，鼠標(biāo)劃過登錄區(qū)域，自動(dòng)推薦「智能登錄」操作；

· 打開商品列表頁面，鼠標(biāo)劃過任何帶有數(shù)據(jù)區(qū)域，自動(dòng)推薦「數(shù)據(jù)采集」操作。

通過多模態(tài)意圖預(yù)測技術(shù)，感知業(yè)務(wù)場景并推薦自動(dòng)化操作

Action 4：在線學(xué)習(xí)

本次發(fā)布會還有一個(gè)功能彩蛋：實(shí)在RPA的IPA模式支持在線學(xué)習(xí)和迭代優(yōu)化。這也正是AI產(chǎn)品的魅力之所在！根據(jù)用戶的反饋，算法模型將通過在線學(xué)習(xí)技術(shù)和自動(dòng)優(yōu)化機(jī)制，能夠記住選擇和喜好，用的越多，推薦越準(zhǔn)。

值得一提的是，所有模型算法都內(nèi)置在用戶本地辦公環(huán)境，操作習(xí)慣和數(shù)據(jù)均不會通過網(wǎng)絡(luò)上傳，并且配置有防護(hù)機(jī)制，最大限度地保護(hù)用戶數(shù)據(jù)隱私安全。從這個(gè)意義而言，實(shí)在RPA的IPA模式：

· 不僅是人人可用的沉浸式超自動(dòng)化流程配置模式，更是千人千面的個(gè)性化數(shù)字員工搭建工具。

· 通過技術(shù)的“儀式感”，讓每個(gè)人都擁有專屬的、尊重?cái)?shù)據(jù)隱私的超級自動(dòng)化產(chǎn)品。

“蝶變”意味著破繭而出，羽化成蝶。本次發(fā)布會選此作為主題，寓意著快速大量的產(chǎn)品創(chuàng)新和功能迭代為實(shí)在RPA帶來的破繭成蝶，真正實(shí)現(xiàn)RPA成為人人可用——也標(biāo)志著實(shí)在智能超級自動(dòng)化平臺正式躍入“新、廣、信、強(qiáng)”的階段。越過山丘，IPA模式引領(lǐng)超自動(dòng)化全新時(shí)代。

（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）