近日,阿里云通義萬相團隊推出全新的圖像編輯模型ACE,只需說一句話就能生成圖片和修改圖片,可應(yīng)用于風(fēng)格化寫真、分鏡制作、室內(nèi)設(shè)計等場景。該模型已面向全球開發(fā)者開源,其局部風(fēng)格化功能已上線通義APP。
圖像編輯是圖像生成模型的重要輔助功能,此前業(yè)界常用的方案是將LoRA、ControlNets 和 T2I 模型組合,從而實現(xiàn)圖像編輯能力。但該方案流程相對復(fù)雜,且使用門檻較高,大多用戶無法直接體驗。與傳統(tǒng)圖像編輯模型不同,ACE模型可同時支持文生圖和圖像編輯,用戶輸入口語化指令,可完成可控視覺編輯、元素編輯、區(qū)域重繪編輯、分層編輯等任務(wù),僅用對話的方式就能實現(xiàn)PS的功能,例如輸入文字即可一鍵除水印、修改證件照背景等,極大地提高了編輯效率。
上傳一張照片即可對圖中特定對象的風(fēng)格化處理
公開論文顯示,該團隊提出了Long-context Condition Unit模塊(LCU),能支持通用編輯任務(wù)所需的各種多模態(tài)條件輸入,并且搭建了全面的編輯成對數(shù)據(jù)構(gòu)造鏈路和指令集生成鏈路,最終達到精準(zhǔn)、高質(zhì)量的圖像指令編輯效果。測試結(jié)果顯示,ACE模型在MagicBrush的單輪/多輪編輯的多項指標(biāo)和EMU Edit數(shù)據(jù)集的單輪編輯指標(biāo)上都取得了領(lǐng)先成績。
據(jù)悉,ACE模型在魔搭社區(qū)、Github、Huggingface等開源社區(qū)和社交平臺引起了國內(nèi)外開發(fā)者的熱議,一度登上Huggingface周榜第二,總榜第五。同時,該模型局部風(fēng)格化功能已正式上線通義APP,用戶上傳一張照片就能實現(xiàn)對圖中特定對象的風(fēng)格化處理。
ACE登上Huggingface周榜第二,總榜第五
通義萬相算法團隊表示:“未來將進一步提升ACE編輯模型的準(zhǔn)確性,同時將逐步開放重繪、定制化生成、組合生成等能力,讓用戶更便捷地實現(xiàn)創(chuàng)意設(shè)計。” 目前通義萬相已推出圖像生成、圖像編輯、視頻生成等能力,累計生成超2億張圖片。
開源地址:
魔搭社區(qū):https://www.modelscope.cn/models/iic/ACE-0.6B-1024px
Github:https://github.com/ali-vilab/ACE
Huggingface:https://huggingface.co/spaces/scepter-studio/ACE-Chat
(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )