近期,阿里云人工智能平臺(tái) PAI 團(tuán)隊(duì)發(fā)表的圖像編輯算法論文在 MM2024 上正式亮相發(fā)表。ACM MM(ACM國際多媒體會(huì)議)是國際多媒體領(lǐng)域的頂級(jí)會(huì)議,旨在為研究人員、工程師和行業(yè)專家提供一個(gè)交流平臺(tái),以展示在多媒體領(lǐng)域的最新研究成果、技術(shù)進(jìn)展和應(yīng)用案例。其主題涵蓋了圖像處理、視頻分析、音頻處理、社交媒體和多媒體系統(tǒng)等廣泛領(lǐng)域。此次入選標(biāo)志著阿里云人工智能平臺(tái) PAI 在圖像編輯算法方面的研究獲得了學(xué)術(shù)界的充分認(rèn)可。
文本到圖像合成 (TIS) 已成為計(jì)算機(jī)視覺與自然語言處理 (NLP) 交叉領(lǐng)域的重要前沿,其能夠根據(jù)文本描述生成視覺上引人注目的圖像。基于文本引導(dǎo)的圖像編輯任務(wù)使用戶能夠通過簡單的文字描述來指導(dǎo)圖像的修改,無需使用復(fù)雜的圖像編輯軟件或具備專業(yè)知識(shí)即可實(shí)現(xiàn)編輯效果。其中 Traing-free 的文本引導(dǎo)圖像編輯 (TIE) 已成為一個(gè)重要的研究方向,利用預(yù)訓(xùn)練的 TIS 模型,直接通過文本提示來編輯圖像,用戶可以直接輸入文本,對(duì)圖像進(jìn)行多種編輯操作,包括顏色變化、物體的添加或去除、風(fēng)格轉(zhuǎn)換等。這種交互式編輯方式顯著降低了圖像編輯的門檻,使得創(chuàng)意表達(dá)變得更加便捷和個(gè)性化。
盡管當(dāng)前的 TIE 算法取得了顯著進(jìn)展,但它們?nèi)源嬖谝恍┚窒扌�。如圖1所示,現(xiàn)有 TIE 方法在編輯多個(gè)對(duì)象時(shí)面臨挑戰(zhàn)。多對(duì)象編輯的復(fù)雜性會(huì)導(dǎo)致編輯對(duì)象丟失(例如,丟失一個(gè)蘋果)、屬性缺失(例如,斑點(diǎn))和背景保留不完整等問題。
圖1. 圖像編輯的效果對(duì)比以及我們提出方法的結(jié)果
在本文中,我們提出了 VICTORIA 編輯算法,它利用語言知識(shí)來解決在對(duì)象場景編輯中因缺失目標(biāo)(如對(duì)象、屬性和背景)而導(dǎo)致的問題。VICTORIA 通過分析輸入編輯文本中單詞之間的依存關(guān)系,并將這種關(guān)系反映在注意層的中間表示中,從而修正并生成目標(biāo)圖像。圖2展示了 VICTORIA 的整體框架。首先,我們通過控制自注意機(jī)制來確保原始圖像和編輯后圖像之間的空間一致性。其次,VICTORIA 分析輸入編輯文本中單詞之間的依存關(guān)系,并在生成目標(biāo)編輯圖像的過程中主動(dòng)干預(yù)交叉注意力圖,從而提升目標(biāo)編輯區(qū)域的生成結(jié)果。最后,VICTORIA 通過交叉注意圖進(jìn)行圖像部分掩碼,有效保留原始圖像中無需被編輯的區(qū)域。
圖 2:VICTORIA 在對(duì)圖像進(jìn)行編輯的過程示意圖
VICTORIA 偽代碼如下:
圖 3:VICTORIA 在合成圖像編輯和真實(shí)圖像編輯場景下的偽代碼
圖4展示了 VICTORIA 的編輯結(jié)果,它成功地修改了原始圖像中多個(gè)物體的各種屬性、風(fēng)格、場景和類別。
圖 4:VICTORIA編輯結(jié)果示例
圖5對(duì)比展示了 VICTORIA 與其他一些 SOTA 圖像編輯技術(shù)的效果。無論是對(duì)真實(shí)照片還是合成圖像,VICTORIA 均展現(xiàn)出了高效的編輯能力。在所有的案例中,VICTORIA 都能夠?qū)崿F(xiàn)與描述提示高度一致的精細(xì)編輯,同時(shí)最大限度地保留了原圖的結(jié)構(gòu)細(xì)節(jié)。
圖 5:VICTORIA與其他編輯方法的對(duì)比
為了更好地服務(wù)開源社區(qū),這一算法的源代碼已經(jīng)貢獻(xiàn)在自然語言處理算法框架 EasyNLP 中,歡迎各界從業(yè)人員和研究者使用。
阿里云人工智能平臺(tái) PAI 長期招聘正式員工/實(shí)習(xí)生。團(tuán)隊(duì)專注于深度學(xué)習(xí)算法研究與應(yīng)用，重點(diǎn)聚焦大語言模型和多模態(tài) AIGC 大模型的應(yīng)用算法研究和應(yīng)用。簡歷投遞和咨詢：chengyu.wcy@alibaba-inc.com。
論文信息
論文名字:Attentive Linguistic Tracking in Diffusion Models for Training-free Text-guided Image Editing
論文作者:劉冰雁、汪誠愚、黃竣賈奎
論文pdf鏈接:https://openreview.net/pdf?id=efTur2naAS
