MIT與英偉達(dá)合作研發(fā)AI模型工具可更快且以更少計(jì)算資源生成逼真圖像

據(jù)外媒報(bào)道，在此背景下，美國麻省理工學(xué)院與英偉達(dá)公司(NVIDIA)的研究人員研發(fā)了一種新方法，成功將上述兩種方法的優(yōu)勢結(jié)合起來。此種混合圖像生成工具采用自回歸模型，快速捕捉整體畫面，然后運(yùn)用小型擴(kuò)散模型，對(duì)圖像進(jìn)行細(xì)節(jié)優(yōu)化。該款工具名為HART(hybrid autoregressive transformer，混合自回歸轉(zhuǎn)換器的縮寫)，能夠生成與當(dāng)前最先進(jìn)的擴(kuò)散模型所生成的圖像，質(zhì)量相當(dāng)甚至更優(yōu)的圖像，同時(shí)速度提升了九倍。

AI工具生成逼真圖像

HART生成圖像的過程所消耗的計(jì)算資源較典型擴(kuò)散模型更少，因而使其能夠在商用筆記本電腦或智能手機(jī)上本地運(yùn)行。用戶只需在HART界面輸入自然語言提示，即可生成圖像。HART可能具有廣泛的應(yīng)用前景，例如幫助研究人員訓(xùn)練機(jī)器人，以完成復(fù)雜的真實(shí)世界任務(wù)；協(xié)助設(shè)計(jì)師為視頻游戲打造更具吸引力的場景。

兩全其美

Stable Diffusion和DALL-E等流行的擴(kuò)散模型能夠生成高度細(xì)節(jié)化的圖像。此類模型通過迭代過程生成圖像，在此過程中，此類模型會(huì)對(duì)每個(gè)像素預(yù)測一定量的隨機(jī)噪聲，然后減去噪聲，之后預(yù)測過程與“去噪”過程會(huì)被重復(fù)多次，直至生成一張完全無噪聲的新圖像。

由于擴(kuò)散模型在每一步均需對(duì)圖像中的所有像素執(zhí)行去噪操作，并且該過程可能包括30步或更多步驟，因此整體過程可能會(huì)比較緩慢且計(jì)算成本高昂。但是，因?yàn)樵撃Ｐ陀卸啻螜C(jī)會(huì)修正之前出錯(cuò)的細(xì)節(jié)，因此生成的圖像質(zhì)量會(huì)很高。

自回歸模型在文本預(yù)測任務(wù)中得到了廣泛應(yīng)用，并且可通過依次預(yù)測圖像塊生成圖像。盡管該模型無法回溯以修正錯(cuò)誤，但是此種順序預(yù)測過程比擴(kuò)散模型速度快得多。

此類模型采用稱作標(biāo)記的表現(xiàn)形式來進(jìn)行預(yù)測。自回歸模型采用自動(dòng)編碼器將原始圖像像素壓縮為離散標(biāo)記，并基于此類預(yù)測標(biāo)記重建圖像。盡管此種方法提升了模型的速度，但是壓縮過程中發(fā)生的信息丟失可能會(huì)導(dǎo)致模型在生成新圖像時(shí)出現(xiàn)錯(cuò)誤。

借助HART，研究人員研發(fā)了一種混合方法，運(yùn)用自回歸模型來預(yù)測壓縮的離散圖像標(biāo)記，再運(yùn)營小型擴(kuò)散模型來預(yù)測殘差標(biāo)記。其中，殘差標(biāo)記能夠捕捉離散標(biāo)記遺漏的細(xì)節(jié)信息，補(bǔ)償模型丟失的信息。

由于擴(kuò)散模型只能預(yù)測自回歸模型完成工作后的剩余細(xì)節(jié)，因此其可在八個(gè)步驟內(nèi)完成任務(wù)。相比之下，標(biāo)準(zhǔn)擴(kuò)散模型通常需要30個(gè)或者更多步驟來生成完整的圖像。此種額外引入的擴(kuò)散模型以極低的計(jì)算量保留了自回歸模型的速度優(yōu)勢，同時(shí)大幅提升其生成復(fù)雜圖像細(xì)節(jié)的能力。

在研發(fā)HART的過程中，研究人員在高效整合擴(kuò)散模型以增強(qiáng)自回歸模型方面遇到了挑戰(zhàn)。但是他們發(fā)現(xiàn)，在自回歸過程的早期集成擴(kuò)散模型會(huì)導(dǎo)致誤差累積。因此，最終的設(shè)計(jì)僅在最后一步應(yīng)用了擴(kuò)散模型，以預(yù)測剩余標(biāo)記，從而顯著提升了圖像生成的質(zhì)量。

研究人員的方法結(jié)合了含有7億參數(shù)的自回歸轉(zhuǎn)換器模型和含有3700萬參數(shù)的輕量級(jí)擴(kuò)散模型，能夠生成與擁有20億參數(shù)的擴(kuò)散模型同等質(zhì)量的圖像，但是速度卻快了九倍。此外，其計(jì)算量比最先進(jìn)的模型少約31%。

此外，由于HART采用自回歸模型來完成大量工作，因此其更易與新型統(tǒng)一視覺-語言生成式模型集成在一起。未來，人們或許能夠與統(tǒng)一視覺-語言生成式模型互動(dòng)，例如要求其展示組裝一件家具所需的中間步驟。

展望未來，研究人員希望能夠繼續(xù)研究，基于HART架構(gòu)打造視覺-語言模型。由于HART具有可擴(kuò)展性以及多模態(tài)通用性，因此研究人員還希望將其應(yīng)用于視頻生成和音頻預(yù)測任務(wù)。