CVPR｜讓圖像擴散模型生成高質量360度場景，只需要一個語言模型

AIxiv專欄是機器之心發佈學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯繫報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

蔡志鵬博士（https://zhipengcai.github.io/）是美國英特爾研究院的研究員，博士畢業於澳大利亞阿德萊德大學。他的研究興趣包括魯棒視覺感知，持續學習和生成模型等。他的工作已在領域頂級會議雜誌上發表超過15篇。其中5篇文章被選爲頂級會議（ECCV18*2，ICCV19，ICLR24，CVPR24）口頭或特邀報告，對魯棒估計計算複雜度的理論證明工作被選爲ECCV18 12篇最佳論文之一。

360 度場景生成是計算機視覺的重要任務，主流方法主要可分爲兩類，一類利用圖像擴散模型分別生成 360 度場景的多個視角。由於圖像擴散模型缺乏場景全局結構的先驗知識，這類方法無法有效生成多樣的 360 度視角，導致場景內主要的目標被多次重複生成，如圖 1 的牀和雕塑。

圖 1. 缺乏場景全局結構的先驗知識導致一個臥室出現多張牀，一個公園出現多個雕塑。

另一類方法將 360 度場景用一張 Equirectangular Image 來表示，並用 GAN 或擴散模型直接生成。由於該表徵的侷限性，這類方法通常無法有效完成 360 度閉環（如圖 2 每張圖片的中間部分），導致 360 度的連接處出現明顯的分界線。同時由於缺少大規模訓練數據，這類方法有時無法生成複合輸入條件的場景。最後，這類方法通常只能接受文字作爲輸入。

圖 2. 現有方法的閉環問題.

爲了解決這些問題，來自美國英特爾研究院的 Zhipeng Cai 等人提出了L-MAGIC（Language Model Assisted Generation of Images with Coherence），通過使用語言模型控制圖像擴散模型有效實現高質量、多模態、零樣本泛化的 360 度場景生成。L-MAGIC 的 live demo 已被選爲英特爾公司 2024 年的 5 個技術突破之一，在 ISC HPC 2024 上展示。該論文已被 CVPR 2024 接收。

項目主頁：https://zhipengcai.github.io/MMPano

代碼：https://github.com/IntelLabs/MMPano

論文地址：https://arxiv.org/pdf/2406.01843

Youtube 視頻介紹：https://youtu.be/XDMNEzH4-Ec

Intel ISC HPC 2024 live demo：https://www.intel.com/content/www/us/en/events/supercomputing.html

方法概覽

如圖 3 所示，L-MAGIC 是一個結合了語言模型及擴散模型的場景生成框架。L-MAGIC 通過自然圖像連接各類不同模態的輸入。當輸入不是一張自然圖像時，L-MAGIC 使用成熟的條件擴散模型如 ControlNet 從各種模態的輸入（文字，手繪草圖，深度圖等等）生成一張自然圖像。

圖 3.L-MAGIC 流程圖。

在獲得自然圖像之後，L-MAGIC 通過 iterative warping and inpainting 來生成 360 度場景的多個視角。在每一個 iteration 中，warping step 將已生成的多視角 warp 到一個新的視角，實例中的黑色部分代表新視角中的缺失像素。Inpainting step 使用基於擴散的圖像 inpainting 模型（Stable Diffusion v2）生成缺失像素。爲了使圖像擴散模型能夠生成多樣的全局場景結構，L-MAGIC 使用語言模型控制擴散模型在每個視角需要生成的場景內容。

除了生成 360 度場景的全景圖，利用深度估計模型，L-MAGIC 還能夠生成包含相機旋轉及平移的沉浸式視頻，以及場景的三維點雲。由於無需微調，L-MAGIC 能夠有效地保持語言及擴散模型的泛化性，實現多樣化場景的高質量生成。

L-MAGIC 的核心是使用語言模型全自動地控制擴散模型。如圖 4 所示若用戶未提供場景的文字描述，L-MAGIC 使用視覺語言模型（如 BLIP-2）基於輸入圖像獲得場景的整體描述（line 2）。

獲得場景描述後，L-MAGIC 使用如 ChatGPT 的語言模型（開源代碼已支持 ChatGPT-3.5、ChatGPT-4、Llama3），使其根據整體場景描述生成各個視角的描述（line 3），並決定對該場景是否需要防止重複物體的生成（line 5，如樹林裡各個視角都是樹是合理的，但臥室有 5 張牀就比較少見，L-MAGIC 利用大語言模型的泛化性能自適應地規避不合理的重複目標）。

由於擴散模型訓練數據的 bias，有時擴散模型的輸出無法完全符合語言模型的 prompt 要求。爲了解決該問題，L-MAGIC 再次使用視覺語言模型監督擴散模型的輸出（line 14-18），如果擴散模型的輸出不符合語言模型的要求，L-MAGIC 會重新進行當前視角的生成。

圖 4. L-MAGIC 算法。

實驗結果

如圖 5 所示，L-MAGIC 在圖像到 360 度場景生成及文字到 360 度場景生成任務中均達到了 SOTA。

圖 5. 定量實驗。

如圖 6 及圖 7 所示，L-MAGIC 在多樣的輸入及場景下均能夠生成具有多樣化 360 度場景結構的全景圖，並且能夠平滑地完成 360 度閉環。

圖 6. 圖像到 360 度場景生成。

圖 7. 文字到 360 度場景生成

如圖 8 所示，除了文字及自然圖像之外，L-MAGIC 還能夠使用 ControlNet 接受多樣化的輸入，例如深度圖、設計草圖等。

圖 8. 更多不同模態的輸入。

通過利用成熟的計算機視覺算法例如深度估計，L-MAGIC 還能夠生成場景的沉浸式視頻 （見 presentation video）以及三維點雲（圖 9）。有趣的是，我們能夠清晰地分辨海底場景點雲中魚以及珊瑚的幾何結構。

圖 9. 三維點雲生成結果。