中國研究團隊發佈全球首個百億級遙感大模型

在9月21日召開的第一屆空天信息技術大會上，我國研究團隊發佈了全球首個百億級遙感解譯基礎模型。遙感大模型通過遙感影像數據結合人工智能數據，提供精準精細化服務，在多個行業具有廣泛的應用場景。

據悉，最新發布的全球首個百億級遙感解譯基礎模型爲“空天·靈眸”3.0版，由中國科學院空天信息創新研究院科研團隊聯合鵬城實驗室研發。研究團隊基於中國算力網“鵬城雲腦II”樞紐節點，歷時數月攻關完成了在4億張國產化多模態空天遙感數據樣本上的預訓練，基礎模型參數規模首次超過百億。

近年來，我國遙感數據獲取能力不斷增強，已進入遙感大數據時代，人工智能等新型數據處理方式也爲數據服務模式的變革提供了可能。模型的參數越大，能捕捉和處理複雜信息的能力就越強，從而更加準確、精細地完成更困難、更復雜的任務。

中國科學院空天信息創新研究院研究員孫顯介紹，“空天·靈眸”3.0版內核工作架構是基於熱傳導，這是聯合團隊自主研發的一套小而精的原創性架構。受傳熱學物理思想啓發，聯合團隊將場景目標間視覺語義傳播建模爲熱能擴散過程，從而使該架構有效突破了遙感模型推理的性能和速度瓶頸，計算速度較傳統結構模型提升2.4倍以上。

目前，“空天·靈眸”3.0版在覆蓋場景分類、目標檢測、語義分割、變化檢測等6大類任務的23個國際基準數據集上測試，指標均達到領先水平，並已在應急、國土、海洋、住建等多個行業部署試運行，特別是在最具挑戰性的複雜要素精細分類、運動小目標連續跟蹤等任務上性能卓越，爲天臨空地一體化應用提供了一套行之有效的解決方案。

隨着遙感技術的高速發展，遙感領域持續生產了海量的多時相的遙感數據。據介紹，這些數據有接近自然影像的可見光影像，也有光譜信息比較多的多光譜數據，還有雷達SAR影像，這些數據來自不同的衛星，不同的傳感器，可將其視爲不同模態的數據。但過去，這些數據都是沒有經過標註的，而且標註這些數據不僅費時費力，在很多情況下只有依賴於專家經驗才能進行。

近年來，業界出現了很多遙感影像數據獲取的渠道，比如歐空局哥白尼平臺，谷歌GEE平臺，中國資源衛星中心的數據平臺，這些平臺都爲研究人員獲得遙感數據提供了便利。結合視覺大模型的成功經驗，這些因素爲遙感大模型的研發提供了發展契機和動力。

第一財經記者瞭解到，在國內，自2021年以來，業界就開始使用無監督預訓練的算法做遙感影像的識別，2022年中國科學院空天院發佈了RingMo模型，2023年發佈了Satlas模型，復旦大學也發佈了GRAFT模型，模型的數據和參數的規模越來越大，性能越來越強。

從遙感模型的發展趨勢來看，呈現出三大趨勢：從支持單模態的數據到融合多模態的數據；從只能覆蓋單一數據源的影像到可以融合多數據源的影像；從僅支持單張靜態影像的解譯到融合整個時序影像的信息。

包括螞蟻集團在內的公司都在開發遙感大模型。在今年的上海全球人工智能大會（2024 WAIC）上，螞蟻集團遙感大模型負責人王劍介紹，螞蟻集團基於螞蟻百靈大模型平臺，已經研發了20億參數多模態遙感模型SkySense。通過在數據、模型架構和無監督預訓練算法等方面的技術創新，SkySense在土地利用監測、地物變化檢測等7種常見遙感感知任務。

一位空間科學資深研究人員對第一財經記者表示，遙感大模型在多個應用領域都展現出潛力，例如環境監測與保護、農業與自然資源管理、城市規劃與發展、應急響應與災害管理等，同時，也越來越多地應用在碳中和領域。

據介紹，此前在森林保護項目中，已經能通過遙感大模型支持自然風化的變化檢測和人爲破壞的變化檢測，從而實現大規模林地定期監測和保護；而遙感大模型也能夠在像素級別對主糧作物做出精準識別。