騰訊混元文生圖開源模型推出小顯存版本,僅需6G顯存即可運行

(原標題:騰訊混元文生圖開源模型推出小顯存版本,僅需6G顯存即可運行)

7月4日,騰訊混元文生圖大模型(混元DiT)宣佈開源小顯存版本,僅需6G顯存即可運行,對使用個人電腦本地部署的開發者十分友好,該版本與LoRA、ControlNet等插件,都已適配至Diffusers庫;並新增對Kohya圖形化界面的支持,讓開發者可以低門檻地訓練個性化LoRA模型;同時,混元DiT模型升級至1.2版本,在圖片質感與構圖方面均有所提升。

模型易用性再提升,個人電腦可輕鬆運行

基於DiT架構的文生圖模型生成圖片質感更佳,但對顯存的要求卻非常高,讓許多開發者望而卻步。這也是新版本Stable Diffusion模型無法快速普及的原因之一。

應廣大開發者的需求,混元DiT推出小顯存版本,最低僅需6G顯存即可運行優化推理框架,對使用個人電腦本地部署的開發者非常友好。經過與Hugging Face合作,小顯存版本、LoRA與ControlNet插件,都已經適配到Diffusers庫中。開發者無需下載原始代碼,僅用簡單的三行代碼僅可調用,大大簡化了使用成本。

同時,混元DiT宣佈接入Kohya,讓開發者可以低門檻地訓練專屬LoRA模型。

Kohya是一個開源的、輕量化模型微調訓練服務,提供了圖形化的用戶界面,被廣泛用於擴散模型類文生圖模型的訓練。用戶可以通過圖形化界面,完成模型的全參精調及LoRA訓練,無需涉及到代碼層面的細節。訓練好的模型符合Kohya生態架構,可以低成本與 WebUI 等推理界面結合,實現一整套“訓練-生圖”工作流。

此外,騰訊宣佈混元文生圖打標模型”混元Captioner“正式對外開源。該模型支持中英文雙語,針對文生圖場景進行專門優化,可幫助開發者快速製作高質量的文生圖數據集。

相比起業界的開源打標模型,混元Captioner模型能更好的理解與表達中文語義,輸出的圖片描述更爲結構化、完整和準確,並能精準識別出常見知名人物與地標。模型還支持開發者自行補充和導入個性化的背景知識。

混元Captioner模型開源之後,全球的文生圖研究者、數據標註人員,均可使用混元Captioner高效地提升自身圖像描述質量,生成更全面、更準確的圖片描述,提升模型效果。混元Captioner生成的數據集不僅能用於訓練基於混元DiT的模型,亦可用於其他視覺模型訓練。

衆多開發者關注,成最受歡迎國產DiT開源模型

在提升模型易用性的同時,騰訊宣佈混元文生圖打標模型”混元Captioner“正式對外開源。該模型支持中英文雙語,針對文生圖場景進行專門優化,可幫助開發者快速製作高質量的文生圖數據集。

相比起業界的開源打標模型,混元Captioner模型能更好的理解與表達中文語義,輸出的圖片描述更爲結構化、完整和準確,並能精準識別出常見知名人物與地標。模型還支持開發者自行補充和導入個性化的背景知識。

作爲首箇中文原生DiT開源模型,混元DiT自全面開源以來,一直持續建設生態。6月,混元DiT發佈的專屬加速庫,可將推理效率進一步提升,生圖時間縮短75%;並進一步開源了推理代碼;發佈LoRA和ControlNet等插件。於此同時,模型易用性大幅提升,用戶可以通過Hugging Face Diffusers快訊調用混元DiT模型及其插件,或基於Kohya和ComfyUI等圖形化界面訓練與使用混元DiT。

目前,在衆多開發者的支持下,混元DiT發佈不到2個月,Github Star數已經超過2.6k,成爲最受歡迎的國產DiT開源模型。