深圳樂行申請基於模型拓印的垂類大模型生成方法專利，降低大模型的複雜度並提高精度

金融界2024年9月30日消息，國家知識產權局信息顯示，深圳樂行智慧產業有限公司申請一項名爲“基於模型拓印的垂類大模型生成方法、平臺及存儲介質”的專利，公開號 CN 118709735 A，申請日期爲2024年7月。

專利摘要顯示，本發明涉及模型學習技術領域，更具體涉及基於模型拓印的垂類大模型生成方法、平臺及存儲介質。所述方法包括：步驟S1：將多個開源模型中性能最好的開源模型作爲第一模型；步驟S2：基於預設領域的第一數據集對第一模型進行訓練，調整第一模型的權重進行調整，並基於第一模型及第一數據集生成第二數據集；步驟S3：通過知識蒸餾訓練第二模型，並根據第二數據集中第j數據對應的第輸出結果與將第j數據輸入第二模型輸出的第輸出結果，調整第二模型的權重；步驟S4：根據第二模型隱藏層的位置及神經元數量來壓縮第二模型。本發明解決了大模型複雜度高且精度不高的問題，降低了大模型的複雜度並提高了精度。

本文源自：金融界

作者：情報員