成都賽力斯申請大模型服務調用方法專利，避免系統服務過載

金融界2024年12月26日消息，國家知識產權局信息顯示，成都賽力斯科技有限公司申請一項名爲“大模型服務調用方法、裝置和計算機設備”的專利，公開號CN 119179593 A，申請日期爲2024年11月。

專利摘要顯示，本申請涉及一種大模型服務調用方法、裝置和計算機設備。所述方法包括：響應於針對大模型服務實例發起的當前服務調用請求，獲取大模型請求隊列中包含的服務調用請求的請求數量，在請求數量未達到預設請求閾值的情況下，將當前服務調用請求添加進大模型請求隊列，最後通過預設的調度器基於大模型請求隊列中包含的各服務調用請求對應的大模型服務實例的實時請求數，獲取目標大模型服務實例，最終調用該目標大模型服務實例。通過設置大模型請求隊列，有效控制了當下後端系統處理的請求量，進而避免了由於請求量過大而出現的系統服務過載的問題，提高了系統的可行性和高可用性。

本文源自：金融界

作者：情報員