第四範式申請模型服務的擴縮容專利，提升資源分配精細程度

金融界2024年9月30日消息，國家知識產權局信息顯示，第四範式（北京）技術有限公司申請一項名爲“模型服務的擴縮容方法、裝置、設備及存儲介質”的專利，公開號CN 118708349 A，申請日期爲2024年6月。

專利摘要顯示，本公開涉及一種模型服務的擴縮容方法、裝置、設備及存儲介質。預測未來詞元負載，未來詞元負載用於表徵與未來一段時間內的全部請求對應的輸入詞元數量和/或輸出詞元數量；基於未來詞元負載和模型服務的當前詞元生成速度，確定擴縮容策略，擴縮容策略指示了對模型服務包括的當前服務實例數量進行增加或縮減的數量；按照擴縮容策略對模型服務包括的當前服務實例數量進行增加或縮減。本公開在對模型服務進行擴縮容時充分考慮了請求特性，從而可以提升資源分配的精細程度。並且，本公開能夠針對未來負載提前進行資源分配，因此可以提前應對即將到來的請求高峰或低谷。

本文源自：金融界

作者：情報員