“AI大神”Ilya：堆算力的“預訓練”時代將結束

在2024年NeurIPS大會上，前OpenAI聯合創始人、SSI創始人Ilya Sutskever表示：預訓練時代即將終結（Pre-training as we know it will end）。“將數據比作AI發展的燃料，由於我們只有一個互聯網，數據增長已經觸頂，AI即將進入‘後石油時代’，而這，意味着依賴於海量數據的預訓練模型將難以爲繼，AI發展亟待新的突破。”Ilya認爲，未來AI發展將聚焦於智能體、合成數據和推理時計算（Agents、Synthetic data和Inference-time compute）。