臺大師生開發Stiller系統 60秒擷取劇照
臺大電機工程系特聘教授陳宏銘(右)、臺大資訊工程系學生曹峻寧(左)合影。(KKStream提供)
「Stiller」智慧劇照挑選系統介面。(KKStream提供)
KKBOX集團旗下影音串流服務技術公司KKStream與臺大締結產學合作,開發「Stiller」智慧劇照挑選系統,即以線上影音服務KKTV支援劇庫資料,讓 AI學會判斷如何挑選精彩劇照,60秒便可擷取劇照,有效提升影片點擊播放,減少美術人員逐格截圖的作業時間,臺大電機工程系特聘教授陳宏銘師生,獲得國際電機電子工程師學會邀請,3月底赴美髮表研究成果。
參與系統設計的臺大資訊工程系學生曹峻寧說,這次開發的「Stiller」智慧劇照挑選系統,結合關鍵影格擷取(Key-Frame Extraction)與影像美感評估 (Image Aesthetic Assessment)兩大技術,因此可從影片中挑選兼備代表性與吸引力的劇照。
曹峻寧提到,透過AI人工智慧系統,「Stiller」只需三集的影片量,就能用演算法判斷出男女主角,進而自動擷取精彩影集劇照,希望未來能有機會延續研究,開發出自動剪輯預告,甚至做出濃縮影片的成果,讓 AI不只看見畫面、還能看懂影片。
曹峻寧並指出,這次的研究成果是視訊理解(Video Understanding),即透過 KKStream和影片管理團隊訪談討論,聚焦到影片劇照挑選的實務應用,從臉部表情到動作場景,透過不同的面向來強化AI對視訊理解的能力,現階段能夠判讀出重要影片情境並進行劇照挑選,平均每集影片只需60秒就能完成劇照擷取,大幅縮減原本由美術人員逐格截圖的作業時間,並藉由劇照達成吸睛效果,提升影迷點擊播放的意願。未來「Stiller 」系統除了運用在偶像劇外,也持續朝延伸到不同類型的影片類型發展。
陳宏銘則指出,臺大和KKBOX集團已經有多年產學合作經驗,樂見KKStream提供先進的影音串流平臺給研究團隊實習,適時結合學術理論於產業實作中,才能獲得成功。多媒體科技在影音串流時代的重要性絕對有目共睹,學術研發促進產業發展,正是產學交流的初衷。
KKStream表示,臺大電機工程系特聘教授陳宏銘與曹峻寧師生,獲得國際電機電子工程師學會邀請,已於3月28日前往在美國加州聖荷西舉辦國際會議(International Conference on Multimedia Information Processing and Retrieval )發表研究成果。