谷歌AI播客剛火，Meta就開源了平替，效果一言難盡

機器之心報道

編輯：杜偉、陳陳

上個月，谷歌宣佈對旗下 AI 筆記應用 NotebookLM 進行一系列更新，允許用戶生成 YouTube 視頻和音頻文件的摘要，甚至可以創建可共享的 AI 生成音頻討論。加上此前支持的谷歌文檔、PDF、文本文件、谷歌幻燈片和網頁，NotebookLM 的用例和覆蓋範圍進一步擴大。

本月初，AI 大牛 Karpathy 發推表示自己只用了兩個小時就創建了一個 10 集的系列博客 —— 歷史謎團（Histories of Mysteries），其中就使用 NotebookLM 將每個主題的維基百科條目鏈接在一起，並生成播客視頻；同時也使用 NotebookLM 編寫博客 / 劇集描述。

就這兩天，Meta 推出了 NotebookLM 的開源平替版 ——NotebookLlama，它使用 Llama 模型進行大部分任務處理，包括 Llama-3.2-1B-Instruct、Llama-3.1-70B-Instruct 和 Llama-3.1-8B-Instruct。

下圖爲 NotebookLlama 運行流程，首先從文件（比如新聞文章或博客文章）創建轉錄文本，然後添加「更多戲劇化」和中斷，最後將轉錄文本饋入到開放的文本到語音模型。

據外媒 Techcrunch 報道，NotebookLlama 的效果聽起來不如谷歌 NotebookLM 好，帶有明顯的機器人口音，並且往往會在奇怪的時刻「互相交談」。不過，項目背後的 Meta 研究人員表示，使用更強大的模型還可以提高質量。

Meta 研究人員在 NotebookLlama 的 GitHub 頁面寫到，「文本到語音模型限制了聲音的自然程度。」此外，編寫播客的另一種方法是讓兩個智能體就感興趣的主題進行討論並編寫播客大綱。現在，Meta 只使用了一個模型來編寫播客大綱。

就像下面所展示的，雖然播客內容還有一些粗糙，但它聽起來已經很不錯了。

視頻鏈接：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650940665&idx=2&sn=0f793076e42f80ab04b00500b7aaa5bf&chksm=84e7e087b3906991691ae2f33598b956d370fdf9557643db260424d9a813d6b77769a13c4219&token=1623910484&lang=zh_CN#rd

對於 Meta 的 NotebookLlama，有人直言聽起來糟糕透了，要想真正地對標谷歌的 NotebookLM，就要在語音轉換效果上接近人類水平。不過也有人認爲，雖然目前效果不佳，但隨着所有代碼的開源，用戶可以自定義嘗試不同的提示方法等，相信未來會變得更好。

雖然效果還是差點意思，但也有網友表示：「現在是時候讓 Google 加快步伐了，Meta 已經緊隨其後趕上來了，開源 NotebookLM。」

項目介紹

根據 Meta 發佈的教程配方，你可以基於 PDF 文件構建播客。

項目地址：https://github.com/meta-llama/llama-recipes/tree/main/recipes/quickstart/NotebookLlama

不過，還有幾個值得大家注意的點：

首先，在步驟 1 中，需要提示 1B 模型不要修改文本或對文本進行總結，並嚴格清理掉可能在 PDF 轉錄過程中出現的多餘字符或垃圾字符。

其次，對於步驟 2，你也可以使用 Llama-3.1-8B-Instruct 模型，然後對比不同模型的效果。項目中採用的是 70B 模型，原因在於它爲測試示例提供了更具創意的播客記錄。

對於步驟 4，你也可以使用其他模型進行擴展，較新的模型可能聽起來更好。

想要順暢的運行該項目，你需要有 GPU 服務器或者使用 70B、8B 和 1B Llama 模型的 API 提供商。如果你採用的是 70B 模型，那麼需要一個總內存約爲 140GB 的 GPU 來以 bfloat-16 精度進行推理。

退一步講，如果你的 GPU 並不是很好，也可以使用 8B 模型跑通整個 pipeline。

接下來是安裝。在開始之前，請確保使用 huggingface cli 登錄，然後啓動 jupyter notebook ，以確保能夠下載 Llama 模型。

接着運行代碼：

git clone https://github.com/meta-llama/llama-recipes

cd llama-recipes/recipes/quickstart/NotebookLlama/

pip install -r requirements.txt

Notebook 1：Notebook 1 用於處理 PDF，並使用新的 Feather light 模型將其處理爲.txt 文件。

Notebook 2：Notebook 2 將接收 Notebook 1 處理後的輸出，並使用 Llama-3.1-70B-Instruct 模型創造性地將其轉換爲播客腳本。如果你擁有豐富的 GPU 資源，也可以使用 405B 模型進行測試！

Notebook 3：Notebook 3 採用了之前的文本，並提示 Llama-3.1-8B-Instruct 在對話中添加更多的戲劇化和中斷。

Notebook 4：最後，Notebook 4 從上一個 notebook 中獲取結果並將其轉換爲播客。項目中使用了 parer -tts/parer - ttts -mini-v1 和 bark/suno 模型進行對話。

這裡有一個問題：Parler 需要 4.43.3 或更早版本的 transformer，但對於 pipeline 中的步驟 1 到 3，需要最新的版本，所以需要在最後一個 notebook 中切換版本。

最後，項目列出了未來需要改進的地方：

參考鏈接：https://techcrunch.com/2024/10/27/meta-releases-an-open-version-of-googles-podcast-generator/?guccounter=1