Nvidia發佈可以在PC上本地運行的AI聊天機器人Chat with RTX

Nvidia發佈了一款名爲Chat with RTX的早期版本應用，這是一款讓你在個人電腦上運行的AI聊天機器人。你只需提供YouTube視頻鏈接或者你自己的文件，它就能創建摘要並根據你的數據給出相關答案。它完全在個人電腦上運行，你只需要擁有至少8GB顯存的RTX 30或40系列GPU。

儘管Chat with RTX應用的界面還有一些粗糙，但我已經看到了它在數據研究中的巨大價值，尤其是對於需要分析大量文件的記者或其他人士。

Chat with RTX可以處理YouTube視頻，你只需輸入URL，就可以搜索特定的提及或總結整個視頻。我發現這對於搜索視頻播客非常理想，特別是在過去一週中，尋找有關微軟新Xbox策略轉變的特定提及。

Chat with RTX在搜索YouTube視頻時並非完美無缺。在試圖搜索一些YouTube視頻的文字記錄時，Chat with RTX下載了完全不同視頻的文字記錄，這顯然是早期演示中的一個錯誤。

當它正常工作時，我能在幾秒鐘內找到視頻中的引用。我還爲Chat with RTX創建了一份FTC與微軟文件的數據集進行分析。當我去年報道這個案件時，快速搜索文件常常讓我感到壓力山大，但Chat with RTX讓我幾乎能在我的電腦上瞬間查詢到它們。

Chat with RTX也很擅長從在審判中揭示的內部文件中總結出微軟整個Xbox Game Pass的策略。

此外，我發現這個工具在掃描PDF和核查數據時也很有用。微軟自家的Copilot系統在Word中處理PDF的能力不強，但Nvidia的Chat with RTX卻能輕易地提取出所有關鍵信息。回應也幾乎是瞬間的，沒有使用基於雲的ChatGPT或Copilot聊天機器人時通常會出現的延遲。

Chat with RTX的主要缺點在於，它真的感覺像一個早期的開發者演示。Chat with RTX會在你的電腦上安裝一個Web服務器和Python實例，然後利用Mistral或Llama 2模型查詢你提供的數據。然後，它利用Nvidia的RTX GPU上的Tensor核心來加速你的查詢。

Chat with RTX的安裝過程在我的電腦上花了大約30分鐘，我的電腦是由Intel Core i9-14900K處理器和RTX 4090 GPU驅動的。該應用程序的大小接近40GB，Python實例佔用了我電腦64GB可用內存中的約3GB。一旦運行，你可以從瀏覽器訪問Chat with RTX，同時一個命令提示符在後臺運行，顯示出正在處理的內容和任何錯誤代碼。

Nvidia並沒有把這款應用推薦給所有RTX用戶立即下載和安裝。它存在一些已知的問題和限制，包括源文件歸屬並不總是準確。我最初試圖讓Chat with RTX索引25,000份文件，但這似乎使應用崩潰，我不得不清理偏好設置才能重新開始。

儘管如此，Nvidia在這裏確實展示了一個很好的技術演示。它展示了未來AI聊天機器人在你的個人電腦上本地運行的潛力，特別是如果你不想訂閱像Copilot Pro或ChatGPT Plus這樣的服務來分析你的個人文件的話。