NVIDIA推出本地AI聊天助手Chat with RTX

 英偉達近日推出了一款名爲“Chat with RTX”的聊天應用,專爲Windows個人電腦設計。這款應用由TensorRT-LLM技術驅動,允許用戶在不聯網的情況下與聊天機器人進行互動。適用於該應用的硬件包括所有配備至少8GB顯存的GeForce RTX 30系列和40系列顯卡。

“Chat with RTX”具備處理多種文件類型的能力,如文本、PDF、Word文檔(doc/docx)和XML。用戶只需將文件存放在指定文件夾,應用便能在數秒內完成加載。此外,用戶還可以輸入YouTube播放列表的鏈接,應用會抓取列表中視頻的字幕內容,供用戶查詢。

根據官方介紹,用戶可以像使用ChatGPT那樣與“Chat with RTX”進行交流,但生成的內容將基於特定的數據集,這使得它在生成摘要和快速檢索文檔方面表現出色。

擁有支持TensorRT-LLM的RTX GPU的用戶可以在本地處理所有數據和項目,無需依賴雲端存儲,這不僅節省了時間,還能提供更精確的搜索結果。英偉達還宣佈,TensorRT-LLM v0.6.0版本將帶來5倍性能提升,預計將在本月晚些時候發佈。同時,該版本還將支持其他大型語言模型,如Mistral 7B和Nemotron 3 8B。

需要注意的是demo的壓縮包有35g,需要提前預留空間哦

更多遊戲資訊請關註:電玩幫遊戲資訊專區

電玩幫圖文攻略 www.vgover.com