使用 RAG 的 LLM 需要訪問高質量的訓練數據。然而，由于數據分散在不同部門、系統和格式中，確保數據的質量和可用性往往具有挑戰性。

為了最大限度地發揮效果，使用 RAG 的 LLM 還需要連接到部門希望提取數據的來源 - 如客戶服務平臺、內容管理系統和人力資源系統等。這類集成需要豐富的技術專業知識，包括數據映射和 API 管理經驗。

此外，當 RAG 模型大規模部署時，會消耗大量計算資源并產生大量數據。這需要適當的基礎設施和部署經驗，以及管理大型組織數據的能力。

RAGOps 是一種引起 AI 專家關注的主流化 RAG 方法，它是一種能夠以確保一致性同時降低復雜性的方式自動化 RAG 工作流、模型和接口的方法。

RAGOps 使數據科學家和工程師能夠自動化數據攝取和模型訓練以及推理。它還通過提供基礎設施堆棧中的負載均衡和分布式計算機制來解決可擴展性難題。在 RAG 管道的每個階段都執行監控和分析，以幫助持續改進模型和運營。

例如，麥肯錫使用 RAGOps 幫助其 Lilli 生成式 AI 平臺篩選 10 萬份精選文檔。Lilli 已經回答了超過 800 萬個由約四分之三的麥肯錫員工提出的關于運營洞察的問題。

智能代理 RAG 的時代即將到來

作為組織尋求從生成式 AI 實施中獲取更多價值的運營模式，RAGOps 有望在已經實踐過其他運營框架 (如 DevOps 或 MLOps) 的組織中得到良好應用。

然而，一些組織可能會采取更新穎的方法，即順應生成式 AI 行業的發展方向：將 RAG 與智能代理 AI 結合，使 LLM 能夠適應不斷變化的環境和業務需求。

設計用于以最少人工干預執行數字任務的代理正引起尋求將更多數字操作委托給軟件的企業的興趣。根據德勤研究，到 2025 年將有 25% 的組織實施企業代理，到 2027 年將增長到 50%。

具有 RAG 的智能代理 AI 將包括多種方法和解決方案，但許多場景可能會共享一些共同特征。

例如，單個代理將評估和總結來自單個文檔的問題答案，甚至比較多個文檔之間的答案。元代理將協調這個過程，管理單個代理并整合輸出以提供連貫的響應。

最終，代理將在 RAG 框架內工作，進行多步分析、規劃和推理，在執行任務時學習并根據新輸入調整其策略。這將幫助 LLM 隨著時間的推移更好地響應更細微的提示。

至少在理論上是這樣。

總結

生成式 AI 技術的未來一片光明，它將從研究實驗室流向企業 AI 工廠，成為蓬勃發展的企業 AI 領域的一部分。

例如，模型的占用空間將縮小，同時變得更加優化，能夠在本地和邊緣的 AI PC 等設備上高效運行。RAG 標準化，包括軟件庫和現成工具，將繼續增長。

無論您的組織是采用 RAGOps 還是采用智能代理 AI，都正在出現解決方案來幫助組織擴展 RAG 實施。

例如，當應用于醫療保健時，基于 NVIDIA 的 Dell AI Factory 的智能代理 RAG 有助于協調使用結構化數據 (如患者日程和檔案) 和非結構化數據 (如醫療記錄和影像文件) 的挑戰，同時保持對 HIPAA 等要求的合規性。

這只是一個光明的選擇。更多解決方案正在涌現，為正在進行生成式 AI 之旅的組織指明方向。

了解更多關于基于 NVIDIA 的 Dell AI Factory 的信息。

由戴爾科技集團為您呈現。