隨著過去 18 個月語言模型的快速擴展，現在已有數百種變體可供使用。其中包括大型語言模型 (LLM)、小型語言模型 (SLM) 和特定領域的模型，其中許多模型可以免費用於商業用途。特別是對於法學碩士來說，使用自訂資料集進行微調的過程也變得越來越經濟實惠和簡單。
隨著人工智慧模型變得更便宜、更容易取得，越來越多的現實世界流程和產品成為潛在的應用。考慮任何涉及非結構化資料的流程——支援票、醫療記錄、事件報告、劇本等等。
所涉及的數據通常很敏感，並且結果對業務至關重要。雖然法學碩士讓駭客快速演示看似簡單，但建立適當的流程和基礎設施來開發和部署法學碩士支援的應用程式並非易事。所有常見的企業問題仍然適用，包括如何：
使用 NVIDIA NIM 建置 LLM 支援的企業應用程式
透過避免將資料傳送到第三方服務，可以輕鬆緩解大部分安全和資料治理問題。這是 NVIDIA NIM 的關鍵價值主張——微服務提供大量預先打包和優化的社群創建的 LLM 選擇，可部署在公司的私人環境中。
自從最初發布 NIM 以來，Outerbounds 一直幫助公司開發由 LLM 驅動的企業應用程式以及公共範例。 NIM現已整合到 Outerbounds 平台中，讓您作為開 墨西哥電話號碼數據 發人員 能夠在雲端和本地資源上安全地部署。在此過程中，Outerbounds 已開始識別新興模式和最佳實踐，特別是圍繞基礎設施設置和開發工作流程。
術語「大語言模型操作」(LLMOps) 被創造出來以涵蓋其中的許多實踐。但是，不要讓這個名字誤導您。 LLMOps 圍繞著管理大型語言模型依賴性和操作的挑戰，而 MLOps 則撒下更廣泛的網，涵蓋與跨不同領域和應用程式監督機器學習模型相關的廣泛任務。
第一階段：發展由法學碩士支持的系統
建構 LLM 支援的系統的第一階段重點是建立一個高效的開發環境，以進行快速迭代和實驗。 NVIDIA NIM 微服務透過提供可部署在安全、私有環境中的最佳化 LLM 發揮關鍵作用。此階段涉及微調模型、建立工作流程以及使用真實資料進行測試，同時確保資料控制並最大限度地提高 LLM 效能。目標是建立一個堅實的開發管道，支援隔離環境和無縫 LLM 整合。
圖 1. 具有 NVIDIA NIM 微服務的開發環境
首先專注於開發階段，Outerbounds 發現以下元素有利於開發 LLM 支援的應用程序，特別是在處理敏感資料時：
- 在您的雲端場所內運行
- 將本機運算資源用於隔離的開發環境
- 最大化 LLM 吞吐量以最小化成本
- 支持特定領域的評估
- 透過微調客製化模型
在您的雲端場所內運行
Outerbounds 可協助您在自己的雲端帳戶中部署圖 1 所示的開發環境，以便您可以使用現有的資料治理規則和邊界開發由 NIM 提供支援的 AI 應用程式。此外，您可 最後的資料庫 以使用現有的運算資源來託管模型，而無需為LLM 推理支付額外的保證金。
具有本地運算資源的靈活、隔離的開發環境
圖1中的兩個範例提供了個人開發環境，您可以在其中自由操作，而無需擔心幹擾他人。這有助於最大限度地提高開發速度。 NIM 公開了一個與 OpenAI 相容的 API，可以使用 資料庫數據 現成的框架存取專用端點，為每項工作選擇最佳工具。開源Metaflow。 Metaflow 是一個 Python 庫，用於開發、部署和操作各種資料密集型應用程序，特別是涉及資料科學、機器學習和人工智慧的應用程式。
最大化 LLM 吞吐量以最小化成本
與許多第三方 API 相比，您可以在自己的環境中存取 NIM 端點，而沒有速率限制。借助各種 NIM 優化（例如動態批次），您可以透過並行提示來提高總吞吐量。有關更多詳細信息，請參閱使用 NVIDIA NIM 微服務大規模優化法學碩士的推理效率。
對於350M 令牌 Don’t Lie範例，Outerbounds 透過使用 5 個同時工作任務存取 NIM 容器，使用 LLama 3 70B 模型在大約 9 小時內處理了 2.3 億個輸入令牌（圖 2）。該模型在四個NVIDIA H100 Tensor Core GPU上運行。
由於 NIM 微服務在您環境中託管的 NVIDIA GPU 上運行和自動縮放，因此吞吐量時間越長，成本就越低。
支持特定領域的評估
雖然衡量和基準化原始表現可能很容易，但在評估法學碩士回答的品質時，制定規範卻更困難。一般來說，您需要在資料和應用程式的上下文中評估回應，而不是依賴現成的基準或資料集。
Outerbounds 發現建立特定於案例的評估集很有用，有時也得到自訂 UI 的支援。這使您能夠快速評估結果並迭代提示。有關範例，請參閱擴展 LLM 支援的文件理解。
透過微調支援模型定制
有了現在有能力的法學碩士，您通常可以透過及時的工程設計獲得出色的結果。然而，如果需要的話，能夠使用自訂資料集微調模型是有益的。
雖然可以透過恢復法學碩士的培訓來進行微調，但這需要大量的計算資源。作為微調所有模型參數的替代方法，通常利用參數高效微調 (PEFT)技術，該技術僅更改模型參數的子集。這可以用更少的計算資源來完成。
幸運的是，NIM 支援開箱即用的 PEFT 微調，因此您可以將 NIM 與自訂模型一起使用，而無需手動設定推理堆疊。
第二階段：LLM體系的持續改進
由高性能法學碩士提供支援的提高生產力的開發環境可實現快速開發迭代。但速度並不是一切。 Outerbounds 希望確保開發人員能夠快速行動而不破壞事物，並努力在很長一段時間內實現連貫、持續的改進，而不僅僅是短期實驗。 GitOps 是一個使用 Git 維護版本控制和持續改進的框架，是確保這一點的一個好方法。