近日，紅帽宣布對Red Hat AI進行最新升級。

作為一套專為加速AI解決方案在混合云中開發與部署的產品與服務組合，Red Hat AI為企業提供強大的AI模型訓練與推理能力，提升性能效率，簡化使用流程，并具備靈活的部署選項，適用于各種混合云環境。

盡管企業努力降低大規模部署大語言模型（LLM）的成本，以支持不斷擴展的應用場景，但仍面臨一項關鍵挑戰：如何將這些模型與自身的專有數據深度融合，同時確保無論數據位于數據中心、公有云還是邊緣端，都能順暢訪問和使用。

Red Hat AI涵蓋紅帽OpenShift AI和紅帽企業Linux AI（RHEL AI），提供企業級AI平臺，助力用戶采用更高效、優化的AI模型。這些模型可基于企業專有數據進行微調，并可在混合云環境中靈活部署，支持訓練與推理，同時兼容多種加速計算架構。

紅帽OpenShift AI為預測性AI和生成式AI（Gen AI）提供全棧平臺，支持在混合云環境中管理AI生命周期，涵蓋機器學習運維（MLOps）和大語言模型運維（LLMOps）。該平臺不僅支持預測模型構建和生成式AI模型微調，還集成多種工具，簡化AI模型管理流程，包括數據科學、模型流水線、模型監控與治理等。

紅帽OpenShift AI 2.18作為該平臺的最新版本，引入多項更新與增強功能，進一步踐行Red Hat AI在混合云環境中提供更優化、更高效AI模型的愿景。核心功能升級包括：

• 分布式推理（Distributed Serving）：借助vLLM推理服務器，IT團隊可將模型推理任務分布至多個GPU協同處理，有效降低單一服務器負載，加速訓練與微調過程，提升計算資源利用率，同時實現AI模型服務的分布式部署，提高整體運行效率與穩定性。

• 端到端模型微調體驗：結合InstructLab與Red Hat OpenShift AI數據科學流水線，優化大語言模型（LLM）的微調流程，使其更高效、可擴展且可審計，并通過Red Hat OpenShift AI儀表盤實現統一管理，提升可視化與可控性。

• AI防護（AI Guardrails）：2.18版本引入AI Guardrails技術預覽，增強LLM的準確性、性能、響應速度和透明度。該功能可實時監控用戶輸入與模型輸出，提供額外的檢測機制，幫助IT團隊識別并降低仇恨言論、侮辱性或不當內容、個人身份信息、敏感商業信息及其他違反企業政策的數據風險。

• 模型評估：通過使用語言模型評估（lm-eval）組件，提供有關模型整體質量的重要信息。模型評估使數據科學家能夠對大語言模型（LLM）在多種任務中的表現進行基準測試，包括邏輯和數學推理、對抗性自然語言處理等，最終幫助創建更高效、更響應、更定制化的AI模型。

作為Red Hat AI產品組合的一部分，RHEL AI是一個基礎模型平臺，旨在更一致地開發、測試和運行大語言模型，以支持企業應用的運行。RHEL AI為客戶提供Granite LLMs和InstructLab模型對齊工具，這些工具封裝在可引導的紅帽企業Linux服務器鏡像中，能夠在混合云環境中部署。

RHEL 1.4版本于2025年2月發布，新增了若干增強功能，包括：

• Granite 3.1 8B模型支持：這是Granite模型家族中最新的開源許可版本，該模型新增了多語言推理支持和分類/知識定制功能（開發者預覽）。此外，支持128K上下文窗口，提升了摘要生成效果和檢索增強生成（RAG）任務的表現。

• 圖形化用戶界面（GUI）：新增的技能與知識貢獻管理界面（開發者預覽）簡化了數據攝取與分塊流程，并優化了用戶向AI模型添加自定義技能的方式。

• 文檔知識基準（DK-bench）：支持對基于相關企業專有數據微調的AI模型與相同基礎模型（未微調）進行性能對比，幫助更輕松地評估微調效果。

Red Hat AI InstructLab on IBM Cloud