Neural Magic的生成式AI性能工程和模型優化算法將增強紅帽AI,助力讓生產級AI更加易于實現和普及。
近日,紅帽宣布已完成對Neural Magic的收購。Neural Magic是一家在加速生成式AI(gen AI)推理工作負載的軟件與算法領域的先鋒企業。
通過此次收購,紅帽引入了推理性能優化和模型優化領域的專業能力,進一步推進其愿景,即在混合云的任意位置,根據客戶獨特需求提供高性能的AI工作負載支持。
支撐當前生成式AI應用的大型語言模型(LLM)雖然具有創新性,但往往成本高昂且資源消耗巨大,大多數組織難以有效利用。
為應對這些挑戰,紅帽認為,未來AI戰略的成功關鍵在于開發更小、更優化并采用開源許可的模型,通過在計算架構和部署環境中的開放創新來實現。
Neural Magic致力于將優化且高效的AI模型變為現實,這進一步增強了紅帽實現AI愿景的能力。
Neural Magic也是vLLM的主要貢獻者之一,vLLM是由加州大學伯克利分校開發的一個開源項目,專注于開放模型服務,這將為組織在構建和部署AI工作負載方面提供更多選擇和更高的可及性。
借助Neural Magic的技術與性能工程專業知識,紅帽致力于破解大規模企業AI面臨的挑戰,通過開源創新進一步推動AI變革的普及。具體路徑包括:
開源許可模型:提供從10億到數千億參數規模的模型,可靈活運行于混合云的任意環境中——包括企業數據中心、多云部署以及邊緣場景。
模型微調能力:幫助企業更高效地根據私有數據和特定用例定制大型語言模型(LLM),同時增強安全性。
推理性能優化專業知識:顯著提升運營效率和基礎設施利用率。
合作伙伴與開源生態系統支持:從LLM和相關工具,到認證服務器硬件及底層芯片架構,為客戶提供更豐富的選擇,滿足多樣化需求。
“選擇”這一理念對于今天的生成式AI至關重要,就如同幾年前的云原生和容器化應用一樣。成功的生成式AI戰略依賴于合適的環境(如云、服務器、邊緣等)、加速計算能力以及推理服務器。
紅帽始終致力于在混合云環境中為客戶提供廣泛的選擇,尤其是在AI領域。收購Neural Magic進一步鞏固了我們對這一承諾的支持。
Neural Magic的技術和專業能力將融入紅帽AI,打造一個專為生成式AI平臺設計的產品組合,秉承混合云架構,紅帽AI包括:
紅帽企業Linux AI (RHEL AI):基礎模型平臺,在Linux服務器上無縫開發、測試和運行IBM Granite開源許可LLM家族,支持企業應用。
紅帽OpenShift AI:AI平臺,提供工具快速開發、訓練、部署和監控機器學習模型,涵蓋本地、公共云及邊緣分布式Kubernetes環境。
InstructLab:由紅帽與IBM聯合創建的開源AI社區項目,通過協作改進開源許可的Granite LLM,利用InstructLab的微調技術,讓任何人都能參與塑造生成式AI的未來。
vLLM、LLM Compressor、預優化模型等將被整合到紅帽AI,讓Neural Magic成為紅帽AI平臺的關鍵組成部分。