新浪科技訊 5月27日上午消息，全球開源解決方案提供商紅帽公司近日宣佈啓動新開源項目llm-d，以滿足生成式AI大規模推理需求。據悉，該項目與創始貢獻者CoreWeave、Google Cloud、IBM Research和NVIDIA合作打造，能夠利用突破性的大規模生成式AI推理技術，讓大語言模型（LLM）推理雲能夠滿足最苛刻的生產服務級目標（SLO）。
據Gartner數據，“到2028年，隨着市場的成熟，80%以上的數據中心工作負載加速器將專門部署用於推理，而不是訓練用途。”隨着推理模型日益複雜和規模不斷擴大，其對資源需求的持續攀升限制了集中式推理的可行性，並有可能因成本過高和延遲過長而使AI創新陷入瓶頸。
紅帽及其行業合作伙伴正通過llm-d應對這一挑戰，將先進的推理能力集成到現有的企業IT基礎設施中。據悉，該統一平臺使IT團隊能夠滿足關鍵業務工作負載的各種服務需求，同時部署創新技術以最大限度地提高效率，並顯著降低與高性能AI加速器相關的總體擁有成本（TCO）。
目前，llm-d已獲得了由生成式AI模型提供商、AI加速器先驅和主要AI雲平臺組成的聯盟的支持。CoreWeave、Google Cloud、IBM Research和NVIDIA是該項目的創始貢獻者，而AMD、思科、Hugging Face、英特爾、Lambda和Mistral AI是該項目的合作伙伴，這也表明，業界在構建大規模LLM服務的未來方面開展了深入合作。
Google Cloud AI與計算基礎設施副總裁兼總經理Mark Lohmeyer表示：“在企業大規模部署AI，併爲用戶創造價值的過程中，高效地AI推理至關重要。在我們進入推理的新時代之際，Google Cloud很榮幸能夠作爲llm-d項目的創始貢獻者，在我們開源貢獻傳統的基礎上再接再厲。”
NVIDIA工程AI框架副總裁Ujval Kapasi表示：“llm-d項目是對開源AI生態系統的重要補充，體現了NVIDIA對合作推動生成式AI創新的支持。可擴展、高性能地推理是下一波生成式AI和代理式AI的關鍵。我們正在與紅帽和其他支持合作伙伴合作，促進llm-d社區的參與和行業採用，利用NIXL等NVIDIA Dynamo創新幫助加速llm-d的發展。”（文猛）
責任編輯：楊賜