Red Hat, en førende leverandør af open source-løsninger, lancerer nu Red Hat AI 3, en ny generation af Red Hats AI-platform for virksomheder. Ved at kombinere de seneste innovationer i Red Hat AI Inference Server, Red Hat Enterprise Linux AI (RHEL AI) og Red Hat OpenShift AI gør platformen det enklere at skabe højeffektiv AI-inferens i stor skala. Det betyder, at det bliver nemmere for virksomheder at gå fra proof-of-concept til produktion og at styrke samarbejdet omkring AI-drevne applikationer.
Når virksomheder går fra at eksperimentere med AI til at opskalere anvendelsen, står de over for store udfordringer i form af databeskyttelse, omkostningskontrol og håndtering af forskellige modeller. Ifølge rapporten The GenAI Divide: State of AI in Business (udgivet af MIT NANDA) mislykkes hele 95 % af virksomhederne med at opnå målbare økonomiske resultater – trods samlede investeringer på omkring 40 milliarder dollars.
Red Hat AI 3 adresserer disse udfordringer ved at give CIO’er og IT-ledere en samlet platform til at maksimere deres investeringer i accelererende computerteknologier. Løsningen muliggør hurtig skalering og implementering af AI-arbejdsgange i hybride miljøer med flere leverandører – samtidig med at den styrker samarbejdet omkring nye generationer af agentbaserede AI-arbejdsgange. Red Hat AI 3 er bygget på åbne standarder og understøtter alle modeller på alle acceleratorer, fra datacentre til offentlige skyer, selvstændige AI-miljøer samt edge-baserede løsninger.
Fra træning til brug i den virkelige verden – skiftet til AI-inferens for virksomheder
I takt med, at AI bliver en del af produktionen og driften i virksomheder, skifter fokus fra modeltræning til inferens, den praktiske fase af AI for virksomheder. Red Hat AI 3 muliggør skalerbar og omkostningseffektiv inferens ved at bygge videre på succesfulde community-projekter som vLLM og llm-d, kombineret med modeloptimeringsløsninger til produktionsparat drift af store sprogmodeller (LLM).
For at hjælpe CIO’er med at få størst værdi ud af deres hardwareacceleration introducerer Red Hat OpenShift AI 3.0 llm-d, som redefinerer, hvordan LLM’er kører native på Kubernetes. llm-d muliggør intelligent distribueret inferens ved at kombinere Kubernetes-orkestrering med vLLM-ydeevne og ved at kombinere vigtige open source-teknologier såsom Kubernetes Gateway API Inference Extension, NVIDIA Dynamo Low Latency Data Transfer (NIXL) og DeepEP Mixture of Experts (MoE) Communication Library. Det betyder, at virksomheder får mulighed for at:
- reducere omkostninger og øge effektiviteten med modulær serving, som giver højere ydeevne pr. investeret krone.
- opnå enkel og pålidelig drift gennem veldefinerede “Well-lit Paths”, der forenkler og optimerer implementeringen af modeller i stor skala på Kubernetes.
- maksimere fleksibiliteten med platformsuafhængig understøttelse til implementering af LLM-inferens på en række hardwareacceleratorer, herunder NVIDIA og AMD.
llm-d bygger videre på vLLM og optimerer det fra at være en selvstændig, højtydende inferensmotor til at blive et distribueret og skalerbart system med en forudsigelig ydeevne, målbar ROI og effektiv infrastrukturplanlægning. Alle forbedringerne er direkte målrettet de udfordringer, der er forbundet med at håndtere meget variable LLM-arbejdsgange og med at implementere meget store modeller, såsom Mixture-of-Experts (MoE)-modeller.
En fælles platform for AI-samarbejde
Red Hat AI 3 tilbyder en fleksibel og samlet platform, som er designet til at bygge produktionsparate og generative AI-løsninger. Ved at forene arbejdsgange og fremme samarbejde giver den både platforms- og AI-engineers de nødvendige værktøjer til at realisere deres AI-strategi og til at skalere fra proof-of-concept til produktion og drift. Flere nye funktioner fokuserer på at levere den produktivitet og effektivitet, som kræves for at opskalere fra proof-of-concept.
Bliv klogere på Red Hat AI 3
