AI-applikationernes appetit på memory er enorm. Kan hardwaredesignerne holde trit med efterspørgslen?
Artiklen har været bragt i Aktuel Elektronik nr. 3 – 2026 og kan læses herunder uden illustrationer
(læs originaludgaven her)
Af Justin Sears, Head of Product Marketing, SaaS, Altium
AI’s eksplosive fremgang fra smarte højttalere og wearables til autonome køretøjer og cloud-skalamodeller lægger et hidtil uset pres på elektronikkens hardwaredesign. Selv om GPU’er og acceleratorer ofte stjæler rampelyset, så er memory-komponenterne hastigt ved at blive den afgørende flaskehals i AI-systemer på samtlige niveauer i stacken.
AI-arbejdsopgaver afhænger af dybt integrerede memories med hurtige access-tider for support af de altid datasultne modeller. Uanset om man træner en generativ model i et datacenter eller kører objektdetektering i en edge-komponent, så er memory-båndbredden og kapaciteten nu de begrænsende faktorer for systemydelsen, for energieffektiviteten og den termiske stabilitet.
For at overholde kravene til ydelse kigger hardwareteams sig nu omkring efter flere nye optioner for memory-arkitekturer. De inkluderer High-Bandwidth Memory (HBM) for brede I/O’er og store throughputs i AI-træningen, GDDR6/GDDR7 til grafikrige eller inferenstunge opgaver, LPDDR5/LPDDR5X til energibegrænsede edge-AI-produkter og 3D-stackede DRAM’er for mere kapacitet på stadigt mindre footprints. Ser vi fremad, så ligner de non-volatile teknologier som MRAM og ReRAM gode løsninger til varig lagring af AI-tilstande og hurtigere boot-tider i edge-produkterne, om end disse teknologier fortrinsvis anvendes til udvikling af de kommende mainstream AI-applikationer. Hver af disse teknologier har deres helt egne constraints i forhold til effekt, kompatibilitet, termisk design, tilgængelighed og ydelse, og det kræver ofte designmæssige tradeoffs på systemniveau.
AI-hardwaredesign er defineret af memoryen
I traditionelle arbejdsflow i hardware-udviklingen kommer valg af memory typisk efter valg af CPU eller GPU, men inden for AI er den rækkefølge vendt på hovedet. Dagens hardwaredesignere må konstatere, at memory-valget er motoren i hele hardware-stacken med indflydelse på layout, forsyningsstrategi og produktets formfaktor.
Vælger man for eksempel en high-speed GDDR6-memory, kan man måske opnå en hurtigere inferens, men GDDR6 kræver dedikerede forsynings-rails og mere kompleks routing af printet og giver desuden termiske og støjmæssige udfordringer. Vælger man LPDDR5 til batteriforsynede mobile produkter, kan man spare energi, men til gengæld bliver båndbredden begrænset, ligesom det kan begrænse modelstørrelse og/eller inferensniveauet. Brug af HBM lukker op for massive throughputs, men kræver omvendt avancerede kapslings- og kølingsmetoder som fordampningskamre eller væskekøling, der begge medfører højere systemomkostninger.
Det er ikke teoretiske overvejelser. Da behovet for AI-memory udvikler og ændrer sig lynhurtigt, må designerne ofte låse sig fast på givne memory-footprints og interfaces tidligere i designprocessen, ofte før softwaremodeller og firmware er blevet til stabile faktorer i designet. Det øger risikoen i de tidligere designovervejelser. Et forkert valg af memory vil kunne kræve adskillige re-spins af printet eller omvendt begrænse fremtidige veje til opgraderinger.
Følsomhed i memory-produkternes supply chain
Med den eksplosive udbredelse af AI-modeller stiger også behovet for avancerede memory-løsninger. Desværre har mange memory-produkter, og især DRAM og NAND, længe fulgt cykliske og prismæssige markedsudsving, og væksten inden for AI øger følsomheden i prisudviklingen.
HBM, GDDR6 og LPDDR5 ses nu som ”strategiske bidrag” med en produktion koncentreret i Sydkorea, der er dominerende inden for DRAM, i Taiwan, hvor avanceret kapsling og foundry-services finder sted, og i Japan, der er kendt for materialer og specialiserede memory-produkter.
Denne geografiske koncentration har selvfølgelig visse risici som den geopolitiske ustabilitet (som Kinas sabelraslen i Taiwan-strædet), eksport- og handelsrestriktioner, flaskehalse i produktionen, da EUV-litografi og DRAM-specifikt udstyr er koncentreret i meget få fabs samt materialemangel (som fluorerede gasser til især fotoresistens), hvor alle faktorer kan kvæle komponentforsyning og -leverancer.
For designere, som arbejder med AI-drevne nye produktintroduktioner, er der en risiko for længere lead-tider og endda obsolescence for visse komponenttyper, hvis de enkelte producenters memory-roadmaps ændrer sig, eller produkttyper bliver vanskelige at skaffe.
Det handler ikke om kvantitet men om access
I AI-hardware hjælper mere memory ikke i sig selv, hvis det ikke er den rigtige memory – på det rigtige sted og konnekteret på den rigtige måde.
Skiftet fra generelle computerapplikationer til AI-centrerede arbejdsbelastninger får flere produktudviklingsteams til at overveje nye designtilgange. Memory-kredse med tæt indbyrdes placering reducerer eksempelvis latency, men kræver dybere integration med processorer og/eller SoC’er. Løsere sammenkoblede memory-produkter øger fleksibiliteten, men kan omvendt give flaskehalse afhængigt af arkitekturen. Memory-access mønstre – som tensor-reuse, strided access eller sparsity – skal være optimerede baseret på den aktuelle modelstruktur og computer-pipeline. Beslutninger om partitionering som lagring med vægt på HBM, aktivering i LPDDR eller midlertidige dataophold i NVM kan dramatisk påvirke ydelse, termiske profiler og batterilevetiden.
Kompatibilitet er et teknisk minefelt. Designere skal validere, at en memory ikke bare er elektrisk kompatibel med AI-chips, FPGA’er eller SoC’er, men den valgte memory skal også matches logisk i forhold til båndbredde, latency og parallelitet. Mispasning kan underminere regneydelsen, øge energiforbruget eller føre til utilstrækkelig brug af de ellers dyre hardware-acceleratorer.
Memory-planlægning fremad bliver nu en konkurrencemæssig fordel
De virksomheder, som i dag med succes lancerer AI-hardware, har ikke bare fokus på optimering af ydelsen. De indbygger også modstandskraft og robusthed i deres memory-strategi fra starten af designet.
Det betyder, at de tænker risici i sourcingen og status for livscyklus ind i valget af memory med simulering af memory-access og -throughput tidligt i designfasen. Det kræver samspil mellem teams på tværs af hardware, software og supply chain for at forudse bump på vejen og for investering i designplatforme, der supporterer real-time samarbejde og efterretninger og komponentsituationen.
Når design- og indkøbsteams arbejder i siloer, så kan beslutninger om memory-teknologi enten blive forsinkede eller ske isoleret, hvad der kan føre til dyre fejl og risikoen for at gå glip af markedsvinduer. Men når teams arbejder sammen fra starten, kan de lettere sammen identificere alternativer, fjerne problemerne omkring leveringsrisici og designe systemer, der optimalt balancerer forbrug, ydelse, og sikkerhed i memory-produkternes supply chain.
I takt med at designerne arbejder på at embedde AI i alt lige fra edge-sensorer til datacenterinfrastrukturen, bliver memory-teknologien den nye slagmark, hvor strategier for ydelse, skalérbarhed og tilgængelighed af komponenter kæmper mod hinanden. De designere, der vælger at se memory-produkterne som en væsentlig constraint frem for en eftertanke, vil sandsynligvis være dem, der med succes får deres produkter hurtigt ud på markedet, og som kan imødekomme de øgede AI-arbejdsbelastninger og dermed få en konkurrencefordel i forhold til kollegerne i branchen i kapløbet om næste generation af fremragende produkter.
