Hoe en Wanneer de Tekorten aan Geheugenchips Zullen Eindigen

Verenigde Staten - Ekhbary Nieuwsagentschap

Hoe en Wanneer de Tekorten aan Geheugenchips Zullen Eindigen

Als het tegenwoordig voelt alsof alles in technologie om AI draait, dan is dat omdat het zo is. En nergens is dit meer waar dan in de markt voor computergeheugen. De vraag en winstgevendheid van het type Dynamic Random-Access Memory (DRAM) dat wordt gebruikt om grafische verwerkingseenheden (GPU's) en andere accelerators in AI-datacenters van stroom te voorzien, zijn zo immens dat ze de levering van andere toepassingen omleiden, wat leidt tot een dramatische prijsstijging. Volgens Counterpoint Research zijn de DRAM-prijzen dit kwartaal al met 80-90% gestegen.

De grootste AI-hardwarebedrijven melden dat ze hun chipvoorraden tot 2028 hebben veiliggesteld. Dit laat echter alle anderen — fabrikanten van pc's, consumentengadgets en alle andere apparaten die tijdelijke opslag van miljarden bits vereisen — achter met een race tegen de klok om te gaan met schaarse leveringen en opgeblazen kosten. Hoe is de elektronicaindustrie in deze puinhoop terechtgekomen, en nog belangrijker, hoe zal ze eruit komen?

Economen en geheugendeskundigen wijzen op een samenloop van factoren: de historische boom-en-bust cyclus van de DRAM-industrie en de opbouw van een AI-hardware-infrastructuur van ongekende omvang. Tenzij er een aanzienlijke ineenstorting in de AI-sector plaatsvindt, wordt verwacht dat het jaren zal duren voordat nieuwe capaciteit en technologische vooruitgang vraag en aanbod op elkaar zullen afstemmen. Het is zelfs mogelijk dat de prijzen hoog blijven, zelfs nadat het evenwicht is bereikt.

Om de dynamiek van deze situatie te begrijpen, is het cruciaal om de belangrijkste drijfveer achter de vraag- en aanbodschommelingen te begrijpen: High-Bandwidth Memory (HBM). HBM vertegenwoordigt de poging van de DRAM-industrie om het vertragende tempo van de Wet van Moore te omzeilen door gebruik te maken van 3D-chip-packagingtechnologie. Elke HBM-chip bestaat uit maximaal 12 dun gesneden DRAM-chips, bekend als "dies". Elke die bevat een aantal verticale verbindingen, "through-silicon vias" (TSVs) genaamd. Deze dies worden op elkaar gestapeld, onderling verbonden door rijen microscopische soldeerballen die zijn uitgelijnd met de TSVs. Deze DRAM-toren — ongeveer 750 micrometer dik, meer lijkend op een brutalistisch kantoorgebouw dan op een slanke toren — wordt vervolgens gemonteerd op een zogenaamde "basis-die", die de dataoverdracht tussen de geheugendies en de processor beheert.

Deze geavanceerde technologische assemblage wordt binnen een millimeter van een GPU of andere AI-accelerator geplaatst, verbonden door maar liefst 2.048 micro-scale verbindingen. HBM's worden typisch aan beide zijden van de processor bevestigd, waardoor de GPU en het geheugen worden geïntegreerd tot één verpakte eenheid. Het doel van deze nauwe nabijheid en hogesnelheidsverbinding met de GPU is om de "geheugenmuur" te overwinnen — de energie- en tijdsbarrière die wordt aangetroffen bij het proberen om de terabytes aan gegevens per seconde die nodig zijn voor het draaien van grote taalmodellen (LLMs) naar de GPU te voeden. Geheugenbandbreedte is een kritieke bottleneck die de operationele snelheid van LLM's beperkt.

Hoewel HBM-technologie al meer dan tien jaar bestaat en DRAM-fabrikanten hun capaciteiten voortdurend hebben verbeterd, is het belang ervan voor GPU's exponentieel gestegen met de toenemende omvang van AI-modellen. Deze toename in belang is gepaard gegaan met aanzienlijke kosten. SemiAnalysis schat dat HBM doorgaans drie keer duurder is dan andere geheugentypes en 50% of meer van de totale kosten van een verpakte GPU vertegenwoordigt.

Branche-observatoren zijn het erover eens dat de DRAM-sector inherent cyclisch is, gekenmerkt door perioden van aanzienlijke bloei, gevolgd door zware recessies. Met nieuwe productiefaciliteiten (fabs) die 15 miljard dollar of meer kosten, aarzelen bedrijven sterk om de capaciteit uit te breiden en hebben ze vaak alleen de financiële middelen om dit te doen tijdens piekmomenten in de markt, zoals Thomas Coughlin, expert op het gebied van geheugen en opslag en voorzitter van Coughlin Associates, uitlegt. De bouw en ingebruikname van zo'n fabriek kan echter 18 maanden of langer duren, wat er feitelijk voor zorgt dat nieuwe capaciteit ruim na de initiële vraagpiek online komt, wat leidt tot marktverzadiging en prijsdruk.

De wortels van de huidige cyclus, zegt Coughlin, gaan terug tot de chiptekort paniek rond de COVID-19 pandemie. Om verstoringen in de toeleveringsketen te beperken en de snelle overgang naar werken op afstand te ondersteunen, kochten hyperscale datacenteroperators zoals Amazon, Google en Microsoft enorme voorraden geheugen en opslag op, waardoor de prijzen kunstmatig werden opgedreven. Vervolgens, toen de toeleveringsketens normaliseerden en de uitbreiding van datacenters in 2022 vertraagde, kelderden de prijzen van geheugen en opslag. Deze neergang duurde voort tot 2023, en dwong zelfs grote geheugen- en opslagbedrijven zoals Samsung om de productie met wel 50% te verminderen in een poging om te voorkomen dat de prijzen onder de productiekosten zouden dalen. Dit was een ongebruikelijke en nogal wanhopige maatregel, aangezien bedrijven doorgaans afhankelijk zijn van het laten draaien van hun fabrieken op volle capaciteit om hun investeringen terug te verdienen.

Na een herstel dat eind 2023 begon, "werden alle geheugen- en opslagbedrijven zeer terughoudend om hun productiecapaciteit opnieuw te verhogen", merkt Coughlin op. "Bijgevolg was er weinig tot geen investering in nieuwe productiecapaciteit gedurende 2024 en het grootste deel van 2025."

Dit gebrek aan nieuwe investeringen botst nu frontaal met een enorme vraagtoename, aangewakkerd door nieuwe datacenters. Wereldwijd zijn er bijna 2.000 nieuwe datacenters gepland of in aanbouw, aldus Data Center Map. Als al deze faciliteiten worden voltooid, zou dit een stijging van 20% betekenen in het wereldwijde aanbod, dat momenteel ongeveer 9.000 faciliteiten telt.

Als de huidige bouw in het beoogde tempo doorgaat, voorspelt McKinsey dat bedrijven tegen 2030 7 biljoen dollar zullen uitgeven. Het grootste deel van deze investering — 5,2 biljoen dollar — zal bestemd zijn voor AI-gerichte datacenters. Binnen dat deel zal naar verwachting 3,3 biljoen dollar worden toegewezen aan servers, dataopslag en netwerkapparatuur, aldus de voorspellingen van het bedrijf.

Nvidia, de GPU-fabrikant, is zonder twijfel de grootste begunstigde van de AI-datacenterboom geweest. De omzet van zijn datacenteractiviteiten steeg van iets minder dan 1 miljard dollar in het laatste kwartaal van 2019 tot 51 miljard dollar in het kwartaal dat eindigde in oktober 2025. Gedurende deze periode eisten zijn server-GPU's niet alleen steeds meer gigabytes aan DRAM, maar ook een toenemend aantal DRAM-chips. De recent uitgebrachte B300 maakt gebruik van acht HBM-chips, elk een stapel van 12 DRAM-dies. Concurrenten hebben het gebruik van HBM door Nvidia grotendeels weerspiegeld; bijvoorbeeld, de MI350 GPU van AMD bevat ook acht HBM-chips van 12 dies.

Met zo'n overweldigende vraag draagt HBM steeds meer bij aan de inkomstenstromen van DRAM-fabrikanten. Micron — de op twee na grootste producent na SK Hynix en Samsung — meldde dat HBM en ander cloud-gerelateerd geheugen 17% van zijn DRAM-omzet in 2023 uitmaakte, een cijfer dat in 2025 bijna 50% bereikte. Micron voorspelt dat de totale HBM-markt zal groeien van 35 miljard dollar in 2025 tot 100 miljard dollar in 2028, een cijfer dat groter is dan de gehele DRAM-markt van 2024.

Ekhbary Nieuwsagentschap