In diesem Beitrag wird eine validierte Referenzarchitektur vorgestellt, die NVIDIA Dynamo für die verteilte KV-Cache-Verwaltung, IBM Storage Scale Erasure Coding Edition (ECE) als leistungsstarke gemeinsame Speicherebene, Supermicro-Petascale-Server sowie NVIDIA Spectrum-X-Ethernet kombiniert, um die kritische infrastrukturelle Herausforderung des KV-Cache-Schlüsselmanagements in groß angelegten Bereitstellungen generativer und agentischer KI-Inferenz zu bewältigen. Das Dokument stellt Optionen zur Dimensionierung der Bereitstellung vor, die von kleinen Proof-of-Concept-Umgebungen bis hin zu großen KI-Fabriken in Unternehmen reichen, und zeigt, dass eine auf gemeinsam genutztem Speicher basierende KV-Cache-Infrastruktur einen skalierbaren und kosteneffizienten Weg zu groß angelegten Inferenz-Bereitstellungen bietet.