Este artigo apresenta uma arquitetura de referência validada, que combina o NVIDIA Dynamo para o gerenciamento distribuído de cache KV, o IBM Storage Scale Erasure Coding Edition (ECE) como camada de armazenamento compartilhado de alto desempenho, servidores Supermicro Petascale e a rede Ethernet NVIDIA Spectrum-X, para enfrentar o desafio crítico de infraestrutura representado pelo gerenciamento do cache de chave-valor (KV) em implementações de inferência de IA generativa e IA agêntica em larga escala. O artigo traz opções de dimensionamento para implementações que vão de pequenos ambientes de prova de conceito a grandes fábricas de IA corporativas, e demonstra que uma infraestrutura de cache KV baseada em armazenamento compartilhado oferece um caminho escalável e economicamente eficiente para a implementação de inferência em larga escala.