يقدم هذا البحث بنية مرجعية تم التحقق من صحتها، تجمع بين NVIDIA Dynamo لإدارة ذاكرة التخزين المؤقت للمفاتيح والقيم (KV) الموزعة، وIBM Storage Scale Erasure Coding Edition (ECE) بوصفه طبقة تخزين مشتركة عالية الأداء، وخوادم Supermicro Petascale، وشبكة NVIDIA Spectrum-X Ethernet، لمعالجة أحد أبرز تحديات البنية التحتية المتمثل في إدارة ذاكرة التخزين المؤقت للمفاتيح والقيم (KV) في عمليات نشر الاستدلال واسعة النطاق للذكاء الاصطناعي التوليدي والذكاء الاصطناعي الوكيل. ويعرض البحث خيارات لتحديد أحجام بيئات النشر، بدءًا من بيئات إثبات المفهوم الصغيرة وصولًا إلى مصانع الذكاء الاصطناعي الكبيرة على مستوى المؤسسات، موضحًا أن البنية التحتية لذاكرة التخزين المؤقت للمفاتيح والقيم (KV) القائمة على التخزين المشترك توفر مسارًا قابلًا للتوسع وفعالًا من حيث التكلفة لنشر الاستدلال على نطاق واسع.