据日经亚洲，由于许多日本AI相关企业发现配备英伟达图形处理器(GPU)的服务器过于昂贵，业界正着手提供更具性价比的替代方案。美国人工智能基础设施公司Penguin Solutions(PENG.US)将于今年第四季度在日本推出MemoryAI KV缓存服务器，为当地AI相关公司提供一套成本更低的替代方案，无需额外采购英伟达GPU服务器。通过将大语言模型短期存储数据放置在GPU外部进行存放，每GB内存对应的使用成本能够降低至新增GPU对应成本的七分之一至三分之一。日本东棉电子与 Tomorrow Net 两家公司，也正在测试搭载Rebellions NPU芯片的AI推理服务器，该方案主打低功耗特性。相比盲目增加GPU，NPU和缓存服务器被视为更具成本效益的选择。