在1月5日的2026年国外亏欠电子展（CES）上，首席实践官黄仁勋发布了名为“推理高下文内存平台”（ICMS）的全新硬件，旨在贬责东说念主工智能推理阶段爆炸式增长的数据存储需求。此举标记着AI硬件架构的要点正从单纯的算力堆叠向高效的高下文存储滚动，NAND闪存和SSD有望接棒HBM，成为下一个关节的增长引擎。

《韩国经济日报》在1月24日的著作中先容，黄仁勋在演讲中展示了一个被称为“推理高下文内存平台”（Inference Context Memory Platform，简称ICMS）的巧妙玄色机架。这并非往常的硬件更新，而是一个旨在贬责东说念主工智能推理阶段数据瓶颈的关节立异。记者猛烈地捕捉到，这可能是继HBM（高带宽内存）之后，存储行业的下一个爆发点。

这一平台的中枢逻辑在于贬责AI推理中的“KV缓存”（键值缓存）问题。跟着AI从单纯的学习阶段转向大边界推理当用，数据量呈爆炸式增长，现存的GPU显存和服务器内存架构已难以自傲需求。英伟达通过引入全新的数据处理单位（DPU）和海量SSD（固态硬盘），构建了一个浩荡的缓存池，试图突破这一物理限度。

这一时候变革对于韩国存储巨头电子和SK海力士来说，无疑是一个巨大的利好音问。报说念以为，跟着ICMS的推行，NAND闪存将迎来访佛HBM的“黄金期间”。这不仅意味着存储容量需求的激增，更预示着存储架构的根人性变革——GPU将可能绕过CPU，凯旋与存储树立进行高速通讯。

KV缓存爆炸式增长激勉存储蹙悚

韩媒著作指出，黄仁勋引入ICMS时候的中枢动因在于“KV缓存”的激增在AI推理期间，KV缓存是AI分解对话高下文、进行逻辑推理的关节。举例，当用户向AI商酌对于G-Dragon的复杂主不雅问题时，AI需要调用模子里面数据和历史对话高下文（即KV缓存）进行权重分派和推理，以幸免叠加谋略和幻觉。

跟着AI从单纯的学习转向推理，以及应用场景向多模态推广，所需处理的数据量呈现不规定且爆炸式的增长。英伟达发现，仅靠腾贵的HBM或旧例DRAM已无法容纳海量的KV缓存，而现存的服务器里面存储架构在应酬畴昔推理期间时显得疲于逃命。因此，一种能承载海量数据且保捏高效拜访的专用存储平台成为刚需。

DPU驱动的9600TB巨量空间

据韩媒著作，ICMS平台的中枢在于将DPU与超大容量SSD相王人集。著作转述英伟达先容，该平台采用了新的“BlueField-4”DPU，充任数据传输的“行政后勤官”，以缩小CPU管事。一个圭臬的ICMS机架包含16个SSD托架，每个托架配备4个DPU并经管600TB的SSD，使得单个机架的总容量达到惊东说念主的9600TB。

这一容量远超传统GPU机架。比拟之下，一套包含8个机架的VeraRubin GPU平台，其SSD总容量约为4423.68TB。黄仁勋示意，通过ICMS平台，捏造层面上将GPU的可用内存容量从以前的1TB提高到了16TB。同期，借助BlueField-4的性能提高，该平台结束了每秒200GB的KV缓存传输速率，灵验贬责了大容量SSD在集聚传输中的瓶颈问题。

开启NAND闪存黄金期间

著作指出，ICMS平台主要诓骗的是SSD，这凯旋利好NAND闪存制造商。往时几年，固然AI火热，但镁光灯主要蚁集在HBM上，NAND闪存和SSD并莫得受到同等进度的关怀。

英伟达将该平台定位为介于服务器里面腹地SSD和外部存储之间的“第3.5层”存储。与腾贵且耗电的DRAM比拟，由高性能DPU经管的SSD具备大容量、速率快且断电不丢失数据的上风，成为存储KV缓存的理思继承。

这一架构变革凯旋利好三星电子和SK海力士。由于ICMS对存储密度的极高条件，市集对企业级SSD和NAND闪存的需求将大幅攀升。此外，英伟达正在鼓舞“Storage Next”（SCADA）计议，旨在让GPU绕过CPU凯旋拜访NAND闪存，进一步摈弃数据传输瓶颈。

SK海力士已赶紧反映这一趋势。据报说念，SK海力士副总裁金天成领路，公司正与英伟达融合开拓名为“AI-N P”的原型产物，计议诓骗PCIe Gen 6接口，在本年年底推出援救2500万IOPS（每秒读写次数）的存储产物，并瞻望到2027年底将性能提高至1亿IOPS。跟着各大厂商加快布局，NAND闪存和SSD有望在AI推理期间迎来量价王人升的新周期。

以下是韩媒著作全文，由AI翻译：

英伟达首席实践官黄仁勋在2026年国外亏欠电子展（CES）上发布了一个巧妙的内存平台：“推理高下文内存平台”。今天，《科技与城市》栏目将真切探讨它究竟是什么。关节词：KV缓存在5日（当地时候）于拉斯维加斯举行的NVIDIA Live大会上，NVIDIA首席实践官黄仁勋在演讲死一火谈到了内存平台。我不禁竖起了耳朵。这会是下一个HBM吗？当天之星：玄色机架式 NVIDIA ICMS（推理高下文内存存储）。图片开头：NVIDIA首席实践官黄仁勋指着的是VeraRubin东说念主工智能谋略平台一角的一个玄色机架。这个机架，也即是咱们今天故事的主角，里面存放着海量的存储空间。最初，让我确认注解一下黄仁勋引入这项时候的原因。咱们应该从“KV缓存”提及，黄仁勋CEO在官方时局泛泛提到它。读者一又友们，你们可能在最近对于GPU和AI硬件的著作中也曾屡次听到过KV缓存这个名字。这个关节词在AI推理期间至关报复。它关乎AI分解对话高下文和高效谋略的能力。咱们举个粗略的例子。假定你掀开OpenAI的ChatGPT或Google Gemini，问一个对于韩国流行歌手G-Dragon的问题。如果用户问的是G-Dragon的音乐、前卫或职业等客不雅信息，AI不错凭据它学习到的信息回报。但是，聊了一会儿之后，用户顷刻间问：“那他为什么会成为他阿谁期间的‘偶像’呢？”这就好比问了一个莫得明确谜底的阐述题。这时，AI就初始推理了。这即是KV缓存的关节地点：键和值。最初是键。咱们很容易分解，但东说念主工智能使用键向量来了了地识别对话高下文中问题中的“阿谁东说念主”是谁，以及谜底的主题和谋略（键）。然后，它会诓骗模子里面临于G-Dragon以及在与用户对话经由中采集到的各式数据（值）的中间谋略死一火，进行权重分派、推理，最终得出谜底。如果莫得KV缓存，如果每个问题都像第一次相似再行谋略，GPU将叠加两到三次管事，从而缩短成果。这可能导致东说念主工智能出现幻觉和失实谜底。可是，KV缓存不错提高成果。基于“珍主见谋略”的推理，会重用从与用户的万古候对话中得到的各式数据并应用权重，速率更快，对话也愈加天然。图片由 NVIDIA 提供跟着东说念主工智能行业从学习向推理转型，这种键值缓存不再只是是缓助存储器。此外，所需的容量也在不停加多。最初，跟着越来越多的东说念主将生成式东说念主工智能融入日常生存，数据量的不规定激增不可幸免。跟着图像和视频服务的加入，对东说念主工智能高档推理和思象力的需求将进一步增长，数据量还将呈爆炸式增长。跟着东说念主工智能发现新信息的能力不停提高，它会在与用户的互动经由中，在各式场景下创建普遍有用的键值缓存（KV缓存）。面临键值缓存的爆炸式增长，NVIDIA 也对 GPU 流量进行了经管。他们将 GPU 分为两类：一类是普遍生成键值缓存的 GPU，另一类是使用键值缓存的 GPU。可是，存储空间不及以存储统统这些缓存。天然，服务器里面的内存容量很大。GPU控制是HBM内存→如果不够用，就用DRAM模块→如果果然不能，致使会在服务器里面使用SSD固态硬盘。可是，CEO黄仁勋似乎也曾刚烈到，这种架构在畴昔的推理期间将难以驾驭。因此，他在CES上发布了这款黑盒子。NVIDIA CEO 黄仁勋在 CES 2026 上推出 ICMS。图片由 NVIDIA YouTube 提供。DPU + 超大容量 SSD = KV 缓存存储专用团队这台玄色服务器是“推理高下文内存平台”，简称ICMS。让咱们仔细望望它的规格。最初，驱动ICMS的树立是DPU，即数据处理单位。读者可能对GPU和CPU比较熟练，但服务器的荫藏能源源——DPU也值得一看。NVIDIA首席实践官黄仁勋发布了BlueField-4 DPU。图片由NVIDIA提供。DPU（数据处理单位）就像队列中的行政后勤官。如果说CPU是连长，那么GPU即是谋略突击队员。DPU负责弹药和食品的运送，致使处理通讯和移动，使CPU大概作念出适合的方案，而GPU则专注于攻击。NVIDIA的新式DPU“Bluefield-4”被赋予了一项新任务：ICMS（集成施行经管系统）。目下，让咱们仔细望望ICMS平台。这个机架整个包含16个SSD托架。图片开头：NVIDIA每个托架配备四个 DPU，每个 DPU 经管 150TB 的 SSD。这意味着一个托架整个有 600TB 的缓存 SSD。这是一个至极大的存储容量。咱们来比较一下。假定在 Blackwell GPU 服务器中，为了最大化 KV 缓存，咱们在 SSD 舍弃区域装配了八个 3.84TB 的通用缓存 SSD。这么每台服务器就有 30.72TB 的 SSD，这意味着一个包含 18 台服务器的 GPU 机架的总 SSD 容量为 552.96TB。也即是说，单个 ICMS 托架的缓存 SSD 容量不错非凡一个 GPU“机架”所能容纳的容量。一个机架中的 SSD 总额为 600TB x 16，即 9600TB。这比一套完好的 VeraRubin 8 个 GPU 机架（4423.68TB，552.96 x 8）的 SSD 容量跳跃一倍多。图片由 NVIDIA 提供黄仁勋在CES演讲中示意：“以前GPU的内存容量为1TB，但通过这个平台，咱们得到了16TB的存储容量。”仔细思思，他的话似乎至极准确。一个完好的VeraRubin平台由八个GPU机架构成。每个机架有72个GPU，推断576张存储卡。将ICMS的总容量9600TB除以576张存储卡，得出约16.7TB。固然东说念主们仍然缅思服务器的物理距离和SSD的传输速率，但BlueField 4性能的提高缓解了这些问题。黄仁勋确认注解说：“咱们结束了与之前接头的每秒200GB的KV缓存传输速率。”此外，现存的GPU服务器存在集聚瓶颈，限度了7.68TB和15.36TB等大容量SSD的充分诓骗。这项基于DPU的集聚阅兵似乎恰是为了贬责这些问题。被视为“零”的NAND闪存的黄金期间行将到来吗？图片由 NVIDIA 提供NVIDIA 将此平台分手为 3.5 个内存组。第一组是 HBM，第二组是 DRAM 模块，第三组是服务器里面的腹地 SSD，第四组是服务器外部的存储。ICMS真切商酌了介于第三组和第四组之间的巧妙边界。与腾贵或耗电的 DRAM 不同，SSD 比硬盘速率更快、容量更大，即使断电也不会丢失数据（这收获于高性能 DPU），使其成为理思之选。该平台显著为三星电子和 SK 海力士提供了巨大的商机。仅一个机架就能加多 9,600 TB 的容量，这意味着他们不错销售比现存 NVIDIA 机架多数倍的 NAND 闪存，况兼这只是是按位谋略。此外，这款产物的开拓商是 NVIDIA，一家大师统统东说念主工智能公司都心弛神往的公司，因此商机愈加巨大。三星电子的服务器固态硬盘。即使东说念主工智能期间也曾到来，NAND闪存和固态硬盘的价钱一直滞后，瞻望本年第一季度将出现大幅高涨。图片由三星电子提供。往时三年，尽管东说念主工智能市集发展迅猛，但NAND闪存和固态硬盘(SSD)并未受到太多关怀。这主若是因为与在NAND闪存发展中施展关节作用的HBM比拟，它们的诓骗率较低。NVIDIA正从ICMS景况源流，筹备一个旨在进一步提高SSD诓骗率的景况。该景况是“Storage Next”（也称为SCADA，即Scaled Accelerated Data Access，边界化加快数据拜访）计议的一部分。目下，实践AI谋略的GPU将凯旋拜访NAND闪存（SSD）来获取各式数据，而无需经过CPU等限度单位。这是一个旨在摈弃GPU和SSD之间瓶颈的斗胆设思。SK海力士也已知道晓谕正在开拓AI-N P，以适合这一趋势。 SK海力士副总裁金天成示意：“SK海力士正与NVIDIA积极开展名为‘AI-N P’的初步实验（PoC）。”他确认注解说：“基于PCIe Gen 6、援救2500万IOPS（每秒输入/输出操作数）的存储原型产物有望在本年年底发布。”他还示意：“到2027年底，咱们将大概坐褥出援救高达1亿IOPS的产物。”2500万IOPS是目下固态硬盘速率的10倍以上。