在今天开幕的GTC 2024上,黄仁勋带来了新的B200 GPU,其拥有2080亿个晶体管,可提供高达20petaflops的FP4算力。
至于GB200,就是将两个GPU和一个Grace CPU结合在一起,可为LLM推理工作负载提供30倍的性能,同时还可能大大提高效率。英伟达也形象给出了提升的高度,比如训练一个1.8万亿个参数的模型以前需要8000个Hopper GPU和15兆瓦的电力。如今,2000个Blackwell GPU就能完成这项工作,耗电量仅为4兆瓦。
不过,英伟达并没有公布关于B200和其相关产品的价格,只表示亚马逊、谷歌、微软和甲骨文等公司都已计划在其云服务产品中装配NVL72机架,但没有公布这些公司的购买数量,只透露了亚马逊AWS已计划采购由2万片GB200芯片组建的服务器集群,可以部署27万亿个参数的模型。