埃隆·马斯克宣布在孟菲斯使用NVIDIA H100 GPU进行GROK 3训练

埃隆·马斯克（Elon Musk）已正式宣布在孟菲斯超级计算机设施开始GROK 3训练，该设施配备了NVIDIA最新一代H100 GPU。该设施被马斯克称为“世界上最强大的人工智能训练集群”，周一在单个RDMA结构上的10万个液冷H100 GPU的帮助下开始运行。

训练计划于孟菲斯当地时间凌晨4:20进行。马斯克在随后的推文中表示，世界上“最先进的人工智能”可能会在今年12月开发出来。马斯克还在推特上分享了X的成就，并祝贺xAI、X和NVIDIA的团队所做的出色工作。

xAI改变战略取消Oracle服务器交易

此前，xAI和Oracle最近取消了100亿美元的服务器交易。马斯克表示，最初预计将于2025年秋季投入运营的xAI超级计算工厂已经提前开始运营。

xAI早些时候曾将其人工智能芯片从甲骨文外包，但决定退出，以开发自己的先进超级计算机。该项目现在计划利用最先进的H100 GPU的潜力，每个GPU的成本约为30000美元。GROK 2使用了20000个GPU，而GROK 3需要五倍的GPU来构建更复杂的AI聊天机器人。

另请阅读：埃隆·马斯克就特斯拉50亿美元的xAI投资征求公众意见

这非常令人惊讶，尤其是因为NVIDIA最近刚刚宣布即将发布基于Hopper架构的H200 GPU。决定开始使用H100 GPU进行训练，而不是等待H200或即将推出的基于Blackwell的B100和B200 GPU。H200 GPU于第二季度投入量产，有望显著提高性能，但xAI的当务之急是利用现有的H100基础设施来实现其雄心勃勃的目标。

分析师质疑孟菲斯超星系团的电源

人工智能和半导体专家Dylan Patel最初对运行孟菲斯超星系团的电力问题表示担忧。他指出，目前7兆瓦的电网供电只能维持约4000个GPU。田纳西河流域管理局（TVA）预计将向该设施供应50MW的电力，该协议预计将于8月1日签署。然而，满足全部电力需求所需的变电站将在2024年底完工。

在分析卫星图像时，帕特尔指出，马斯克使用了14台VoltaGrid移动发电机，可以产生2台。每个5兆瓦。这些发电机总共产生35兆瓦的电力。除了来自电网的8MW外，这使得它的总功率达到43MW，足以为大约32000个H100 GPU供电，并具有一定的功率上限。