手把手教你搭建GPU算力中心
（原标题：手把手教你搭建GPU算力中心）
要是您但愿可以时常碰面，迎接标星保藏哦~
开始：内容编译自semianalysis，谢谢。
AI Neoclouds 的崛起眩惑了通盘诡计行业的关注。从企业到初创公司，每个东说念主齐在诈骗它们来窥伺 GPU 诡计。即使是微软，尽管领有我方的数据中心建设和运营团队，每月也通过 AI Neoclouds 在 GPU 诡计上破耗约 2 亿好意思元。Nvidia 通过径直投资、大齐分派 GPU 以及在各式演宣战行径中的称许，预示着多个 AI Neoclouds 的快速增长。
AI Neocloud 被界说为一种新式云诡计提供商，专注于提供 GPU 诡计租出管事。这些纯正的 GPU 云为其客户提供顶端的性能和纯真性，但为其提供能源的经济性仍在不停发展，因为商场正在了解其生意模式的运作神态。
在文中，咱们将揭秘 Neocloud 的运行层面，从制定集群物料清单 (BoM)，到处理部署、资金和日常运营的复杂性。咱们将在 BoM 和集群架构方面提供几项要津忽视。
巨东说念主与新兴企业
AI Neocloud 商场由四类主要提供商提供管事：传统超大规模提供商、Neocloud 巨头、新兴 Neocloud 以及经纪商/平台/团聚商。
AI Neocloud 商场规模巨大，是 GPU 需求最故道理的增量驱动成分。总体而言，咱们合计 Neocloud 的增长将卓绝总需求的三分之一。
提供 AI 云管事的传统超大规模提供商包括 Google Cloud (GCP)、Microsoft Azure、Amazon Web Services (AWS)、Oracle、腾讯、百度、阿里巴巴。比较之下，Meta、xAI、字节逾越和特斯拉尽管也领有苍劲的 GPU 集群和可不雅的产能膨胀计议，但目下并不提供 AI 管事，因此不属于这一类别。
传统超大规模企业吸收多元化业务模式，因此老本成本最低，但其集成生态系统和数据湖以及现有企业客户群意味着其订价比其他企业高出许多。超大规模企业也倾向于从其云业务中取得高额利润，因此其订价远高于 AI 云的合理价钱。
与传统的超大规模企业不同，AI Neocloud Giants 的确只专注于 GPU 云管事。最大的企业目下或计议在畴昔几年内，其统统站点的总容量将远远卓绝 10 万个 H100 当量，其中一些企业计议为 OpenAI 提供数十万个 Blackwell GPU 。主要的三大 Neocloud Giants 是 Crusoe、Lambda Labs 和 Coreweave，后者是迄今为止最大的。与超大规模企业比较，它们的老本成本更高，但与新兴 AI Neoclouds 比较，它们普通好像以合理的速率更好地取得老本，这意味着 Neocloud Giants 的相对领有成本较低。
新兴 AI Neoclouds 包括咱们追踪的数十家云管事，这些云管事仍然领有极少容量，况且在运行数据中心基础设施方面相对短少教训。这些新贵普通具有较高的老本成本，亦然咱们今天将要点关注的类别。新兴 Neoclouds 中还包括许多属于 Sovereign AI 范围的区域参与者，Sovereign AI 是指任何专注于向好意思国或中国之外的次要塞区提供 AI 云管事的 AI Neocloud。
这些地区目下在 AI 技巧方面远远逾期，包括欧洲、印度、中东、马来西亚等。非凡是他们的客户普通但愿出于监管、隐秘、数据安全或其他生意原因将他们的 GPU 诡计排除在好意思国或中国之外。诚然大多数新兴 Neoclouds 要么领有不到 10，000 个 GPU，要么尚未部署 GPU，但其中许多齐有相称攫金不见人的计议，可能很快就会让其中一些干涉与 Neocloud 巨头雷同的定约。
终末，是牙东说念主、平台和团聚商，他们普通团聚需乞降供应，但经常老本较少，不肯径直承担 GPU 租出价钱风险，因此我方不领有任何 GPU。此类别中有两种主要的生意模式：平台模式提供雷同 Shopify 的平台，匡助 GPU 统统者和数据中心代表他们营销和匹配诡计资源；团聚商使用雷同亚马逊的商场模式，让 GPU 统统者好像向不同的买家提供诡计。
平台可以为想要领有 GPU 诡计才略但又不具备部署或营销集群专科常识的主机提供 IaaS 基础设施以及成就和采购解救。与亚马逊之类的商场团聚器比较，牙东说念主和平台普通需要更多的东说念主工战斗点，雷同于房地产牙东说念主，可以匡助您以交往价值的分红找到房屋。与任何经纪或商场管事一样，牙东说念主的收入分红对最终客户来说可能是不透明的。
另一种真谛的新兴生意模式是 VC 集群，即风险投资 (VC) 或雷同 VC 的实体为投资组合或其他附庸公司建立集群。盛名的例子包括 Andromeda、AI2、Computefund.ai和Andreesen Horowitz 计议的 GPU 集群。借助里面集群，这些 VC 可以提供相称纯果真诡计租出选项——在短时刻内提供大型 512 或 1k GPU 集群，远低于其他 Neoclouds 为换取股权而收取的用度。他们还可以提供是非的租出条目，以进一步向投资组合或附庸公司歪斜。
如何构建 AI Neocloud
一、了解集群物料清单
让咱们从一个苟简的框架动手。那么，您想启动 AI Neocloud 吗？您会奈何作念？这是咱们的分步指南，从 BoM 动手，终末成就 Neocloud。
明白和定制 AI 集群报价和物料清单 (BoM) 是 Neocloud 部署中最雄伟的成分之一，正确处理可能会决定利润率高下或财务逆境。咱们忽视从 CEO 到工程师和销售东说念主员的每个东说念主齐了解其 BoM 中的每一项居品。
目下部署的大多数 Neocloud 集群齐领有 2048 个或更少的 GPU。最常见的物理集群大小为 2048、1024、512 和 256 个 GPU，2048 个及以下 GPU 集群的部署成本随 GPU 数目线性增长。在本次分析中，咱们将要点分析 1024 个 GPU 部署，这是新兴 Neocloud 的共同点。
OEM 和 Nvidia 在报出 BoM 时当然会寻求涨价销售。BoM 普通细分为四类：诡计机箱级、机架级、集群级和软件级。
二、诡计机底盘物料清单
咱们将从最低的抽象层动手，即诡计机箱物料清单 (BoM)，这是集群中最不菲的部分。默许的诡计机箱 BoM 报价经常使用顶级组件 - Supermicro、戴尔等 OEM 最先会报价接近顶级的 Intel Emerald Rapids CPU，以及配备 2TB RAM 和 30 TB 土产货 NVMe SSD 闪存的系统构建。
微调此引文是 AI Neocloud 最苟简的优化方法。此优化的设施是遴荐中端英特尔 CPU，因为许多客户的职责负载无论如何齐不会使用太多 CPU。LLM 磨练是一项相称 GPU 密集型的职责负载，但对于 CPU 而言，职责负载强度相称低。CPU 主要运行苟简任务，举例 PyTorch 和司法 GPU 的其他程度、运蜿蜒聚集和存储调用，并可能运行造谣机治理表率。
总的来说，诚然 AMD CPU 在大多数 CPU 任务上阐发优异，但咱们忽视使用英特尔 CPU，因为英特尔 CPU 更容易取得正确的 NCCL 性能、更容易进行造谣化，而且全体体验乌有更少。
举例，在 AMD CPU 上，您需要使用 NCCL_IB_PCI_RELAXED_ORDERING 并尝试不同的 NUMA NPS 成就以完毕可接受的性能。要是您计议进行造谣化，则需要将造谣中枢正确固定到正确的 NUMA 区域，不然您的开导到主机和主机到开导的带宽和延长将不睬想。明确地说，要是您纯熟的话，这是可行的。
许多表率居品齐具有 2TB 的 CPU DDR5 RAM，但您的大多数客户不会使用那么多。RAM 是诡计机底盘 BoM 中第四不菲的部分。咱们忽视将表率的 2 TB RAM 左迁为仅 1 TB RAM。您的 Neocloud 的大多数客户不太可能研究 RAM 容量，因为他们的职责负载根柢不受 CPU RAM 放胆。
除了中枢诡计组件之外，另一个潜在的成本从简方法是删除表率报价中的两个 NVIDIA Bluefield-3 DPU。这些 DPU 最先是为传统 CPU 云开发的，并被宣传为一种成本从简技巧，可让它们出租更多 CPU 中枢，而不是让这些 CPU 中枢运行聚集造谣化。
可是您的 Neocloud 客户无论如何齐不会使用太多 CPU 诡计，因此要是您使用部分主机 CPU 中枢进行聚集造谣化，这并不雄伟。在许厚情况下，您无论如何齐会将裸机管事器交给您的客户，从而排除任何聚集造谣化的需要。此外，Bluefield-3 DPU 格外不菲，以至于购买另一个 54 核 CPU 比购买 Bluefield-3 更低廉。统统跳过 Bluefield-3，使用表率 ConnectX 手脚前端。
抽象接洽前几项成本优化，咱们揣度可量入为主 13600 好意思元，使一个诡计节点（即一台管事器）的成本从 270000 好意思元降至 256400 好意思元，量入为主约 5%。在领有 128 个诡计节点的 1024 H100 集群中，可量入为主 174 万好意思元。跟着数目不停增多，此价钱会越来越低。
在典型的 BoM 中，每台 H100 诡计管事器将配备八个 400Gbit/s ConnectX-7 NIC，从而使每台管事器的总带宽达到 3，200Gbit/s。一些 Neocloud 只遴荐了四个 NIC，这将使后端聚集带宽减少 50%。
诚然咱们合计这可能会为某些职责负载带来更好的总领有成人性能，但大多数 Neoclouds 的标的客户并不但愿每台诡计管事器的 InfiniBand 带宽低于 8x400Gbit/s。因为这确乎会影响职责负载性能。这是许多公司对 Google Cloud 反感的主要原因之一。Google Cloud 使用 Falcon/GRD 部署带有 8x200G 以太网的 H100。即使 Google 确乎可以量入为主资金，在某些情况下这也会影响性能。
目下，咱们先跳过机架级别，转到集群级别 BoM，从聚集动手，它是诡计节点之后最大的集群成本驱动成分。
集群级别 - 聚集物料清单
H100集群中有三种不同的聚集：
前端聚集（以太网）
后端聚集（InfiniBand 或 RoCEv2 以太网）
带外治理聚集
苟简追思一下，前端聚集只是一个普通的以太网聚集，用于投合互联网、SLURM/Kubernetes 和聚集存储，以加载磨练数据和模子查验点。该聚集普通以每 GPU 25-50Gb/s 的速率运行，因此在 HGX H100 管事器上，每台管事器的速率将达到 200-400Gbit/s。
比较之下，后端诡计结构用于将 GPU-GPU 通讯从数十个机架扩展到数千个机架。该聚集可以使用 Nvidia 的 InfiniBand 或 Nvidia 的 Spectrum-X 以太网，也可以使用来自 Broadcom 等交换机供应商的以太网，这些供应商包括 Artista、Cisco 和各式 OEM/ODM。与 Broadcom 以太网惩办决议比较，Nvidia 提供的选项更不菲。尽管以太网的每 TCO 性能，但咱们仍忽视 Neoclouds 使用 InfiniBand 或 Spectrum X，因为它具有最好性能，况且最容易销售，因为客户将 InfiniBand 与最好性能接洽在沿途。客户普通合计以太网“性能低得多”，尽管这并不响应现实。这主要源于 Neocloud 和客户必须进行工程优化才能优化 NCCL。咱们以前作念过这些，除非您领有优秀的工程东说念主才和时刻，不然这并阻难易。此外，许多东说念主合计 Nvidia 会为购买其聚集惩办决议的东说念主提供优先分派。
终末，还有带外治理聚集。它用于重新映像操作系统、监控节点健康情景（如电扇速率、温度、功耗等）。管事器、PDU、交换机、CDU 上的基板治理司法器 (BMC) 普通投合到此聚集，以监控和司法管事器和各式其他 IT 开导。
对于前端聚集，Nvidia 和 OEM/系统集成商普通会在管事器上领有 2x200GbE 前端聚集投合，并使用 Nvidia Spectrum Ethernet SN4600 交换机部署聚集。可是，咱们忽视不要这么作念，因为每台 HGX 管事器领有 400Gbit/s 的聚集带宽远远卓绝您的客户可能使用的聚集带宽。客户将仅使用前端聚集进行存储和互联网聚集调用以及 SLURM 和 Kubernetes 的带内治理。由于前端聚集不会用于延长敏锐和带宽密集型梯度，统统这些齐会减少集体通讯，因此每台管事器 400Gbit/s 会过度使用。因此，对于全体前端聚集部署，咱们忽视使用来自 Arista、Cisco 或各式 OEM/ODM 等供应商的通用以太网交换机，况且每台 HGX 管事器仅领有 2x100GbE。
下一个随手可取的效果是带外治理聚集。默许 BoM 包括 SN2201 Nvidia Spectrum 1GbE 交换机，但这些交换机的价钱格外高，对于像带外聚集这么苟简的东西来说，很难懂释其合感性。这格外于购买品牌 Advil 而不是通用布洛芬。使用任何通用带酬酢换机齐会诽谤带外聚集成本，因此，咱们忽视使用通用 1GbE 交换机。
优化后端聚集
后端聚集的遴荐变得愈加复杂，需要对高性能聚集有更真切的了解，而新兴的 Neoclouds 公司偶然可能短少这种了解。该聚集将运行 All Reduce、All Gather、Reduce Scatter 的大规模突发，即您的集体通讯。由于这些集体的突发性，后端聚集与传统云聚集比较具有统统不同的流量模式。
最先，咱们来谈谈 Nvidia 参考聚集拓扑。参考拓扑是一个具有无拦截投合的两层 8 轨优化胖树。在无拦截胖树聚齐集，要是您大肆将节点分红对，那么统统对齐应该好像同期以全带宽相互通讯。尽管在实践中，由于拥塞、不完善的自相宜路由和额酬酢换机跳数的特地延长，情况经常并非如斯。
当聚集进行 8 轨优化时，来自 4 台管事器的统统 32 个 GPU 不是投合到架顶 (ToR) 交换机，而是来自 32 台管事器的 8 个 GPU 索引中的每个 GPU 索引齐有我方的交换机。举例，来自统统 32 台管事器的统统 GPU #0 齐投合到叶交换机 #0，来自统统 32 台管事器的统统 GPU #1 齐投合到叶交换机 #1，以此类推。
轨说念优化聚集的主要上风是减少拥挤。要是来自归并管事器的统统 GPU 齐投合到归并个 ToR 交换机，当它们同期尝试将流量发送到聚齐集时，它们尝试使用雷同链路遍历胖树聚集的可能性会相称高，从而导致拥挤。用于 AI 磨练的 GPU 应该会按期一次性发送数据，因为需要集体操作来交换梯度并更新新参数。
下图第一张图展示了一个 8 轨优化聚集，其中有 8 个来自集体通讯的并行流用于投合 8 个不同的叶交换机，而第二张图展示了一个非轨优化联想，其中管事器投合到 ToR 交换机。
Nvidia 参考架构还将集群区分为 4 个 pod（也称为可扩展单元或 SU），每个 pod 包含 32 个 HGX 管事器（256 个 H100）和 8 个轨说念。每个 GPU 索引耐久与 pod 内另一台管事器中的雷同 GPU 索引相距一跳。这很雄伟，因为它可以减少骨干交换机上的聚集流量，而骨干交换机很容易成为拥塞热门（即使在非拦截聚集上亦然如斯）。
与广泛看法违犯，在多佃农环境（举例 GPU Neoclouds）中，优化轨说念并减少顶层流量/拥塞尤其雄伟，因为在这种环境中，您普通会有多个佃农/客户。在 8 轨说念优化聚齐集，每个职责负载的统统 8 个流齐是物理分离的，因此不会发生路由/交换冲突。在咱们行将推出的 Nvidia NCCL 和 AMD RCCL 集体真切探讨中，咱们将计议轨说念优化配置的平正以及为什么拥塞可能是一个严重的问题，尤其是对于 AI Neoclouds 等多佃农环境。
倒霉的是，拥塞问题无法通过 nccl-tests 纯粹测量，而是需要现实全国的并发职责负载才能了解嘈杂邻居/拥塞问题如何影响端到端职责负载蒙眬量。要是佃农之间莫得物理遮拦，嘈杂邻居将长期存在。鉴于咱们在拥塞问题上所看到的情况，咱们热烈忽视吸收某种花样的 8 轨优化拓扑。
轨说念优化拓扑的另一个平正是，由于大多数流量将在叶交换机土产货进行，久联配资因此可以逾额订阅聚集的骨干层，这是一种架构优化，咱们将在本文背面计议。
优化光纤与电气聚集
使用光纤进行联网的优点是传输距离更长，但过失是增多了功率要求，况且光纤收发器的成本相称高，尤其是径直通过 Nvidia 购买时，而这对于 InfiniBand 聚集来说基本上是必须的。优化物理聚集拓扑和机架布局可以减少光纤收发器的使用，只在践诺需要更长传输距离时才使用。
在 Nvidia 参考联想中，叶交换机位于单独的聚集机架上，而骨干交换机位于专用的聚集机架上，这意味着需要使用 100% 的光学器件。
为此，可以接洽使用一种聚集拓扑结构，即无拦截机架顶部 (ToR) 联想。大多数具有传统聚集布景的东说念主齐会立即认出这种联想，因为它是传统聚齐集最常见的联想，其中在机架中间或顶部有一个交换机，用于投合机架中的统统管事器。由于 ToR 交换机与管事器之间的距离小于 3 米，咱们可以使用称为径直投合铜缆 (DAC) 的“廉价”无源铜缆将管事器投合到叶交换机。对于这种联想，咱们忽视将 InfiniBand 交换机放在中间，以缩小 DAC 电缆需要传输的距离。
从叶交换机到顶层骨干交换机，咱们齐必须使用光纤。这很不菲，但至少 50% 的投合目下将被更低廉的 DAC 铜缆取代。
倒霉的是，对于这种联想，您将无法完毕 8 轨优化聚集，因此，即使您的骨干层是无拦截的，您也普通会遭受拥塞热门，因为目下有 8 个流跨越多个交换机级别，这意味着每个流齐需要动态使用不同的旅途来幸免拥塞。在领有竣工自相宜路由的梦想全国中，ToR 将手脚拓扑很好地职责，因为路由将耐久幸免拥塞路子。但在现实中，由于竣工的自相宜路由并不存在，因此完毕这种拓扑将严重毁伤聚集性能。
下图是咱们对这种无拦截机架顶部结构的模拟热图，其中浅蓝色暗示由于拥塞导致带宽减少，深蓝色暗示接近满线速率。如您所见，使用 ToR 拓扑可以达到线速率，但由于统统 8 个流齐干涉一个交换机，因此仍然存在格外大的拥塞，由于拥塞，蒙眬量变得愈加不踏实，况且这些流的带宽更少。
尽管这种联想的性能对于 Neoclouds 这么的多佃农环境来说并不是非凡好，但成本节免却是巨大的，量入为主了 34.8% 的后端 InfiniBand 结组成本。
造谣模块化交换机
目下，要是咱们可以兼顾两全其好意思的上风，既能优化 8 轨的性能上风，又能量入为主 ToR 的成本，那会怎么？
这便是造谣模块化交换机的作用所在。它具有与 Nvidia 参考联想雷同的逻辑拓扑，但由于奥密的平面筹算和交换机位置筹算，可以使用从叶交换机到骨干交换机的铜线。
这里的基本想想是将交换机机架径直扬弃在相互之间，这么骨干交换机位于中间机架，而叶交换机位于左机架和右机架，如下图所示。这么，叶交换机和骨干交换机之间的投合可以全部吸收铜缆，而管事器和叶交换机之间的投合仍将使用光纤。
由于拓扑仍针对 8 轨进行优化，因此 8 个流中的每一流齐将物理分离，从而显耀减少拥塞。
这种联想应该能让咱们两全其好意思，可是这种拓扑结构有什么过失呢？
倒霉的是，这些交换机到交换机的 DAC 铜缆经常波折半径较小，而且相称粗，导致气流受阻。咱们之前在坐褥中看到过雷同的联想，要是你能很好地治理电缆，这些问题就可以克服。这个问题也可以使用有源铜缆 (ACC) 来惩办，这种铜缆的确和多模光纤一样细，羼杂半径也很好。倒霉的是，咱们神话的一个潜在问题是 Nvidia 的 LinkX NDR ACC 电缆的乌有率不是很好。
使用这种无拦截造谣模块化交换机联想，与参考架构比较，咱们可以在后端聚集上量入为主 24.9% 的成本，同期保持雷同的性能。另一个巨大的平正是无源铜缆普通比光收发器更可靠。收发器故障率很高，激光器是故障的主要部件。这种高故障率带来了更换收发器零件、集群停机时刻和维修所需东说念主工方面的成本。
逾额订阅后端聚集优化
咱们可以通过破损无拦截聚集的放胆，进一步优化成本。由于大多数流量在 8 轨优化联想中位于 32 台管事器的 pod 土产货，况且由于 InfiniBand 具有足够好的自相宜路由，因此您可以联想从叶交换机到骨干的逾额订阅。即使集群将由仅运行一个职责负载的单个佃农使用，这也有平正。当使用 1024 个 GPU 时，您的单个模子副本长期不会大于 256 个 GPU。这意味着张量、巨匠和管说念并行性（经常需要更多的带宽）将在 32 台管事器的 pod 内运行。
该流量将停留在第一级交换机土产货，而带宽要求较低的数据并行、梯度和统统缩减将发生在骨干交换机上。由于骨干层的带宽要求处于较低水平，况且 InfiniBand 具有足够好的自相宜路由，因此您可以仅通过联想进行订阅。
在 Meta 的 24k H100 集群上，他们在 pod 之间完毕了 7:1 的逾额订阅，但咱们合计以更保守的逾额订阅进行联想更故道理，咱们忽视对微型集群仅使用 2:1 的逾额订阅。
这种联想的平正是，1024 个 H100 不需要 16 个骨干交换机，而只需要 8 个骨干交换机。当将 2:1 逾额认购与造谣模块化交换机联想相结合时，咱们可以在中间机架中装配更少的交换机。这意味着电缆治理要容易得多。另一个平正是您的叶交换机上有空端口，因此将来，当您的 pod 间流量较大时，您可以纯粹添加更多骨干交换机并诽谤逾额认购程度。
咱们揣度，与参考架构比较，使用造谣模块化交换机完毕 2:1 逾额订阅可量入为主 31.6% 的成本，外汇保证金交易这比仅使用非拦截造谣模块化交换机联想时量入为主的 24.9% 有所改善。非拦截联想的独一过失（除了成本较高）是您需要将客户合理地分派到物理管事器，并幸免 pod 畛域之间的碎屑化。咱们肯定，只须有一支有才略的团队，就可以纯粹完毕这一丝。
Nvidia 还通过 CS9500 系列为 NDR InfiniBand 提供了我方的物理模块化交换机。您可以使用此交换机创建雷同的 8 轨优化胖树拓扑，况且要是快意，还可以进行逾额订阅。此模块化交换机最多可解救 2048 个 400Gbit/s 外部端口，因此可扩展到投合最多 2048 个 H100。骨干交换机 ASIC 位于机架的背面，而叶交换机 ASIC 和 OSFP 笼位于机架的正面。骨干交换机 ASIC 通过雷同于 NVL72 背板的铜背板投合到叶交换机 ASIC。倒霉的是，只提供液体冷却惩办决议。
CS9500 的液体冷却要求是咱们忽视为大多数 Neoclouds 部署造谣模块化交换机而不是物理模块化交换机的原因。现时 GB200 驱动的液体冷却就绪主机托管需求以及主机托管供应总体紧缩意味着新兴 Neoclouds 不会有太多价钱合理的容量。由于 Nvidia 的订价基于对最终用户的价值，况且由于这种物理模块化交换机可能对大型集群部署相称有价值（想想 O(10k) 到 O(100k)），咱们合计这比只是制造您我方的造谣模块化交换诡秘破耗更多。
倒霉的是，使用 InfiniBand 的过失之一是，要领有一个可以的 REST 接口，您需要购买 UFM 治理许可证。斡旋结构治理器 (UFM) 是 Nvidia 提供的软件包，用于处理聚集治理、性能优化和监控。忽视在 2048 个 GPU 以下的集群中使用 UFM，对于更大规模的集群来说，这是一项硬性要求。UFM 许可证按每个 NIC 端点收费，这意味着对于 1024 个 GPU 集群，您需要购买 1024 个许可证。
购买 UFM 的另一种方法是使用绽开子网治理器，该治理器仅通过结尾大呼行界面提供，但交运的是，您可以创建一个苟简的 REST 管事器，该管事器包装大呼行并使用子程度 Python 库为您引申大呼。对于您的第一个集群，咱们忽视只购买 UFM 许可证，但对于畴昔的集群，咱们忽视 Neoclouds 接洽这一丝以量入为主成本。
AI Neocloud 存储
咱们将计议 H100 集群中下一个最不菲的部分，即联网 NVMe 存储。这是统统客户齐想要的东西，况且践诺上是运行 SLURM 的必要条件。存储部署基本上只好两个神态，即您的物理存储管事器和您的存储软件供应商许可证，举例 Weka 或 Vast Data 等。由于与 OEM 的渠说念团结关系，这些是最受迎接的供应商。
为了完毕高可用性，大多数存储软件供应商忽视您部署至少 8 台存储管事器。事实上，大多数 Neocloud 仅部署最低司法的 8 台存储管事器。使用 8 台存储管事器，您将在统统存储管事器上以大块大小取得 250GByte/s 到 400GByte/s 的团聚存储带宽。这足以自在在 1024 台 H100 上运行的大多数合理或分歧理的 AI 职责负载。
由于存储的录用周期相称短，咱们忽视您从 1024 H100 集群的总存储容量 2 PB 动手，因为要是您发现客户正在使用您部署的容量，您可以纯粹扩展存储。咱们忽视在您的存储部署中留出足够的端口、NVMe 驱动器托架、电源和机架空间，以便纯粹扩展。大部分存储成本齐在存储软件许可证中，而不是物理存储管事器自身。
尽管您的存储管事器可以在 InfiniBand 后端诡计结构上运行，但尝试过的东说念主依然耗损了许多头发！此部署普通会将您的 IB NIC 绑定到 GPU 0，以充任您的存储 NIC。在英豪存储基准测试中，这将提供很大的延长和高带宽，但在现实全国的职责负载中，这将导致您的 GPU 0 逾期，因为使用 IB NIC 进行存储会产生冲突。当存储集群中的磁盘发生故障时，将触发重建，这将在您的诡计结构上形成大齐的聚集流量，从而形成更大的拥塞。您可以购买单独的专用存储结构，但这是过度的，因为您可以在前端聚集上领有存储流量。
咱们忽视将存储管事器和流量放在前端聚集上。前端聚集普通未得到充分诈骗，因为它主要用于互联网流量、SLURM/Kubernetes 治理和索要容器映像。
更多聚集治理和软件包
在带内治理方面，为了运行高可用性 UFM 和 CPU 治理节点，咱们忽视部署至少三个 CPU 节点。在这三个节点中，两个节点需要 ConnectX NIC 来治理 InfiniBand 结构。第三个 CPU 节点将仅用于其他非 InfiniBand 治理任务。此外，还需要其他杂项 IT 开导，举例物理防火墙、42U 机架、受监控的 PDU 等，但这些开导的价钱不会显耀增多集群总老本支拨成本。
在默许的 Superpod 参考架构中，Nvidia 过甚 OEM 团合资伴会试图向您出售一种名为“Nvidia AI Enterprise”或“Base Command Manager (BCM)”的居品，其忽视零卖价为每 GPU 每年 4，500 好意思元。BCM 是一个提供 AI 职责流和集群治理的软件包，但由于大多数客户会自在我方的职责流需求，因此对于 Neocloud 企业来说，这不是一款有价值的软件，但销售代表仍会将其手脚运转采购订单的一部分进行营销。这是咱们 SemiAnalysis Optimized Cluster BoM 的另一个巨大成本量入为主开始。
集群 BoM 老本支拨摘录：
参考架构与半分析优化架构
如下所示，使用 Nvidia Superpod 参考架构 (RA)，集群的总成本达到每台诡计管事器约 31.8 万好意思元（不包括存储），但使用 SemiAnalysis 优化架构和 2:1 逾额认购，总总成本仅为每台诡计管事器 28.3 万好意思元（也不包括存储）。咱们通过谈判匡助 Neoclouds 进一步优化，尤其是在大型集群上进一步削减成本。
驱动表率、用户体验和软件
要是您来跋扈型科技公司或国度 HPC 实验室，那么用户需求就很苟简。用户需要平素运行的 GPU、聚集、正确装配的驱动表率、平素运行的分享存储和蜿蜒表率（举例 SLURM 或 Kubernetes）。关联词，现实情况是，绝大多数 Neocloud 齐无法自在这些用户需求，从而导致用户体验欠安。
从运行 GPU 所需的 GPU 驱动表率动手 - 咱们需要 cuda-drivers-5xx 和 fabricmanager-5xx 以及 cuda-toolkit-12-x。
Cuda-drivers-5xx 是 ubuntu/Linux 与 GPU 交互所需的内核空间 Nvidia 驱动表率。接下来是 fabricmanager-5xx，这是一个阐发配置节点内 NV 链路结构的软件包。要是莫得 fabricmanager-5xx 包，节点内的 8 个 GPU 将无法通过 NV 链路相互通讯。Cuda-toolkit-12-x 是包含统统效户空间器用和 API 的器用包，举例 NVCC，它是将 CUDA C++ 代码编译为 PTX 汇编和 Nvidia 机器代码的编译器。
对于聚集，需要在每个 GPU 管事器上装配 Mellanox OpenFabrics Enterprise Distribution (MLNX_OFED) 驱动表率。此软件包是 ConnectX-7 InfiniBand NIC 的驱动表率，用于引申 RDMA（汉典径直内存窥伺）和 OS 内核旁路。为了让 GPU 径直与 NIC 通讯，您还需要GPUDirect RDMA，这是一个附加内核驱动表率，包含在 cuda-drivers-5xx 中，但默许情况下未启用。要是莫得此驱动表率，GPU 将需要在 CPU RAM 中缓冲音信，然后这些音信才能发送到 NIC。启用 GPUDirect RDMA 的大呼是“sudo modprobe nvidia-peermem”。为了进一步优化 GPU 与 NIC 的通讯，您需要下载一个名为 Nvidia HPC-X 的软件包。
要是莫得上述 GPUDirect RDMA 和 HPC-X 软件包，您的 GPU 只可以 80Gbit/s 的速率发送和吸收流量，而每 GPU 的清楚速率为 400Gbit/s。启用这些软件包后，您的点对点发送和吸收速率应达到 391Gbit/s，而清楚速率为 400Gbit/s。
接下来，用户需要一个蜿蜒和启动软件包。在 Neocloud 商场中，70% 的用户但愿 SLURM 可以开箱即用，另外 20% 的用户但愿 Kubernetes 可以开箱即用，终末 10% 的用户大多但愿装配我方的蜿蜒表率。
对于 Neoclouds 来说，让 SLURM 或 Kubernetes 开箱即用相称雄伟，因为最终用户普通莫得装配这些类型的蜿蜒表率的教训。这是因为来跋扈型科技公司或国度/大学实验室布景的用户普通有专门的东说念主员阐发装配和操作这些 SLURM 软件。最终用户必须花 1-2 天时刻我方装配 SLURM，这笔用度是格外可不雅的，因为他们践诺上是在为装配时间闲置的 GPU 集群付费。
终末，100% 的客户还必须好像在需要时手动将交互式结尾（即 ssh）接入其 GPU 节点 - 托管 SLURM 可提供此功能。使用 SLURM，您可以运行“srun –gres=gpu=8 -w NODE_NAME –pty bash”以将交互式结尾接入任何节点。
Crusoe 和 TogetherAI 等 Neocloud 是黄金表率。由于它们开箱即用，装配了统统必需的 InfiniBand 驱动表率、GPU 驱动表率和蜿蜒软件，因此它们可以收取比竞争敌手更高的用度，况且客户流失率更低。
取得最廉价值体验的下一个用户要求是领有一个直爽的分享主目次和分享数据存储目次。统统 GPU 节点和登录节点齐将在 /home/$USER/ 和 /data 处装配分享存储。这践诺上意味着，当最终用户可以在职何 GPU 节点中启动交互式结尾时，该节点将具有雷同的主目次和文献。这相称棒，因为这意味着分派给用户的每个 GPU 节点齐是可互换的，用户无需暖和他们正在使用哪个 GPU 管事器。此外，在启动多节点磨练功课时，用户的统统代码齐会自动出目下每个 GPU 节点上，因此用户无需通过 ssh (scp) 手动将代码复制到每个节点。
使用 Neocloud 存储时，用户对存储感到懊悔的主要原因是文献卷立时卸载以及用户遭受大齐小文献 (LOSF) 问题。惩办立时卸载问题的方法是使用名为“ autofs ”的表率，该表率会自动保持分享文献系统处于挂载状态。
其次，LOSF 问题可以纯粹幸免，因为只好当您决定推出我方的存储惩办决议（如 NFS 管事器）而不是为 Weka 或 Vast 等存储软件供应商付费时，它才会成为问题。要是集群上存在 LOSF 问题，那么最终用户很快就会贵重到集群上的 LOSF 问题，因为即使将 PyTorch 导入 Python 的时刻也会导致统统滞后。
下图是咱们在 Crusoe 集群上进行测试时生成的，展示了经过优化且不存在 LOSF 问题的集群存储惩办决议应如何运行。如您所见，即使增多 GPU 数目，将 PyTorch 导入 Python 程度所需的时刻也保持相对牢固。
这与在未优化的分享存储上运行的集群有着一丈差九尺，在 Python 多节点磨练运行中导入 PyTorch 所需的时刻激增，普通导致集群统统无法使用。请贵重 Crusoe（黄金表率）与另一个存在 LOSF 问题的集群之间的各异。
多佃农
除非通盘客户（佃农）耐久租用通盘物理集群，不然每个物理集群可能齐会有多个并发客户。这意味着您需要遮拦前端以太网和后端 InfiniBand 聚集，并在客户之间完毕有储遮拦。每个客户普通会将每个 GPU 管事器手脚一个全体来租用，这意味着在诡计管事器上造谣化并不是严格需要的，因为每个物理管事器只好一个客户。花时刻细分节点是不值得的。使用表率 vLAN 可以纯粹为前端以太网成就遮拦。在 vLAN 中，诚然物理以太网结构是分享的，但每个客户的节点只可与分派给归并客户的其他节点通讯。
与以太网 vLAN 比较，InfiniBand 多佃农的成就和自动化并不那么容易，但学习弧线相称快。在 InfiniBand 全国中，聚集遮拦是使用分区密钥 (pKeys) 完毕的 - 践诺上与 vLAN 的主张雷同。每个客户齐通过 pKeys 取得我方零丁的 InfiniBand 聚集，况且只好具有雷同 pKeys 的节点才能相互通讯。
可以通过 UFM UI 神情板或使用UFM REST API纯粹创建和附加 pKey 。对于许多工程师来说，这践诺上可能比自动化以太网 vLAN 更容易，因为有一个易于使用的 InfiniBand pKeys POST/GET/DELETE API。
倒霉的是，咱们从我方的测试教训中发现，一些 Neocloud 的 pkey 成就不正确，导致一个客户的用户好像看到 InfiniBand 聚集上其他佃农的节点。咱们热烈忽视客户躬行考据他们的 InfiniBand 聚集是否与其他客户正确遮拦。
对于存储而言，多佃农尤为雄伟。交运的是，存储治理也格外苟简，因为 AI 领域的主要存储提供商 Weka 和 Vast 齐解救多佃农手脚首要原则。
在 Weka 和 Vast 的数据软件中，您可以纯粹创建佃农（在 Weka 中称为组织）并为每个存储卷成就窥伺司法计谋，以便仅分派给一个佃农。该软件提供了强有劲的保证，要是计谋成就正确，则每个客户的用户只可窥伺他们我方的存储卷。
裸机或造谣化
对于 H100 SXM，最小诡计单元是一台管事器，这意味着每台管事器每次只可有一个客户。这意味着可以在保持安全性的同期进行裸机部署。裸机是可能的，而且确乎很常见，但咱们确乎看到使用造谣机具有特地的平正，举例更长的平均复原时刻和更强的可靠性。
使用造谣机时，要是客户正在使用的物理 GPU 管事器出现故障，那么 Neocloud 好像纯粹地在热备用管事器上为客户移动或启动新的造谣机。
可以使用开源造谣机治理表率（举例 qemu-kvm）在 GPU VM 上创建造谣机，它将启动您的 VM，在其中将 vCPU 固定到物理 CPU，并留住几个未固定的中枢来运行造谣机治理表率。
您还需要将 vLAN 以太网接口绑定到 GPU VM。使用通用造谣机治理表率创建 CPU VM 是一项苟简的任务，如今大多数诡计机科学毕业生齐可以作念到。要将 VM 变成 GPU VM，您还需要对 GPU 和 InfiniBand NIC 进行 PCIe 纵贯。对于 Neoclouds 来说交运的是，NVIDIA 尚未找到一种方法来对其 GPU 和 NIC 上的 PCIe 纵贯收费。咱们还看到 Neoclouds 使用SR-IOV创建造谣 InfiniBand NIC 并将其传递到造谣机中，而不单是是物理 InfiniBand NIC，尽管使用 SR-IOV 并不是严格必要的。
您需要记着引申的另一个设施是通过 NCCL_TOPO_FILE 变量手动传递 /etc/nccl.conf 中的 NUMA 区域和 PCIe 拓扑文献，因为 NCCL 和 Nvidia 驱动表率目下在该 GPU VM 内运行，因此无法自动检测 NUMA 区域和 PCIe 拓扑。要是莫得此设施，NCCL 性能将以应有带宽的 50% 运行。
与裸机比较，使用造谣机的过失之一是，由于启用了IOMMU， CPU 到 GPU 的传输带宽和延长会略慢。但咱们合计使用造谣机是值得的，因为它对最终用户来说平均复原时刻更快，而且主机到开导 (HtoH) 的传输普通与诡计相通，因此对最终用户来说致使可能不会有赫然的影响。
由于 CPU RAM 为 1-2TB，开箱即用的 kvm-qemu 造谣机治理表率需要很永劫刻才能启动 VM。比较之下，使用 cloud-hypervisor 进行了优化，系统使用多个 pthreads 并行对内存进行预故障，从而将 1TB 的内存预故障时刻从 80 秒缩小到仅 6 秒。此优化由 Crusoe Cloud 创建，交运的是已上传。证据咱们的测试，Crusoe 的 VM 好像在不到 90 秒的时刻内启动。
快速启动的雄伟平正是，当客户的 GPU 管事器不能幸免地出现故障时，Neocloud 操作员可以相称快速地将 VM 部署到其热备用节点并将其添加到客户的 SLURM 集群中，从而使客户好像相称快速地复原磨练。
监控和常见乌有
在监控神情板方面，咱们至少忽视通过 Grafana 和 Prothemeus 使用 Nvidia Datacenter Manager 神情板，以便用户追踪 GPU 温度、电源使用情况和行径XID 乌有。
此外，咱们还忽视 Neoclouds 装配 ipmi-exporter 来监控全体电扇速率、温度和其他 BMC 目标。在运行 CPU 部署时，使用某种集聚式神情板来高傲统统这些目标是表率作念法。
监控的软件架构包括在每个 GPU 节点上装配一个 IPMI 导出器和 DCGM 导出器，然后在 CPU 治理节点上部署 Prometheus 握取器以与 GPU 导出器通讯并将数据存储在 InfluxDB 数据库中。接下来，Grafana Web 管事器可以投合到 Prometheus 以可视化聚集的数据。
高档 NeoCloud 操作员还将领有一个 promtail 记载器，用于汇总每个管事器的会诊音信 (dmesg) 日记。应实时标记的两个常见 dmesg 音信是电缆被拔出以及 NIC 和/或收发器温渡过热。这些音信中的任何一个齐可能标明您有一个不踏实的 InfiniBand 链路，需要在客户动手流失之前实时惩办。
遭受的另一个常见乌有是 GPU 通过 dmesg 或 DCGM XID 乌有汇报根柢莫得乌有，但输出乌有的矩阵乘法结尾。这些乌有称为静默数据损坏 (SDC)。详情 GPU 上是否有 SDC 的最苟简方法是使用 Nvidia DCGMI 会诊级别 4 器用 (sudo dcgmi diag -r 4)。该器用将拿获 95% 的最常见 SDC，但倒霉的是会错富有余 5% 的 SDC，导致相称漫长的调试过程和相称大怒的客户。
NCCL 死锁和停滞齐口角时时见的问题，可能会导致磨练功课停滞 30-35 分钟，然后 PyTorch 的 NCCL 看门狗会辩别通盘磨练功课。咱们合计，要是 Neoclouds 添加我方的后台 NCCL 查验器来查验行径的 SLURM 功课并观看功课在以前 4 分钟内是否使用了卓绝 150W 的电量，那么 Neoclouds 可以在此领域为客户增涨价值。要是用电量低于 150W，这可能意味着 NCCL 挂起况且存在某种死锁，机器东说念主可能会自动向客户发送电子邮件，提醒他们重新启动 SLURM 功课。
一些最常见的 InfiniBand UFM 乌有代码包括 110（标记乌有）、112（集聚中断）、329（集聚中断）、702（端口被视为不健康）和 918（标记位乌有告戒）。咱们普通忽视用户在追踪 UFM 乌偶然，要是遭受上述任何乌有代码，应立即接洽工程师进行进一门径查。但践诺上，这些问题可能依然给 Neocloud 的许多客户形成了严重问题，他们依然向 Neocloud 运营商发送了垃圾 ping 音信。
咱们热烈忽视 Neocloud 运营商使用 Jira 等解救票务系统来追踪统统硬件故障和客户问题。要是莫得票务和客户治理系统，问题就会被忽视，导致客户流失率增多。
更多指示和测试
咱们莫得看到许多 Neocloud 操作员使用的另一个功能是 SLURM topology.conf。SLURM 拓扑配置功能将启动用户的 SLURM 磨练功课并为每个等第分派一个 SLURM_ID，以减少骨干级流量。对于某些雄伟音信，最好地分派 SLURM_ID 将导致 20-30% 的速率下落。咱们将在行将举行的 Nvidia NCCL 和 AMD RCCL 集体交流真切探讨中进一步计议这一丝。
一般来说，咱们忽视您使用nccl-tests来分析您的集群，并与 Nvidia 和您的 OEM 的参考编号进行比较，望望是否存在职何性能不及或下落。
为了使 NCCL 测试变得苟简，咱们正在开发一个名为 ClusterMAX-NCCL 的单行函数来运行并将您的集群与一组参考结尾进行比较。
在 ClusterMAX-NCCL 中，咱们针对统统不同类型的集聚体测试了从 16MiB 到 256MiB 的统统雄伟音信大小。咱们最近推出了此器用的测试版，解救单节点 NCCL 测试。以下是加载和运行 ClusterMAX-NCCL 的一瞥代码：
docker run --gpus all --ipc=host --shm-size 192G -v $(pwd)/results:/workspace/results semianalysiswork/clustermax-nccl
要是您的节点配置正确，您应该会看到雷同以下的结尾：
提供具有竞争力的价钱、苍劲的可靠性和正确成就的集群是大多数 Neocloud 的主要价值各异。咱们在这个集聚之外看到的独一各异化价值来自 Neocloud TogetherAI，Flash Attention 的发明者 Tri Dao 就在那边职责。TogetherAI 为其 GPU 客户提供一组独家的超优化 CUDA 内核，这些内核可以纯粹集成到客户现有的磨练代码中，从而为客户带来 10-15% 的磨练蒙眬量性能快速支持。
基本上，通过好像将磨练速率提高 10-15%，客户可以量入为主 10-15% 的 GPU 支拨，或者使用雷同的 GPU 好意思元预算，在 10-15% 以上的代币上磨练他们的模子，从而提高模子性能。咱们合计，要是不克隆 Tri Dao，Together 创造的价值就无法在其他地点复制。
集群部署和验收测试
集群部署普通诈骗 OEM 的机架规模集成和部署团队。这些团队将在单个管事器级别和集群范围级别进行集成和测试，在此时间，聚集测试将在 OEM 的集成工场进行。咱们忽视集群范围的高温老化应接续至少 3-4 周，以拿获节点组件中统统与早期失效接洽的故障。集成团队使用 LINPACK 手脚老化和验收经由非时时见，但咱们合计这不是一个很好的测试，因为 LINPACK 不会大齐使用聚集，也不会占用太多 GPU 的 HBM 内存，而是仅使用和测试 GPU 的 FP64 中枢。比较之下，ML 磨练相称依赖聚集、HBM 和 BF16/FP16/FP8 张量中枢，因此，咱们合计需要进行践诺老化接洽组件的老化和验收测试。
在集成工场完成集成和老化后，OEM 将打包统统机架和电缆，运输到 Neocloud 的数据中心，之后还需要两周时刻才能将集群部署到这个主机托管数据中心。咱们忽视 Neoclouds 在现场成就集群后再进行 2-3 天的老化/验收测试，即使集成工场老化依然完成。这是为了确保在运载或现场部署过程中莫得硬件损坏。一个非时时见的问题是，由于在运载和成就过程中光纤投合端点上蕴蓄的灰尘导致 InfiniBand 链路抖动。惩办此问题的方法是清洁抖动端点的光纤末端。但偶然还有更深端倪的问题需要发现和惩办。
日常运营
Neoclouds 的日常运营主要包括一次又一次的“打地鼠”。领有追究的里面治理和调试器用将使这个过程获胜进行，致使令东说念主相称欢腾/抖擞，但许多时候 Neoclouds 莫得足够的工程师来构建这些器用，因为具有讥笑意味的是，大多数工程师的时刻将花在“打地鼠”上，而不是构建更好的“打地鼠”器用。
集群中最常见的问题包括 IB 收发器抖动、GPU“从总线上掉下来”、GPU HBM 乌有和 SDC。大多数情况下，只需对物理管事器进行硬重启，或者在许厚情况下构建 UI 按钮或教客户我方对管事器进行硬电源轮回，即可惩办这些问题。在其他情况下，惩办问题的方法是拔下并重新插入 InfiniBand 收发器或排除光纤电缆上的灰尘。其他情况下，需要致电 OEM 或系统集成商，取得保修 RMA 以统统更换通盘管事器。
如上所述，Neocloud 集群早期阶段的故障非时时见，因为大多数 Neocloud 在录用给客户之前不会在集群中进行烧机测试。正如 Yi Tay 所贵重到的，在可靠性方面，未进行烧机测试的集群比进行烧机测试的集群差几个数目级。
这是 TogetherAI 和 Crusoe 得分很高的另一个方面，因为它们是为数未几的在将集群叮嘱给客户之前进行数周磨合的 Neocloud 之一。此外，雇用和留住领有多年 Nvidia GPU 和 InfiniBand 聚集操作教训的东说念主员的公司经常会遭受更低的故障率，因为对于如何正确调试和退缩 AI 集群发生乌有的未成文部落常识库中包含了大齐对于如何成就可靠集群的常识。
咱们发现，对于领有 512 个 H100 的集群，顶级 H100 运营商普通平均故障间隔时刻为 7 天。对于这些顶级运营商来说，大多数情况下，只需重启节点即可纯粹确立故障。
https://www.semianalysis.com/p/ai-neocloud-playbook-and-anatomy
半导体极品公众号保举
专注半导体领域更多原创内容
关注人人半导体产业动向与趋势
*免责声明：本文由作家原创。著作内容系作家个东说念主不雅点，半导体行业不雅察转载仅为了传达一种不同的不雅点，不代表半导体行业不雅察对该不雅点赞同或解救，要是有任何异议，欢接待洽半导体行业不雅察。
今天是《半导体行业不雅察》为您分享的第3906内容，迎接关注。
『半导体第一垂直媒体』
实时 专科 原创 深度
公众号ID：icbank
心爱咱们的内容就点“在看”分享给小伙伴哦
上一篇：强地磁暴预警！部分地区将出现极光