Cerebras 须要为巨型芯片供应电力、数据和冷却j9九游会-真人游戏第一品牌最强AI芯片揭橥4万亿个晶体管90万个核125 PetaFLOPS算力。，同时还要打点相对较大区域的热膨胀等题目。这是该公司的另一项巨大工程成功。芯片内部采用液体冷却，热量能够通过电扇或步骤水排出。

　　你能够正在WSE芯片的接踵推出中看到摩尔定律的效率▼。第一个于 2019 年头度亮相▼，采用台积电的 16 纳米本事创制▼▼。看待 2021 年推出的 WSE-2，Cerebras 转而采用台积电的 7 纳米工艺。WSE-3 采用这家代工巨头的 5 纳米本事创制。

　　最新的 Cerebras 软件框架为PyTorch 2.0 和最新的 AI 模子和本事（如众模态模子、视觉转换器、专家夹杂和扩散）供应原生撑持。Cerebras 已经是独一为动态和非构造化稀少性供应本机硬件加快的平台，将演练速率进步了8 倍▼▼。

　　这些是目前位于美邦圣克拉拉、斯托克顿和达拉斯的集群，他们安放是再筑制起码六个。

　　这些集群的总价钱应胜过 10 亿美元▼，并于 2024 年落成。除了 10 亿美元的营业价钱外，Cerebras 告诉咱们，它们目前供应有限▼▼，于是对 WSE-3 的需求是存正在的▼。

　　CS-3专为餍足企业和超大周围需求而打制。紧凑的四编制筑设能够正在一天内微调 70B 模子，而利用 2048 个编制举行周到调理，Llama 70B 能够正在一天内从新出手演练——这看待天生 AI 来说是史无前例的豪举j9九游会-真人游戏第一品牌最强AI芯片揭橥4万亿个晶体管90万个核125 PetaFLOPS算力！。

　　当咱们议论因为密度而务必转向液体冷却的办事器时，咱们议论的是 2kW/U 办事器或能够具有 8x800W 或 8x1kW 部件的加快器托盘▼▼。看待 WSE/WSE-2，全体电力和冷却都须要传输到单个大晶圆上，这意味着纵然是差别质料的热膨胀率等成分也很紧张。另一个寓意是，实质上该组件上的全体部件都采用液冷格式。

　　值得一提的是▼▼，当 Cerebras 提到内存时，他们议论的更众是 SRAM，而不是片外 HBM3E 或 DDR5。内存与中央一齐分散亿个晶体管90万个核125PetaFLOPS算力，方针是使数据和企图尽能够亲近。

　　12PB 内存是一款高端超大周围 SKU▼，专为迅疾演练 GPT-5 尺寸模子而打算。Cerebras 还能够缩小到相同于单个 CS-2 的周围，并撑持办事器和汇集▼▼。

　　除了代码更改很容易除外j9九游会-真人游戏第一品牌，Cerebras 吐露它的演练速率比 Meta GPU 集群更疾▼。当然，目前这相似是外面上的 Cerebras CS-3 集群，由于咱们没有传闻有任何 2048 个 CS-3 集群启动并运转，而 Meta 一经有了 AI GPU 集群。

　　Cerebras Systems进一步指出，因为每个组件都针对 AI 劳动举行了优化，CS-3 比任何其他编制都能以更小的空间和更低的功耗供应更高的企图职能。固然 GPU 功耗逐代翻倍，但 CS-3 的职能翻倍▼，功耗却仍旧稳定。CS-3具有出色的易用性▼，与合用于大模子的GPU 比拟， CS-3须要的代码裁减 97% ，而且也许正在纯数据并行形式下演练从 1B 到24T 参数的模子。GPT -3巨细的模子的准绳杀青正在 Cerebras 上只须要 565 行代码——这同样也是行业记载▼。

　　自第一个巨型芯片问世此后▼▼，晶体管的数目增众了两倍众。与此同时，它们的用处也产生了改观。比方，芯片上的人工智能中央数目已显着趋于稳定，内存量和内部带宽也是如许。尽量如许，每秒浮点运算（flops）方面的职能改善一经胜过了全体其他目标。

　　该编制及其新芯片正在相通的功耗和价值下杀青了大约 2 倍的职能奔腾。从第一代的 16 纳米到今朝的 5 纳米，Cerebras 从每个工艺举措中都得回了伟大的上风▼。

　　须要提神的一点是，Cerebras 利用片上内存，而不是 NVIDIA 的封装内存，于是咱们不会以 H100 上的 80GB HBM3 为例。

　　因为这是一个液冷数据中央，于是风冷 HPE 办事器装备了来自 Legrand 子品牌 ColdLogik 的后门热相易器筑立。

　　“八年前， 当咱们出手这一途程时，每私人都说晶圆级经管器是一个白昼梦。咱们绝顶骄横也许推出第三代打破性水准的人工智能芯片。”Cerebras 首席施行官兼联结创始人Andrew Feldman)说道▼▼。“ WSE-3 是天下上最疾的 AI 芯片，专为最新的尖端AI 劳动而打算，从专家夹杂到24 万亿个参数模子 ▼。咱们很雀跃将 WSE-3 和 CS-3 推向墟市，以助助管理当今最大的人工智能挑衅。”

　　值得一提的是，固然 Cerebras 专一于推理演练▼，但它公布与高通兴办协作伙伴合连，以利用高通的古代人工智能推理加快器。

　　除了将这款巨型芯片推向墟市除外，Cerebras 博得获胜的来源之一是它所做的事项与 NVIDIA 差别。NVIDIA、AMD、英特尔等公司采用大型台积电晶圆并将其切成更小的局部来创制芯片▼，而 Cerebras 将晶圆保存正在一齐。正在当今的集群中，能够稀有以万计的 GPU 或 AI 加快器来经管一个题目▼，将芯片数目裁减 50 倍以上能够低浸互连和汇集本钱以及功耗▼。正在具有 Infiniband、以太网、PCIe 和 NVLink 相易机的 NVIDIA GPU 集群中，洪量的电力和本钱花费正在从新链接芯片上。Cerebras 通过将全数芯片仍旧正在一齐来管理这个题目。依据 WSE-3▼，Cerebras 能够不停出产天下上最大的单芯片。它呈正方形▼，边长为 21.5 厘米▼▼，险些利用全数 300 毫米硅片来创制一个芯片。

　　于是，Cerebras 和高通兴办了协作伙伴合连▼，目的是将推理本钱低浸 10 倍。Cerebras 吐露，他们的管理计划将涉及使用神经汇集本事，比方权重数据压缩和稀少性（修剪不须要的贯穿）。该公司吐露▼▼， 历程 Cerebras 演练的汇集将正在高通公司的新型推理芯片AI 100 Ultra上高效运转。

　　这是 Cerebras 若何使用液冷步骤的一个很好的例子，但它不必为每个办事器节点装备冷板。

　　正在昨年七月，Cerebras 公布其 CS-2 编制博得巨大成功。它具有一台价钱 1 亿美元的人工智能超等企图机，正正在与阿布扎比的 G42 一齐利用。这里的症结是，这不单仅是一个 IT 协作伙伴，也是一个客户。

　　据先容，正在相通的功耗和相通的价值下，WSE - 3的职能是之前的记载仍旧者Cerebras WSE-2的两倍。基于 5nm 的4万亿晶体管WSE-3专为演练业界最大的 AI 模子而修建▼，为Cerebras CS-3 AI 超等企图机供应动力，通过900,000 个 AI优化企图中央供应 125 petaflops 的峰值 AI职能。

　　您能够一经看到 Cerebras 吐露其平台比 NVIDIA 的平台更易于利用。形成这种景况的一个紧张来源是 Cerebras 存储权重和激活的格式，而且它不必扩展到编制中的众个 GPU，然后扩展到集群中的众个 GPU 办事器。

　　咱们正在这回迭代中提神到的一点是▼，Cerebras 也有 HPE 办事器的管理计划。这有点奇异，由于凡是来说▼▼，Supermicro BigTwin 比 HPE 的 2U 4 节点产物领先一步。

　　咱们明晰 AMD MI300X 本年的收入将轻松胜过 10 亿美元▼▼。Cerebras 估计收入将胜过 10 亿美元，假设它正正在贩卖全数集群，而不单仅是价钱数百万美元的 CS-3 盒子▼。NVIDIA 将于下周正在 GTC 上细致斟酌 NVIDIA H200 和下一代 NVIDIA B100 时出售 10 亿美元的硬件。咱们将收到英特尔 Gaudi3 的最新音书▼▼，但咱们一经听到少许人分享了 2024 年九位数的贩卖预测， Cerebras 能够是唯逐一家专一于培训、正在收入方面与大型芯片创制商角逐的公司。

　　合于全数编制，正在SC22的时间▼▼，该公司就曾基于 Cerebras CS-2 的编制显示了看起来像一堆金属的东西，个中有少许印刷电途板伸出来。该公司称其为煽动机组（Engine Block）。正在 Cerebras 看来▼，这是一项伟大的工程豪举。弄明确若何封装、供电和冷却大型芯片是一个症结的工程挑衅。让代工场创制迥殊的晶圆是一回事▼▼，让晶圆开机、只是热并做有效的劳动是另一回事▼▼。

　　正在第二阶段▼▼，加利福尼亚州圣克拉拉/科洛沃的装配量估计将正在 10 月份增众一倍。

　　总体而言▼▼，这里产生了许众事项，但咱们明晰的一件事是▼▼，今朝越来越众的人利用基于 NVIDIA 的集群。

　　Cerebras Systems正在讯息稿中指出，如上所述，CS-3具有高达 1.2 PB的伟大内存编制，旨正在演练比 GPT-4 和 Gemini 大 10 倍的下一代前沿模子▼。24 万亿参数模子能够存储正在单个逻辑内存空间中，无需分区或重构，从而极大地简化了演练劳动流程并进步了斥地职员的劳动效果。正在 CS-3 上演练一万亿参数模子就像正在 GPU 上演练十亿参数模子雷同纯洁j9九游会-真人游戏第一品牌最强AI芯片揭橥4万。

　　对于 Cerebras CS-2/CS-3 的一种格式是，它们是伟大的企图机械，但很众数据预经管、集群级职业等都产生正在古代的 x86 企图上，以供应优化的人工智能芯片。

　　最上面一排木板绝顶鳞集▼▼。展位上的 Cerebras 代外告诉我，这些是电源，这是有事理的，由于咱们看到它们的贯穿器密度相对较低。

　　固然 Cerebras 企图机是为演练而修建的，但 Cerebras 首席施行官安德鲁费尔德曼 (Andrew Feldman) 吐露，推理、神经汇集模子的施行才是人工智能采用的真正控制▼。据 Cerebras 揣测，假使地球上每私人都利用ChatGPT，每年将花费 1 万亿美元，更不必说洪量的化石燃料能源了。（运营本钱与神经汇集模子的周围和用户数目成正比。）

　　Cerebras Wafer Scale Engine 系列已经是一项增光的工程打算。此次发外的一个紧张实质是 5nm WSE-3 一经问世。最酷的事项之一是 Cerebras 从流程提高中得回了伟大的提高。

　　为了显示这颗新芯片的周围，Cerebras 还将其与英伟达的H100举行了比拟。