卡帕西李飞飞辛顿都投了的Transformer专用芯片,签下10亿美元大单
一家只做Transformer专用芯片的创业公司成功流片,连带官宣了一串大进展:不仅筹集到了8亿美元的资金,还喜滋滋获得了10亿美元的客户大单。卡帕西、李飞飞、辛顿,都是这家公司的投资人。
这家公司就是
Etched
它创立于2022年,在别的AI芯片公司强调兼容、通用、生态的时候,Etched从Day 1开始就一心一意扑在Transformer专用芯片上。中间好长一段时间,Etched没有太多公开动静。结果六月最后一天突然冒出来,一口气宣布走出隐身状态。Transformer专用芯片流片了,钱融到了,客户单子也大大的有。
公司官号还提到,他们
基于现有进展,已经造了第一批机柜
作为资方爸爸之一的卡帕西老激动了:

Etched突然“诈尸”搞了波大的
在它家官推突然“诈尸”之前,Etched给人留下的些许印象,都来自于“这是一家只给Transformer做AI芯片的初创公司”。结果冷不丁梆梆一顿宣布,现在做的已经不只是Transformer专用芯片了。
汇总目前的信息,
他家从芯片、机柜、软件到制造方法一起设计都在着手,搞的是一整套面向前沿模型推理的集群系统。

先说芯片和机柜。
至于软件和制造方法层面——
此外,Etched引入了低电压推理(LVI)技术,适用于高吞吐量工作负载。这里有个背景:AI芯片如果不进行热节流,就无法扩展浮点运算能力。而随着浮点运算能力的提升,AI芯片会消耗更多电力并降低时钟频率。这通常会导致持续的推理吞吐量低于峰值浮点运算能力的一半。
针对这个问题,
Etched设计了一种全新的架构,使芯片的数学模块能够在不到大多数AI芯片一半的电压下运行。
这使得芯片的浮点运算密度比目前的AI芯片高出数倍。
官推称,这套设计可以
让万亿参数级稀疏MoE在80%以上峰值FLOPs下运行,同时不出现热降频。

与此同时,Etched还推出了适用于低延迟工作负载的集群规模内存(CSM)。当前采用HBM的AI芯片受限于内存子系统和互连瓶颈,难以达到接近SRAM的解码速度;而纯SRAM架构的芯片虽然延迟更低,却往往受限于浮点运算密度和内存容量,难以兼顾吞吐量。通常我们不得不在两者之间做取舍:要么以更慢的速度提供服务,要么压低批量规模运行,从而承受更高成本。
在运行巨型MoE模型时,token需要在不同专家之间路由、数据必须穿过多层内存体系和网络交换网络,才能到达目标专家。每多一层内存,延迟就会增加一分;因此,
从延迟角度看,最好的内存层级,某种意义上就是“少一层是一层”
为此,Etched团队设计了一种新架构,在整个scale-up域内构建共享的低延迟内存池。他们采用了专有的超低延迟、高带宽互连技术,大幅提升跨芯片内存访问速度。基于HBM/SRAM的混合设计,同时解决了容量和mem2mem延迟问题,让高吞吐与强交互性得以兼得。
“CSM不仅改善了延迟表现,也避免了当前纯SRAM芯片、3D DRAM芯片或光互连方案在成本、可靠性、良率、散热和算力上的种种取舍。”

这家公司有啥来头?
公司还表示,现在团队已有超过400名工程师,分别来自英伟达、谷歌TPU、博通、SK海力士、台积电等公司。说到团队,我们来详细讲讲创始三剑客。
这个团队的标签就是非常符合刻板印象里“硅谷范儿”的那种。
CEO叫Ga vin Uberti
2022年,Etched有了雏形。在研究Transformer推理过程中,G哥逐渐有了自己的判断:推理瓶颈其实是底层计算架构不适配Transformer workload。所以他的思路就从“优化模型”转向“重构计算系统”。G哥后来对外频频回忆,“正是对Transformer未来走向的判断,推动他和团队押注做专用芯片”。
另外两位联合创始人Chris Zhu和Robert Wachen同样是哈佛校友(辍学版)。
创业第二年,兄弟三个
一起入选了2024届Thiel Fellowship。
00后、哈佛、哈佛辍学创业、AI、Transformer专用芯片……这么一听,有没有感觉这团队身上的硅谷范儿标签烙得更深了。
公开融资记录显示,Etched在2023年完成了种子轮,金额约536万到540万美元区间。2024年6月,Etched对外宣布完成1.2亿美元A轮融资,并同步推出首款芯片,强调它是首款专为Transformer模型设计的ASIC,主打高吞吐推理。当时给出的说法是:
一台8芯片服务器在Llama 70B场景下,可以达到远高于8卡H100的token吞吐。
但那个时候都只是纸上谈兵,直到今天才宣布流片成功。
同年10月,他们又
和Decart合作,公开发布了称为“the first playable AI-generated game”的Oasis项目
后来,Etched就有点默默潜伏的意思,只在去年年末、今年年初之际,曝出新一轮又融到了5亿美元、投后估值50亿美元。既然官方已经宣布第一批机柜今年夏天就会对外发售,
到这一步,故事已经很难只靠“天才休学生创业”来撑了。
[1]https://x.com/Etched/status/2071972062202343590?s=20
[2]https://x.com/patrick_oshag/status/2071972025896489452?s=20
[3]https://x.com/karpathy/status/2072061140943921550?s=20