Variant:为什么更好的AI需要Crypto

目前，基础AI开发由少数科技公司主导，处于封闭和反竞争的状态。开源软件开发是另一种选择，但基础AI无法作为传统的开源软件项目（例如 Linux）进行开发，因为它存在“资源问题”——开源贡献者被要求捐献超出个人能力范围的计算和数据成本。加密技术通过所有权激励资源提供者为基础开源 AI 项目做出贡献，从而解决这个资源问题。开源AI与加密相结合，可以支持更大的模型并推动更多创新，最终带来更好的AI。

引言

皮尤研究中心2024年的一项民意调查显示，64%的美国人认为社交媒体对美国产生了负面而非正面的影响；78%的人认为社交媒体公司在当今整治中拥有过大的权力和影响力；83%的人表示，这些平台很可能或很有可能故意审查他们不同意的整治观点。对社交媒体平台的反感，恐怕是少数几个能让美国人团结一致的问题之一。

回顾过去20年的社交媒体实验，走到今天这一步似乎并不意外。故事大家都熟悉：少数几家大型科技公司最初吸引了大量的注意力，更重要的是，它们攫取了用户数据。尽管最初曾承诺数据公开，但这些公司在利用这些数据建立起牢不可破的网络效应后，迅速变脸，关闭了访问权限。结果就是，不到十家大型科技社交媒体公司，在寡头垄断下像一个个小封建领地，靠着极高的利润安于现状，毫无改变的动机。封闭、反竞争，这就是现状。

再看看眼下AI实验的进展，就像是在重播同一部电影，只不过这次涉及的范围更广、影响更深。少数几家科技巨头已经囤积了GPU和数据来构建基础AI模型，并将这些模型封锁起来。对于新入局者（尤其是那些没能筹集到数十亿美元资金的），复制一个竞争版本几乎成了不可能的任务——进入门槛实在太高了。仅仅预训练一个基础模型，计算资本支出就高达数十亿美元，而那些从上一次技术繁荣中获利的社交媒体公司，正利用它们对专有用户数据的控制，构建竞争对手无法企及的模型。我们正在全力以赴，在AI领域重现社交媒体上发生过的一切：封闭与反竞争。如果沿着这条封闭AI的道路走下去，少数科技公司将对信息和机会的访问拥有不受限制的控制权。

开源AI与“资源问题”

如果我们不想要一个封闭的AI世界，替代方案是什么？答案显而易见：将基础模型构建为开源软件项目。我们有无数开源项目的成功案例，它们构建了我们每天依赖的基础软件。如果说Linux证明了像操作系统这样基础的东西都可以通过开源方式构建，那么LLM又有什么不同呢？

然而，基础AI模型存在一些传统软件所没有的限制，这严重阻碍了它们作为传统开源软件项目的可行性。具体来说，基础AI模型本身就需要超出任何个人能力的计算和数据资源。结果就是，那些依赖个人贡献时间的传统开源软件项目（这本身已是一个挑战），在开源AI这里，还需要人们以计算和数据的形式捐献资源。这就是开源AI的“资源问题”。

为了更好地理解这个资源问题，我们来看看Meta的LLaMa模型。Meta与竞争对手（OpenAI、Google等）的不同之处在于，它没有把模型藏在付费API背后，而是公开提供了LLaMa的权重，供任何人免费使用（尽管附带了一些限制）。这些权重代表了模型从Meta的训练过程中学到的东西，是运行模型所必需的。有了权重，任何人都可以对模型进行微调，或者将其输出用作新模型的输入。

Meta公布LLaMa权重值得称赞，但它并非一个真正的开源软件项目。Meta是私下使用自己的计算、数据和决策来训练模型，并单方面决定何时向全世界开放。它没有邀请独立研究人员或开发人员参与社区，因为单个社区成员根本负担不起训练或重新训练模型所需的计算或数据资源——那需要成千上万的高内存GPU、容纳它们的数据中心、庞大的冷却基础设施，以及数万亿的训练数据代币。正如斯坦福大学2024年AI指数报告所述：“培训费用的不断上涨，实际上已经将大学（传统上的AI研究中心）排除在开发自己的前沿基础模型之外。” 要了解成本有多高，可以参考Sam Altman提到GPT-4的训练成本为1亿美元（可能还不包括资本支出）；Meta的资本支出同比增长21亿美元（2024年第二季度 vs. 2023年第二季度），主要来自对与训练AI模型相关的服务器、数据中心和网络基础设施的投资。所以，尽管LLaMa的社区贡献者可能在基本模型架构上做出贡献和迭代具备技术能力，但他们仍然缺乏实现这一切的手段。

总而言之，传统的开源软件项目只要求贡献者贡献时间，而开源AI项目的贡献者却被要求以计算和数据的形式，同时贡献时间和巨大的成本。指望靠善意和志愿服务来激励足够多的各方提供这些资源，是不现实的。他们需要更强的激励。176B参数的开源LLM——BLOOM的成功，或许就是善意和志愿服务对开发开源AI优点的一个最佳反例。它动员了来自70多个国家和250多个机构的1000名志愿研究人员。虽然这无疑是一项令人印象深刻的成就，但协调一次训练运行就花了一年时间，并从法国研究机构获得了300万欧元的资助（而且这还不包括用于训练模型的超级计算机的资本支出，其中一家法国机构本身就可使用一台）。协调和依靠新拨款来迭代BLOOM的过程，过于繁琐和官僚化，根本无法与大型科技实验室的步伐相提并论。BLOOM发布已有两年多，但至今没有后续模型的消息。

为了使开源AI成为可能，我们需要激励资源提供者贡献他们的计算和数据，而不让开源贡献者来承担这笔费用。

为什么Crypto可以解决开源AI的资源问题

要证明这一点，只需看看最初的加密项目——比特币。比特币是一个开源软件项目，其运行代码完全开放，从项目启动那天起就一直如此。但代码本身并非秘密武器；下载并运行比特币节点软件，创建一个仅存在于本地计算机上的区块链，并没有什么大用处。只有当执行计算的节点数量足够多，超过任何单个贡献者的计算能力时，这个软件的价值才得以体现。只有这样，才能实现其增值：维护一个无人能控制的账本。与基础开源AI一样，比特币也代表了一个需要超出任何单个贡献者能力的资源的开源软件项目。两者需要计算资源的原因可能不同——比特币是为了让网络防篡改，而基础AI是为了迭代模型——但更关键的一点是：它们都需要超出任何单个贡献者极限的资源，才能作为可行的开源软件项目运作。

比特币，或者说任何加密网络，用来激励参与者为开源软件项目提供资源的魔法技巧，就是以代币形式提供网络所有权。正如Jesse早在2020年为Variant撰写的创始论文中所写，所有权激励资源提供者为项目贡献资源，以换取网络的潜在上行空间。这类似于如何利用“汗水股权”来启动一家刚起步的公司——通过主要依靠企业的所有权来支付早期员工（例如创始人）的薪水，初创公司可以通过获得原本无法负担的劳动力来克服启动问题。加密技术将“汗水股权”的概念扩展到了资源提供者，而不仅仅是那些奉献时间的人。因此，Variant一直专注于投资那些利用所有权建立网络效应的项目，例如Uniswap、Morpho和World。

如果我们想让开源AI成为可能，那么通过加密实现所有权，就是解决其资源问题的办法。研究人员可以自由地将他们的模型设计想法贡献给开源项目，因为实现他们想法所需的资源，将由计算和数据提供商提供，以换取他们对项目的所有权，而不是要求这些研究人员承担高昂的前期成本。所有权在开源AI中可以采取多种形式，但最令人兴奋的是模型本身的所有权，就像Pluralis提出的方法那样。

Pluralis将这种方法称为“协议模型”，计算提供商可以贡献计算资源来训练特定的开源模型，并获得该模型未来推理收入的所有权。由于所有权属于特定模型，且所有权的价值基于推理收入，计算提供商就有动力去选择最佳模型，而不是在训练中作弊（因为提供无效训练会降低未来推理收入的预期价值）。那么问题来了：如果需要将权重发送给计算提供商进行训练，如何在Pluralis上强制执行所有权？答案是使用模型并行性，在工作者之间分配模型分片。这利用了神经网络的一个关键属性：可以为训练更大的模型做出贡献，同时只能看到总权重的一小部分，从而确保完整的权重集仍然无法提取。而且由于在Pluralis上训练了许多不同的模型，训练者将拥有许多不同的权重集，这使得重新创建特定模型变得极其困难。这就是协议模型的核心概念：它们可以被训练、被使用，但无法从协议中提取出来（除非使用比从头训练模型所需的更多的计算能力）。这恰好解决了封闭AI批评者经常提出的一个担忧：封闭AI的竞争对手会直接偷走开放项目的劳动成果。

为什么Crypto+开源=更好的AI

文章开头描述了大型科技公司控制的问题，是从规范角度说明封闭式AI的坏处。但在一个我们的在线体验常常带有宿命论色彩的世界里，这些观点对大多数读者可能没有太大触动。所以，最后想给出两个理由，说明由加密技术支持的开源AI，实际上将带来更好的人工智能。

目前的研究表明，更多资源（计算和数据）意味着更好的模型，这也是基础模型越来越大背后的逻辑。比特币向我们展示了，开源软件加上加密技术，能在计算能力方面释放出怎样的能量。它已经成为世界上最大、最强大的计算网络，比任何大型科技公司的云都要大几个数量级。加密技术将孤立的竞争变成了合作竞争。资源提供者被激励去贡献他们的资源，以解决集体问题，而不是囤积资源，各自为战（且重复劳动）去解决同一个问题。使用加密技术的开源AI，将能够利用全世界的集体计算和数据，构建远超封闭式AI所能达到的模型规模。像Hyperbolic这样的公司已经展示了利用集体计算资源的力量，任何人都可以以更低的价格在他们的开放市场上出租GPU。

这是因为，一旦克服了资源问题，我们就可以回归到机器学习研究高度迭代、开源的创新本质。在最近一轮基础LLM热潮之前，机器学习研究人员几十年来一直公开发布他们的模型以及复现模型的蓝图。这些模型通常使用更有限的开放数据集，计算需求也相对可控，这意味着任何人都可以对它们进行迭代。正是通过这种迭代，我们在序列建模方面取得了进展，例如RNN、LSTM和注意力机制，这些构成了当前基础LLM所依赖的“Transformer”模型架构的基础。但随着GPT-3的推出（它逆转了GPT-2开源的趋势）和ChatGPT的巨大成功，这一切都变了。OpenAI证明了，只要在海量模型上投入足够的计算和数据，就能构建出看起来理解人类语言的LLM。但这造成了资源问题，导致学术界无力负担高昂的成本，也导致大型科技公司实验室基本停止公开发布其模型架构以保持竞争优势。目前主要依赖少数个别实验室的状况，将限制我们突破最先进技术的能力。通过加密技术实现的开源AI，意味着研究人员将再次能够在尖端模型上继续这一迭代过程，去发现“下一个Transformer”。