AMD开源AI工具首次支持NVIDIA CUDA，跨平台本地推理体验升级

开源本地AI服务器解决方案迎来重要更新。近日，其主导开发的Lemonade项目发布了10.7版本，

，实现了对NVIDIA GPU的完整本地AI推理适配。这一变化意味着，无论用户使用的是AMD还是NVIDIA的硬件，现在都能在该框架下获得更一致的本地AI开发与部署体验。

在此之前，该解决方案已广泛支持AMD自家的Ryzen AI NPU、Radeon/Instinct GPU、x86_64 CPU以及Apple Metal GPU，唯独在对NVIDIA产品的专门优化上存在空白。此次更新填补了这一关键缺口，为更广泛的开发者群体和硬件环境扫清了障碍。

跨平台CUDA支持与性能对比工具上线

具体而言，10.7版本在Windows与Linux双平台上同步集成了Llama.cpp的CUDA后端，并配备了NVIDIA GPU自动检测功能。这使得用户能够在NVIDIA显卡上便捷地进行本地大语言模型推理。项目还首次在Linux平台上加入了stable-diffusion.cpp的CUDA后端，同时带来了跨厂商的Vulkan扩展支持，进一步拓宽了GPU的适配范围，提升了框架的灵活性。

本次更新另一个亮点是引入了名为

。该工具专为开发者和研究人员设计，可用于在Llama.cpp、FastFlowLM、vLLM、Ryzen AI等多种后端之间进行端到端的大语言模型推理性能对比，显著降低了在不同硬件和软件栈上进行测试和评估的门槛。

生态开放与功能增强

值得注意的是，此次CUDA后端的合并并非由项目方直接开发，而是由外部开发者提交贡献，最终由官方审核并合并进主线代码库。这一过程标志着该项目在构建开放、跨厂商的AI开发生态方面迈出了实质性的一步。

除了核心的CUDA支持，10.7版本还同步带来了LMX-Omni模型支持、原生Prometheus实时监控端点等多项增强功能。这些更新共同推动该解决方案向着

。目前，10.7版本已在其开源项目主页发布，开发者可根据自身硬件配置和需求，灵活选择后端组合，实现从云端API依赖到高效本地部署的平滑过渡。