LingBot-Vision：蚂蚁灵波开源的面向具身智能的稠密特征提取视觉基础模型

一、LingBot-Vision是什么

在具身智能和机器人3D视觉领域，一个长期存在的痛点就是：通用视觉模型在空间感知上总是差那么一口气。蚂蚁集团Robbyant团队开源的

，正是冲着这个问题来的。

这套

于2026年发布，同时配套推出了空间深度模型LingBot-Depth 2.0。它的定位非常明确——不是去做图像分类，而是为具身智能、机器人3D视觉、密集像素级感知提供底层支撑。

核心思路就是：与其让模型学怎么认猫认狗，不如让它先学会理解

。通过自研的掩码边界建模（Masked Boundary Modeling）自监督方案，输出同时具备精准语义分组与清晰空间轮廓的Patch Token特征。这套特征可以直接作为各类密集视觉任务的即插即用编码器，而且全部权重、配置文件、推理脚本都已开源，采用Apache 2.0协议。

整套模型基于1.1B超大ViT-g/16教师模型蒸馏，最终产出了4档轻量化主干。从高精度工业场景到轻量化终端部署，都能找到合适的版本，完整支持深度补全、语义分割、视频目标分割、稠密特征可视化等全系列空间感知任务。

二、功能特色

1. 空间原生边界感知能力
   
   首创边界中心掩码建模训练机制，强制模型优先学习物体轮廓、深度突变、遮挡交界区域。输出特征能够精准还原物体边缘，有效解决了传统视觉模型边界模糊、空间结构感知弱的痛点。

2. 多尺度蒸馏模型全覆盖
   
   统一采用Patch=16架构，从11亿参数的超大模型蒸馏出Small/Base/Large/Giant四套主干。从轻量演示到高精度机器人场景全覆盖，官方推荐ViT-Large作为平衡精度与推理速度的首选。

3. 开箱即用密集特征提取
   
   提供封装完整的PyTorch工具链，一行代码即可自动从Hugging Face或ModelScope下载权重，无需微调即可提取稠密Patch Token，输出[B, H*W, C]标准特征张量。

4. 配套专业深度感知系统LingBot-Depth 2.0
   
   替换编码器为LingBot-Vision后，RGB-D训练样本扩充至1.5亿，可修复玻璃、镜面、反光地面等传感器深度缺失区域，输出连续稳定的三维点云。

5. 零训练时序视频分割
   
   依靠冻结Patch Token的余弦相似度匹配，无需任何时序微调即可完成视频目标追踪与标签传播。

6. 内置PCA稠密特征可视化工具
   
   提供Shell一键可视化脚本，将Patch Token主成分映射为RGB热力图，直观展示物体区域与边界分布，极大方便模型调试与效果验证。

7. 轻量化权重设计
   
   发布的权重仅保留骨干网络.pt文件，不含优化器、训练头，自动兼容原生state_dict，支持本地离线加载。

三、技术细节

3.1 核心创新：掩码边界建模（Boundary-centric Masked Modeling）

传统MAE、DINO系列采用随机Patch掩码，容易遮盖墙面、天空等低信息区域，模型无法充分学习几何结构。LingBot-Vision在训练时由教师模型实时识别图像边界Patch，强制将边界区域纳入掩码集合，迫使模型依靠上下文重建物体形状、深度、遮挡关系。同时增加边界Token专属损失，同步监督语义与几何特征，整个过程无需人工边界标注。

3.2 模型架构统一配置

全系模型统一使用ViT-x/16架构，搭载SwiGLU激活函数、fp32 RoPE旋转位置编码、4个寄存器Token。基于1.1B ViT-Giant教师模型知识蒸馏生成，四档规格参数如下表：

模型名称	骨干结构	嵌入维度	参数量定位	适用场景
LingBot-Vision-Giant	ViT-g/16	1536	1.1B 旗舰教师模型	高精度工业深度估计、科研实验
LingBot-Vision-Large	ViT-L/16	1024	蒸馏主推版本	通用机器人视觉、平衡算力精度
LingBot-Vision-Base	ViT-B/16	768	均衡轻量模型	中端嵌入式视觉、分割任务
LingBot-Vision-Small	ViT-S/16	384	超轻量蒸馏模型	本地Demo、低算力终端快速测试

3.3 环境与权重规范

1. 运行依赖：Python≥3.10、PyTorch≥2.0，推荐使用CUDA GPU加速，CPU也可低速推理。项目代码99.6%为Python，0.4%为Shell脚本。

2. 权重存储：纯骨干model.pt，托管于Hugging Face和ModelScope双平台。加载器会自动剥离backbone.权重前缀，兼容两种格式的state_dict。

3. 输入规范：默认输入尺寸512×512，Patch网格32×32，支持square等比例拉伸和shortest长边裁剪两种图像预处理模式。

4. 精度支持：bf16/fp16/fp32多精度混合推理，可有效降低显存占用。

四、应用场景

1. 机器人深度感知与深度补全
   
   作为LingBot-Depth 2.0的原生编码器，修复玻璃、镜面、反光材质引起的深度空洞，广泛应用于机械臂抓取、机器人避障、自动驾驶3D感知等领域。

2. 高精度语义/实例分割
   
   边界友好型特征大幅降低物体轮廓分割误差，适用于工业缺陷分割、室内场景分割、遥感地物分割等任务。

3. 无训练视频目标分割追踪
   
   冻结Token时序匹配，无需额外时序训练，可用于监控目标跟踪、视频物体抠取、动态场景感知。

4. 稠密特征可视化与模型调试
   
   内置PCA可视化脚本，可快速验证模型区域划分与边界提取效果，为视觉算法研发调参提供有力支撑。

5. 通用下游视觉编码器底座
   
   可直接替换DINOv2/DINOv3作为各类视觉任务的主干网络，用于图像检索、目标检测、多模态感知前置特征提取等场景。

五、完整使用方法

5.1 环境安装

1. 克隆官方仓库

git clone https://github.com/robbyant/lingbot-vision cd lingbot-vision

2. 创建并激活conda虚拟环境

conda create -n lingbot-vision python=3.10 -y conda activate lingbot-vision

3. 安装项目依赖与本地包

python -m pip install -r requirements.txt python -m pip install -e .

5.2 快速特征提取代码示例

自动从Hugging Face下载预训练权重，提取图像Patch Token稠密特征：

import torch from lingbot_vision import load_pretrained_backbone, extract_patch_tokens, load_image  device = "cuda" if torch.cuda.is_a vailable() else "cpu" dtype = torch.bfloat16 if device == "cuda" else torch.float32  # 加载骨干，variant可选giant/large/base/small，默认large backbone, embed_dim = load_pretrained_backbone(variant="small", device=device, dtype=dtype)  # 加载预处理图像 img_norm, _, _ = load_image("examples/example.png", size=512, patch_size=backbone.patch_size, mode="square")  # 提取稠密Patch特征 patch_tokens, patch_grid = extract_patch_tokens(backbone, img_norm, device, dtype) print(patch_tokens.shape, patch_grid, embed_dim)

5.3 PCA可视化脚本运行

./scripts/run_pca_demo.sh --config-file lingbot_vision/configs/lbot_vision_vitl.yaml --ckpt /path/to/model.pt --input examples/example.png --out outputs/pca_demo --size 512 --mode square --dtype bf16

可自定义参数包括：输入文件夹、输出路径、推理精度、CPU/GPU设备、图像缩放模式。

六、竞品对比

先聊一个大家最关心的问题：它和DINO那些模型比，到底强在哪？我们选取了行业主流的三款自监督ViT视觉基座，从核心目标、空间感知、参数量效率、优势短板、适配场景等维度做了横向对比：

对比维度	LingBot-Vision	DINOv3（Meta）	DINOv2（Meta）	MAE（何恺明）
核心预训练目标	边界中心掩码建模，优先几何空间结构	Gram锚定全局+稠密特征平衡，通用图像表征	对比学习实例区分，侧重全局语义	随机掩码图像重建，图像复原
空间/边界能力	极强，深度、分割边界精度最优	良好，稠密特征稳定，边界一般	一般，稠密特征随训练退化	弱，仅适合分类，不适合密集感知
参数量效率	1.1B参数超越7B DINOv3，小模型性能突出	7B超大模型，小模型性能衰减明显	1.1B基线，稠密任务短板突出	无空间优化，大模型收益有限
优势场景	机器人深度、3D感知、分割、视频分割	图像检索、通用分类、通用稠密任务	图像检索、轻量图像分类	图像分类、图像复原、微调分割
短板	图像分类指标略低于DINO系列	参数量大，推理成本高，边界感知弱	稠密像素任务精度不足	完全不适合深度、空间感知任务
是否适配玻璃/镜面深度补全	原生适配，配套LingBot-Depth2.0	无法原生处理反射透明材质	无针对性优化	完全不支持

七、常见问题解答（FAQ）

A：DINO系列以通用图像语义、实例对比学习为目标，侧重全局图像识别；LingBot-Vision采用边界掩码建模，预训练核心优先物体几何边界、深度、遮挡等空间信息，专门针对机器人、3D密集感知场景优化。同等参数量下，深度估计、分割边界精度大幅领先。

A：可以，代码支持设置--device cpu，切换fp32精度推理。但Large/Giant大模型在CPU上运行速度极慢，只有Small轻量模型适合CPU本地调试。

A：不是，官方同时上架了ModelScope权重。也可以手动下载本地.pt文件，传入本地路径至load_pretrained_backbone函数进行离线加载。

A：可以，但分类性能弱于DINOv3/DINOv2。模型训练时将大量算力分配给了几何边界学习，属于任务取舍。更推荐优先用于深度、分割、3D感知类密集任务。

A：内置加载器会自动去除backbone.前缀。若仍报错，请检查权重是否为纯骨干模型，不要传入带优化器、分类头的完整训练checkpoint。

A：推荐原生搭配，替换原有DINO编码器后深度性能提升显著。理论上也可更换其他ViT编码器，但会丢失玻璃、镜面区域深度补全的优化效果。

A：不是。可视化脚本、特征提取函数均支持自定义size参数，只需保证输入尺寸为patch_size（16）的整数倍。模型内置RoPE，支持可变分辨率。

八、相关链接

1. GitHub仓库：https://github.com/robbyant/lingbot-vision

2. Hugging Face模型库：https://huggingface.co/collections/robbyant/lingbot-vision

3. 项目官网：https://technology.robbyant.com/lingbot-vision

4. 论文arXiv预印本：https://arxiv.org/abs/2607.05247

5. ModelScope模型库：https://www.modelscope.cn/collections/Robbyant/LingBot-Vision

九、总结

LingBot-Vision是国内蚂蚁灵波推出的开源空间原生自监督ViT视觉基座。依靠独创的掩码边界建模技术，它补齐了传统通用视觉模型在空间感知上的短板。四档轻量化蒸馏模型覆盖了从轻量终端到高精度工业的全算力场景，配套完整的PyTorch推理工具、PCA可视化脚本与LingBot-Depth 2.0深度感知方案，无需复杂微调即可落地深度估计、语义分割、视频目标分割、3D深度补全等密集视觉任务。相比DINO、MAE等竞品，在机器人、具身智能、三维感知场景中具备显著的精度与参数量效率优势。完整开源权重、代码与配置文件，大大降低了工业机器人和计算机视觉研发人员搭建空间感知算法底座的开发成本。