ZISVFM：使用视觉基础模型在室内机器人环境中进行零样本...

在非结构化环境中运行的服务机器人必须有效地识别和分割未知物体以增强其功能。传统的基于监督学习的分割技术需要大量带注释的数据集，这对于现实世界场景中遇到的物体的多样性来说是不切实际的。看不见的物体实例分割 (UOIS) 方法旨在通过在合成数据上训练模型以推广到新物体来解决这一问题，但它们往往受到模拟与现实差距的影响。本文提出了一种解决 UOIS 的新方法 (ZISVFM)，利用分割任何物体模型 (SAM) 强大的零样本能力和来自自监督视觉转换器 (ViT) 的明确视觉表示。所提出的框架分为三个阶段：(1) 使用 SAM 从彩色深度图像生成与物体无关的掩模提案，(2) 使用来自自监督 ViT 的基于注意力的特征细化这些提案以过滤非物体掩模，以及 (3) 应用 K-Medoids 聚类来生成点提示，引导 SAM 进行精确的物体分割。在两个基准数据集和一个自收集数据集上的实验验证表明，ZISVFM 在复杂环境中表现出色，包括橱柜、抽屉和手持物体等分层设置。

paper:https://arxiv.org/pdf/2502.03266v1
github:https://github.com/Yinmlmaoliang/zisvfm