Meta发布史上首个图像分割基础模型

4月6日，Meta推出了一款Segment Anything Model (SAM)。据介绍，该模型能够根据文本指令等方式实现图像分割，而且万物皆可识别和“一键抠图”。SAM是第一个致力于图像分割的基础模型。据Meta介绍，SAM已经学会了关于物体的一般概念，并且它可以为任何图像或视频中的任何物体生成掩码，甚至包括在训练过程中没有遇到过的物体和图像类型。SAM足够通用，可以涵盖广泛的用例，并且可以在新的图像领域上即开即用，无需额外的训练。

在此之前，分割作为计算机视觉的核心任务，已经得到广泛应用。但是，为特定任务创建准确的分割模型通常需要技术专家进行高度专业化的工作，此外，该项任务还需要大量的领域标注数据，种种因素限制了图像分割的进一步发展。

以前,解决分割问题大致有两种方法。第一种是交互式分割，该方法允许分割任何类别的对象，但需要一个人通过迭代细化掩码来指导该方法。第二种，自动分割，允许分割提前定义的特定对象类别（例如，猫或椅子），但需要大量的手动注释对象来训练（例如，数千甚至数万个分割猫的例子）。这两种方法都没有提供通用的、全自动的分割方法。

SAM是这两类方法的结合。它是一个单一的模型，可以轻松地执行交互式分割和自动分割。该模型的可提示界面允许以灵活的方式使用它，只需为模型设计正确的提示（点击、框、文本等），就可以完成范围广泛的分割任务。

此外，SAM在包含超过10亿个掩码（作为该项目的一部分收集）的多样化、高质量数据集上进行训练，这使其能够泛化到新类型的对象和图像，超出其在训练期间观察到的内容。这种概括能力意味着，从业者将不再需要收集他们自己的细分数据并为他们的场景微调模型。

总而言之，这些功能使SAM能够泛化到新任务和新领域。这种灵活性在图像分割领域尚属首创。最强大的是，Meta实现了一个完全不同的CV范式，你可以在一个统一框架prompt encoder内，指定一个点、一个边界框、一句话，直接一键分割出物体。

责任编辑：

文章来源：http://www.anfangnews.com/2023/0411/5999.shtml