新利88国际网址_新利88国际网址一文概览视频目标分割

中国围棋网2017年10月12日 08时10分57秒
62

原标题:入门 | 一文概览视频目标分割


日 Visualead 研究主管 Eddie Smolyansky 在 Midum 网站撰文介绍视频目标分割的基础知识,从视频目标分割问题简介、数据集和 DAVIS 挑战赛入手,同时介绍了 Visualead 最新发布的视频数据集 GyGO 和 2016 年以来两种主要的视频目标分割方法:MaskTrack 和 OSVOS。


DAVIS-2016 视频物体分割数据集中经过正确标注的几个帧

本文介绍了视频目标分割问题和对应的经典解决方案,简要概括为:

1. 问题、数据集和挑战赛;

2. 我们今天要宣布的新数据集;

3. 自 2016 年以来使用的两种主要方法:MaskTrack 和 OSVOS。

文章假设读者已经熟悉计算机视觉和深度学习领域的一些概念。我希望能对 DAVIS 挑战赛进行一个清晰易懂的介绍,让新手也能快速进入状态。

介绍

计算机视觉领域中和目标有关的经典任务有三种:分类、检测和分割。其中分类是为了告诉你「是什么」,后面两个任务的目标是为了告诉你「在哪里」,而分割任务将在像素级别上回答这个问题。


经典计算机视觉任务(图像来自 Stanford cs231n 课程幻灯片)

2016 年语义分割领域出现了很成熟的技术,甚至开始接近现有数据集的饱和性能。与此同时,2017 年也是各种视频处理任务爆发性增长的一年:动作分类、动作(时序)分割、语义分割等等。这里我们将着眼于视频目标分割。

问题、数据集、挑战赛


视频目标分割任务和语义分割有两个基本区别:

  • 视频目标分割任务分割的是一般的、非语义的目标;

  • 视频目标分割添加了一个时序模块:它的任务是在视频的每一连续帧中寻找感兴趣目标的对应像素。


  • 分割的细分。图中每一叶都有一个示例数据集。

    基于视频任务的特性,我们可以将问题分成两个子类:

  • 无监督(亦称作视频显著性检测):寻找并分割视频中的主要目标。这意味着算法需要自行决定哪个物体才是「主要的」。

  • 半监督:在输入中(只)给出视频第一帧的正确分割掩膜,然后在之后的每一连续帧中分割标注的目标。

  • 半监督案例可以扩展为多物体分割问题,我们可以在 DAVIS-2017 挑战赛中看到。


    DAVIS-2016 (左) 和 DAVIS-2017 (右) 标注的主要区别:多物体分割(multi-instance segmentation)

    我们可以看到,DAVIS 是一个像素完美匹配标注的数据集。它的目标是重建真实的视频场景,如摄像机抖动、背景混杂、遮挡以及其它复杂状况。



    DAVIS-2016 的复杂度属性

    有两个度量分割准确率的主要标准:

  • 区域相似度(Region Similarity):区域相似度是掩膜 M 和真值 G 之间的 Intersection over Union 函数

  • 轮廓精确度(Contour Accuracy):将掩膜看成一系列闭合轮廓的集合,并计算基于轮廓的 F 度量,即准确率和召回率的函数。即轮廓精确度是对基于轮廓的准确率和召回率的 F 度量。

  • 直观上,区域相似度度量标注错误像素的数量,而轮廓精确度度量分割边界的准确率。

    新的数据集!GyGO:电商视频目标分割数据集(by Visualead)

    我们将在未来几个星期内陆续发布 GyGO 的各部分内容,GyGO 是一个专用于电商视频物体分割的数据集,由大约 150 个短视频组成。

  • 数据集地址:https://github.com/ilchemla/gygo-dataset

  • 一方面,视频画面的序列非常简单,几乎没有遮挡、快速移动或者其它提高复杂度的属性。另一方面,这些视频中的物体相比 DAVIS-2016 数据集有更多的类别,其中很多序列包含了已知的语义类别(人类、汽车等)。GyGO 专门搜集智能手机拍摄的视频,因此帧比较稀疏(标注的视频速度只有约 5 fps)。

    我们基于以下两个目的公布数据集:

  • 目前关于视频目标分割的数据严重缺乏,只有数百个带标注的视频。我们相信每一次贡献都有望帮助提升算法表现。我们分析认为,在 GyGO 和 DAVIS 数据集上进行联合训练,视频目标分割任务能得到更好的结果。

  • 为了推进更加开放共享的文化,鼓励其他研究人员加入我们。:) DAVIS 数据集和能促进其生长的研究生态系统给我们提供了很大的帮助,我们也希望社区能够从中受益。

  • DAVIS-2016 中的两个主要方法

    随着用于单一目标分割的 DAVIS-2016 数据集的公布,两个最重要的方法出现了:MaskTrack 和 OSVOS。在 DAVIS-2017 挑战赛的参赛团队中,每一支队伍都想构建超越这两者的解决方案,它们俨然已经成为「经典」。让我们看看它们是怎么工作的:

    单次视频目标分割(One Shot Video Object Segmentation,OSVOS)

    OSVOS 背后的概念简单而强大:



    OSVOS 训练流程

    1. 选择一个网络(比如 VGG-16)在 ImageNet 上进行分类预训练。

    2. 将其转换为全连接卷积网络(FCN),从而保存空间信息:

  • 训练结束时删去 FC 层。

  • 嵌入一个新的损失函数:像素级 sigmoid 平衡交叉熵(pixel-wise sigmoid balanced cross entropy,曾用于 HED)。现在,每一个像素都可以被分类成前景或背景。

  • 3. 在 DAVIS-2016 训练集上训练新的全连接卷积网络。

    4. 单次训练:在推断的时候,给定一个新的视频输入进行分割并在第一帧给出真实标注(记住,这是一个半监督问题),创建一个新模型,使用 [3] 中训练的权重进行初始化,并在第一帧进行调整。

    标签:新利88国际网址,新利88国际网址官网,新利88国际网址娱乐

    本文链接:http://www.weiqi.cc/developer/116713.html 转载请注明出处