今日要闻
雷锋网 AI 科技评论按:如果你向一个人仅仅展示一段视频中的几帧,他通常可以推测出视频里发生的是什么事件以及屏幕上会显示出什么。例如,如果我们在视频开始时的帧中看到了一堆堆叠起来的罐头,在视频中间的帧中看到了有人将手指放在了视频的底部,而在视频后面的帧中看到这堆罐头倒了,我们可以猜测出手指也许推了罐头一把。然而,计算机却很难思考出这一点。
在前段时间举行的 2018 年欧洲计算机视觉大会(ECCV2018)上,周博磊与麻省理工学院的研究人员一共提出了一个附加的视频处理模块,该模块可以帮助被人们称为卷积神经网络(CNN)的人工智能系统填补视频帧之间的空白,从而大大提升了网络的活动识别能力。 雷锋网 AI 科技评论简介如下。
机器学习系统通过仅仅在几个关键帧中观察物体如何变化从而有效地识别活动研究人员将这个模块称为时序关系网络(TRN),它能够学习视频中的物体在不同的时间发生了怎样的变化。它通过分析一些在视频的不同阶段描绘某种活动的关键帧(例如,堆叠放置的物体被推倒。)来做到这一点。接着,它可以使用相同的过程识别一段新视频中相同类型的活动。
在实验中,该模块在识别数百种基本活动时,表现大大超过了现有的模型,这些活动就像将某些物体戳倒、将物体抛向空中,或者渐渐竖起大拇指。它还能更加准确地预测出视频中接下来会发生什么。例如,在给定少量的早期视频帧的情况下,推测出两只手在轻微地撕扯一张纸。
在未来,这个模块可以被用来帮助机器人更好地理解它们周围发生了什么。
论文第一作者、前 MIT 计算机科学和人工智能实验室(CSAIL)博士生、现任香港中文大学计算机科学专业助理教授周博磊说:“我们构建了一个人工智能系统,我们用它来识别物体的变化,而不是识别物体外观。该系统并不会对所有的帧进行处理,它会挑出关键帧,然后使用这些帧的时序关系,识别究竟发生了什么。这将提高系统的效率,使其能够准确地实时运行”。
这篇论文的联合作者是CSAIL 首席科学家 Antonio Torralba(他同时也是MIT 电子工程和计算机科学系的教授)、CSAIL 首席研究员Aude Oliva,以及CSAIL 研究助理 Alex Andonian。
选取关键帧目前常常被用于活动识别的两种卷积神经网络模块存在效率和准确率方面的缺陷。其中第一种模型时准确的,但是在做预测之前必须逐帧对视频进行分析,这样做的计算复杂度是很大的,运行起来十分缓慢。另一种模型被称为双流卷积神经网络,它的准确率较之于前一种模型低一些,但计算效率更高。双流网络使用一个流来提取一个视频帧的特征,然后将结果与“光流”(提取出的一组关于每个像素点运动的信息流)融合在一起。提取光流的计算复杂度同样很高,所以这个模型仍然没有那么高效。
“我们想要在这两种模型(效率与准确率)之间找到一种折中的方式”。
研究人员在三个众包的进行各种各样活动的短视频数据集上训练并测试了它们的模块。第一个数据集叫做“Something-Something”,它是由TwentyBN 公司构建的,包含174 个活动类别的超过20万条短视频,比如说戳倒一个物体或举起一个物体。第二个数据集是“Jester”,它包含关于27 种不同的手势的大约15 万条视频,例如竖起大拇指或向左挥击。第三个数据集是由卡内基梅隆大学的研究人员构建的“Charades”,它包含157 个活动类别的超过1 万条短视频,比骑自行车或打篮球。
当我们拥有一个视频文件时,研究人员构建的模块每间隔一段时间同时以两帧一组、三帧一组或四帧一组处理顺序排列的帧。然后,模块会迅速分配一个概率,它代表物体在这些帧之间的变化与一个特定的活动类别相匹配的可能性。例如,如果我们要使用模块处理两个帧,其中后一帧在屏幕的底部显示了一个物体,而这个物体在前一帧中出现在屏幕顶部,该模块就会为活动“将物体向下移动”分配一个高的概率。如果此时第三帧显示物体在屏幕的中间,那么这个概率还会继续增加,以此类推。通过这种方法,该模块可以在最能代表某类活动的帧中学习对象变换的特征。
识别和预测活动
在测试中,配备了新模块的卷积神经网络使用两帧准确地识别出了许多活动,但是通过采样更多的帧,准确率还能被继续提升。对于Jester 数据集来说,模块在活动识别中达到了最高的95% 的准确率,击败了一些现有的模型。
新模块甚至在模糊分类任务“Something-Something”上也得到了正确的结果。例如,包括“假装打开一本书”和“打开一本书”之类的行动。为了将二者区分开来,该模块只是对一些关键帧进行了取样,例如,一只手在较早的帧中放在一本书旁边,而在较晚的书中则远离了这本书。
其它的一些活动识别模型也对关键帧进行处理,但是并没有考虑帧与帧之间的时序关系,这会降低它们的准确率。研究人员指出,他们的TRN 模块在某些测试中比那些关键帧模型的准确率提升了几乎一倍。
在给定的视频帧有限的情况下,该模块在预测活动方面的表现也优于其他模型。在处理了前25% 的帧之后,该模块的准确率比对比基线模型搞了几个百分点。当处理了50% 的帧之后,该模块的准确率的准确率提高了10% 到40%。例如,根据两只手在较早的帧中的位置来判断纸张是否会被撕开一点,并且预测一只向前伸出的举起的手会向下滑动。
“这对机器人应用十分重要,”周博磊说。“当你执行某种特定的动作时,你会想要一个机器人能够事先知道接下来会发生什么”。
接下来,研究人员的目标是提高模块的复杂程度。首先,他们将同时实现活动识别和物体识别。然后,他们希望引入一些“直观的物理知识”,这能够帮助该模块理解物体的实际物理性质。“因为我们知道这些视频中的许多物理学原理,我们可以训练该模块学习这些物理定律,并用它们来识别新的视频,”周博磊说。“我们也将开源所有的代码和模型。活动理解是目前人工智能领域一个令人兴奋的研究课题”。
论文地址:https://arxiv.org/abs/1711.08496
via mit.csail,雷锋网 AI 科技评论编译
您可能敢兴趣
声明: 凡注明为其他媒体来源的信息,均为转载自其他媒体,转载并不代表本网赞同其观点,也不代表本网对其真实性负责。如系原创文章,转载请注明出处; 您若对该稿件内容有任何疑问或质疑,请即联系,本网将迅速给您回应并做处理。邮箱:mail@laishu.com
为您推荐
校园贷再曝乱象这到底是什么情况,了解最新消息?
2018-04-15 21:34
8月分手魔咒:不平衡的爱情注定走不远
2018-08-21 11:37
饮食提醒切记红薯的“死对头”
2018-02-21 03:39
红唇族加烟酒 罹癌增123倍 医师告诉你危害不只这些...
2019-11-06 17:37
秋葵,生菜
2020-01-27 07:42:15
滑坡毁百年铁轨 怎么回事
2019-02-02 05:46
解读改善你的饮食的3款创新菜肴
2018-02-25 03:39
李湘为女儿庆生 一家人真是太有爱了
2019-01-25 19:26
生完二胎后首露脸!福原爱瘦14公斤身材纤细
2019-07-27 12:32
2018CBME孕婴童展益生碱奏响全球备孕最强音
2018-08-01 13:46
月经不调饮食来调
2018-04-01 10:37
粗盐热敷4个部位治好4大顽疾可惜很少有人会用
2019-03-05 22:46
讨厌金牛座的人 是因为不懂金牛座 他们其实和你想像中的不同
2019-07-02 16:13
他才出生四天,四肢黑到要截肢、一碰就可能死亡!这一切只因爸妈一个无知的决定…
2018-02-17 12:45
石家庄现天价板面 为何如此天价 哪些人来吃
2019-02-02 04:47
统一西武双狮联名活动 日职传奇球星东尾修开球
2019-07-15 21:31
街头最红三大台式水果茶!!斗分量斗特色斗选择
2018-05-13 22:37
9个月婴儿如何进行认知能力训练
2018-02-15 01:00
最会伤人、伤人至深的十二星座排行榜 人必有一死 死于天蝎或死于水瓶
2018-05-03 06:34
对现任够深情 对前任够狠心的星座 第一名:金牛座
2019-07-08 16:18
滴滴顺风车回归 具体何时能归 消费者:等你回归
2019-04-15 20:39
从“出汗多”看体质?谨记养生方法,值得收藏!-今日头条(www.toutiao.com)
2018-01-11 23:45
备孕 你知道备什么吗?
2018-09-05 09:51
宝宝颅内出血、脑死亡竟是因为掉床 孩子坠床后万不可做错这3件事…
2018-10-16 12:57
日职/令和的怪物石垣岛初上陆 专属商品卖翻天
2020-09-17 12:51:25
新光三越彩虹市集改装结集60家餐厅品牌这5家人气超旺
2018-05-11 12:39
蝉联七年癌症死因第一名!预防大肠癌吃两物:越浓稠越抗癌,日本人爱吃、不想得癌更要吃|每日健康 Health
2019-03-21 21:53
每日排尿1500CC. 与尿路结石说再见
2019-10-25 18:35
原来这个八卦卦序的原理是这样的 其背后隐藏高深的宇宙奥秘
2018-05-10 04:36
只不过用硬币刮“这里”,不到3天!!五脏六腑的毒素竟然全排光了!便秘没了、气色也好了!效果太惊人。。。
2018-01-27 16:45
今日要闻
Dr. Martens联名X-GIRL释出霸气厚底系列!音乐人、潮流人都该来一双
真的来了!GD亲晒PEACEMINUSONE x Nike AF 1,白色“Para-Noise 2.0”超欠买!
adidas推出城市Online Run!王阳明、雷理莎脚踩Supernova、Boston 9限定鞋畅跑信义区
德国鞋履品牌Trippen秋冬新入荷!经典&创新任你选!
阿部千登势再推神作!sacai x Nike Vaporwaffle联名释出,四款新色攻陷你的荷包!
还有机会入手!Off-White x Air Jordan 5“色违”版本联名鞋即将开卖
Joel Embiid首代签名篮球鞋“UA Embiid One”台湾正式发售
Dr. Martens经典再进化!Heritage Distortion系列“双黄线”震撼登陆