今日要闻
雷锋网 AI 科技评论消息,中国多媒体大会日前于西安召开,会上,快手科技 AI 技术副总裁郑文分享了多媒体技术,尤其是 AI 技术在快手的应用。他表示,快手的使命是“用科技提升每一个人独特的幸福感”,这其中涉及到视频和用户的双向感知,用到多项 AI 技术。他重点描述了内容生产和内容理解两大模块涉及到的相关技术,以下为他的演讲内容,有删减。这一事件在雷锋网旗下学术频道 AI 科技评论数据库产品“AI 影响因子”有相应加分。
快手 AI 技术副总裁郑文:快手在 AI 技术上的一些应用
郑文,清华大学软件学院 2001 级校友,斯坦福大学计算机系博士,曾在硅谷多家知名大公司、创业企业从事计算机图形学、计算机视觉、深度学习等方向的研究,现任快手 AI 技术副总裁,带领快手在 AI、AR、CV、CG 等方向的前沿研究。
快手的使命是“用科技提升每一个人独特的幸福感”。这里有两个关键词,一是“每一个人”,这说明快手的价值观是非常普适的,但我们同时也强调每个人的幸福感是“独特的”。这两个关键词加在一起,就对我们的工作提出非常大的挑战,快手希望通过科技的手段达成这一目的。
目前快手是通过记录来提升幸福感的,这可以从两个方面来体现。首先,用户希望能看到更广阔的世界。第二,用户也有分享自己,被更广阔的世界看到的需求。
但是这里面临一个挑战,现在快手累计拥有超过 50 亿条视频,已数亿用户,在这两个海量的数字面前,如何有效分配注意力?过去,注意力一般会集中在所谓的“爆款视频”里,但在爆款视频之下,还有大量可能包含了非常丰富的信息、类别多样化的内容,这种“长尾视频”往往很难被别人注意到。如此,一些需求小众,或者兴趣比较细分的群体往往很难找到他们想要的内容。
单单依靠人工手段很难解决这一问题,因为我们需要在视频和用户中实现双向感知,进行精确匹配,这背后要处理的是万亿级的大数据。快手从很早就开始引用 AI 技术去解决这个问题。今天,从视频生产到视频分发,在快手整个流程中使用了大量的 AI 技术。
内容生产
快手今年推出了一些流行的爆款特效。比如“时光机”魔法表情可以展示人的面部从年轻到变老的过程展现出来,挑起用户内心深层次的情感。“尬舞机”魔法表情,将拍摄和游戏结合在一起,使记录变得更加有趣。
我们也希望将内容质量变得更高,研发并应用了很多图像增强技术。例如,用户在光线很暗的环境下拍摄,产出的视频往往会丢失信息和细节,通过暗光增强技术,可以将这些细节恢复。
我们也希望通过 AI 技术使得记录更加丰富有趣,同时又具有更高的质量。基于这个目标,我们开发了大量多媒体和 AI 技术,比如背景分割、天空分割、头发分割,人体关键点、人脸关键点、手势关键点检测等等。
但快手有很大一部分用户使用的是中低端机型,而现在先进的 AI 技术对设备的计算量的要求极高,如何让先进的技术被最多的用户体验到,我们希望对底层平台进行定制化开发,基于快手自研的 YCNN 深度学习推理引擎,上述技术在大多数机型上都能高效运行,并针对不同机型、不同硬件进行了适配和优化。
接下来是我们近期在内容生产方面的研发的一些技术:三维人脸,针对单张人脸图像恢复出人脸的三维信息,一方面可以实现对人脸的一些修改,比如打光、做一些表情、实现三维变脸特效;另一方面,通过三维人脸信息,我们可以提取出人的表情变化,然后把表情迁移到虚拟的玩偶上,这类似于 iPhoneX 推出的 Animoji 功能,但 iPhoneX 有结构光,且运行 Animoji 需要很强大的算力,我们通过技术研发,在配置较低的手机上也能实现类似功能。
刚才也提到了语义分割,比如把人像和背景分开,分别对人像和背景做特效,或者替换背景,另外还可以做人像虚化;头发分割,可以把头发区域分割出来,做染发效果。另外还有如天空分割等其他分割技术。
人体姿态估计则是预测人的关节点位置,利用这一技术,我们可以在肢体上加特效,或者修改人的体型,做美体瘦身功能。此外,我们还利用人体姿态去给跳舞动作打分。
手势检测是把各种特定的不同手形检测出来,实现“控雨”等玩法。另外还有 AR 相机姿态估计,背后是快手自研的 3D 引擎,并在其基础上添加编辑器模块、渲染模块、肢体模块、声音模块等,来实现模型精致而自然的光感、材质。
在音视频方面,我们运用了很多智能算法,比如需要视频尽可能清晰,但同时也要求传输流畅,这就需要针对视频复杂度做一些自适应优化。另外,我们也会对图像的 ROI 进行分析,比如视频里面人脸的区域往往对大家的观感影响最大,我们会把人脸的区域检测出来,然后将码率做得更高,使得整体观感获得很大的提升。
我们也会检测图像质量,比如视频生产过程中存在一些导致图像质量较低的因素,如拍摄没有对好焦,镜头长期没有擦试,或者视频经过多次上传和压缩而产生块状瑕疵。我们会把这些问题通过 AI 算法检测出来,一方面提醒用户拍摄的时候注意这些问题,另一方面在做视频推荐时也会对高质量视频进行一些倾斜。
内容理解
内容生产环节完成后,视频会被上传到后端服务器,这里我们需要对视频内容进行更深层次的理解。视频的内容理解会用在很多方面,比如内容安全、原创保护、推荐、搜索、广告等等。这里大概分为两个阶段。
首先是感知阶段,从人脸、图像、音乐、语音四个维度对视频信息进行理解。
人脸是一个很重要的维度,因为人脸往往包含了人所关心的最主要的部分,我们会对人脸区域进行检测,识别身份,跟踪位置,提取关键点,得到年龄、性别、表情等信息。
另外一个维度是图像层面,我们会对图像进行分类,如图像是在什么场景下,此外也会检测图像中有哪些物体,还会进行图像质量评估,以及利用 OCR 技术从图像中提取文字。
音乐也是一个非常重要的因素,它是影响视频感染力很重要的一部分,我们可以从视频里识别出音乐类型,甚至可以对音乐进行结构化分析,把伴奏和歌唱的部分分开。最近我们也加入了 K 歌功能,现在在研发如何美化歌声,给歌声打分等等。
语音也是视频非常重要的维度,往往从图像中可能并不能很好地得到视频所传达的信息,这时候语音就非常重要,我们会把语音识别出来转化成文字,也会通过语音去识别这个人的身份、年龄、性别等等。
第二是推理阶段,通过把这些不同维度的信息进行多模态融合,推理出更高层次的语音信息,或者对视频进行情感识别。我们也用到知识图谱技术,把视频里的知识存储在知识图谱里表达出来。通过知识图谱的推理,我们能够得到一些更高层、更深入的信息。
以下是我们在内容理解方面一些比较具体的技术,如快手开发了一套视频标签系统,可以对视频里出现的大多数内容和场景进行分类。在快手语音识别功能模块,我们采用深度学习算法,结合上下文语境模块,使得识别精度得到很大提升。
一方面,我们需要理解视频内容,另一方面,我们也需要对用户进行理解。这里包含用户的基本信息,比如年龄、性别、IP 地址、地点、手机型号等等。用户在实时使用快手时,也会产生一些行为数据,这些数据都会传送到后端的深度学习模型里,训练出对用户理解的向量。通过这些向量,我们可以预测用户的兴趣以及他与其他用户之间的关系。
最后我们得到对用户的描述以及对视频的理解,用户和视频之间的匹配就会产生万亿级别特征的大数据,这个大数据就会被用在实时在线的推荐系统里。
另外我们也会对社区里的内容进行排序,比如前面提到如何分配注意力,我们希望注意力分配的差距不要太大,所以会根据基尼系数调整视频内容的分配情况。此外,还会考虑到内容的安全性、多样性以及原创保护等因素。
(完)
雷锋网雷锋网
您可能敢兴趣
声明: 凡注明为其他媒体来源的信息,均为转载自其他媒体,转载并不代表本网赞同其观点,也不代表本网对其真实性负责。如系原创文章,转载请注明出处; 您若对该稿件内容有任何疑问或质疑,请即联系,本网将迅速给您回应并做处理。邮箱:mail@laishu.com
为您推荐
校园贷再曝乱象这到底是什么情况,了解最新消息?
2018-04-15 21:34
8月分手魔咒:不平衡的爱情注定走不远
2018-08-21 11:37
饮食提醒切记红薯的“死对头”
2018-02-21 03:39
红唇族加烟酒 罹癌增123倍 医师告诉你危害不只这些...
2019-11-06 17:37
秋葵,生菜
2020-01-27 07:42:15
滑坡毁百年铁轨 怎么回事
2019-02-02 05:46
解读改善你的饮食的3款创新菜肴
2018-02-25 03:39
李湘为女儿庆生 一家人真是太有爱了
2019-01-25 19:26
生完二胎后首露脸!福原爱瘦14公斤身材纤细
2019-07-27 12:32
2018CBME孕婴童展益生碱奏响全球备孕最强音
2018-08-01 13:46
月经不调饮食来调
2018-04-01 10:37
粗盐热敷4个部位治好4大顽疾可惜很少有人会用
2019-03-05 22:46
讨厌金牛座的人 是因为不懂金牛座 他们其实和你想像中的不同
2019-07-02 16:13
他才出生四天,四肢黑到要截肢、一碰就可能死亡!这一切只因爸妈一个无知的决定…
2018-02-17 12:45
石家庄现天价板面 为何如此天价 哪些人来吃
2019-02-02 04:47
统一西武双狮联名活动 日职传奇球星东尾修开球
2019-07-15 21:31
街头最红三大台式水果茶!!斗分量斗特色斗选择
2018-05-13 22:37
9个月婴儿如何进行认知能力训练
2018-02-15 01:00
最会伤人、伤人至深的十二星座排行榜 人必有一死 死于天蝎或死于水瓶
2018-05-03 06:34
对现任够深情 对前任够狠心的星座 第一名:金牛座
2019-07-08 16:18
滴滴顺风车回归 具体何时能归 消费者:等你回归
2019-04-15 20:39
从“出汗多”看体质?谨记养生方法,值得收藏!-今日头条(www.toutiao.com)
2018-01-11 23:45
备孕 你知道备什么吗?
2018-09-05 09:51
宝宝颅内出血、脑死亡竟是因为掉床 孩子坠床后万不可做错这3件事…
2018-10-16 12:57
日职/令和的怪物石垣岛初上陆 专属商品卖翻天
2020-09-17 12:51:25
新光三越彩虹市集改装结集60家餐厅品牌这5家人气超旺
2018-05-11 12:39
蝉联七年癌症死因第一名!预防大肠癌吃两物:越浓稠越抗癌,日本人爱吃、不想得癌更要吃|每日健康 Health
2019-03-21 21:53
每日排尿1500CC. 与尿路结石说再见
2019-10-25 18:35
原来这个八卦卦序的原理是这样的 其背后隐藏高深的宇宙奥秘
2018-05-10 04:36
只不过用硬币刮“这里”,不到3天!!五脏六腑的毒素竟然全排光了!便秘没了、气色也好了!效果太惊人。。。
2018-01-27 16:45
今日要闻
Dr. Martens联名X-GIRL释出霸气厚底系列!音乐人、潮流人都该来一双
真的来了!GD亲晒PEACEMINUSONE x Nike AF 1,白色“Para-Noise 2.0”超欠买!
adidas推出城市Online Run!王阳明、雷理莎脚踩Supernova、Boston 9限定鞋畅跑信义区
德国鞋履品牌Trippen秋冬新入荷!经典&创新任你选!
阿部千登势再推神作!sacai x Nike Vaporwaffle联名释出,四款新色攻陷你的荷包!
还有机会入手!Off-White x Air Jordan 5“色违”版本联名鞋即将开卖
Joel Embiid首代签名篮球鞋“UA Embiid One”台湾正式发售
Dr. Martens经典再进化!Heritage Distortion系列“双黄线”震撼登陆