产品展示
您的位置:主页 > 产品展示 > 医疗卫生 >

揭秘英伟达人工智能视频慢动作技术

日期:2020-09-08 18:11

  英伟达已经发外过一段视频,演示了通过人工智能奈何将一段平常视频转化为滑腻自然的慢作为视频,效率就像是影戏上映现的慢作为殊效,观众能够显现看到一系列相连的慢作为。那么这个殊效是如何达成的呢?就让咱们一探其背后的本领维持。

  自负专家正在各类影视作品中都看到过慢作为殊效,比方正在方才告终的全邦杯就有很众球员进球,射门,身体接触的慢作为回放,通过VAR逐帧回看,这些慢作为能够显露看到一霎时爆发的事宜(图1)。

  关于影戏里的慢作为殊效,实质上是借助筑设举行高速照相,比方拍摄速率到达50帧/秒、100帧/秒乃至更高,然后正在回放功夫依旧选拔24帧/秒向例速率播放,这就相当于把实质1秒钟拍摄的图像用2秒众到4秒众时代回放,从而达成慢作为效率。

  当然关于平常用户来说,咱们没有高速照相筑设,那么怎样达成慢作为效率?英伟达指日推出基于cuDNN 加快的PyTorch 深度进修框架达成自便视频慢作为,通过这个这一面工智能框架,连接NVIDIA Tesla V100 GPU健壮处置才略,它能够将自便一段视频拉长,从而达成相同影戏殊效里的慢作为(图2)。

  通过上面先容咱们了解,向例的慢作为是将高速照相的视频低速播放达成。那么关于平常的视频(仍旧是低速照相制品了),英伟达又是如何达成慢作为效率的呢?

  慢作为的焦点是将历来的视频拉长而达成慢速效率,然而假使将平常的视频直接运用低速效率播放,实质效率则会变为卡顿、帧与帧之间作为变得不连贯。因而将平常的视频拉长后还要达成滑腻的慢作为效率,此时就需求对视频物体举行定位和补帧。

  比方一段汽车漂移的视频,假使要达成漂移的慢作为演示,咱们最先需求对视频中的汽车举行定位,只要对汽车举行确凿定位后,比方切确定位汽车每一秒的漂移地位,云云材干够对汽车后续扫数漂挪动作举行全程的映现(图3)。

  达成对映现物体的定位后,由于映现的是慢作为效率,咱们还需求对视频举行补帧。由于历来视频自身即是低速照相拍摄的,现正在将视频拉长后,为了让拉长的视频不崭露卡顿(掉帧),此时就需求举行切确的补帧,使得视频拉长后播放依旧特别顺滑(图4)。

  云云通过视频定位和补帧,英伟达的人工智能框架本领就达成将自便视频慢作为化。那么云云的效率是如何达成?

  英伟达的这项本领是借助NVIDIA Tesla V100 GPU健壮视频处置才略+人工智能进修框架达成的。英伟达搭筑善人工智能进修框架后,通过预先盘算的约1.1万段的视频素材动作数据源给人工智能举行进修,让它从这些视频素材中进修定位和补帧。比方上述舞蹈视频,人工智能本领能够对视频中的舞者举行定位,而且能够对舞者每一帧作为举行进修,了解下一帧的人物是如何的状况显示。云云通过肯定的算法和进修模子,而且通过人工智能的深度进修和自我进修,这一面工智能框架就能够对其他视频举行同样的定位和解析,从而通过完好的定位和补帧本领,达成将平常视频慢作为化(图5)。

  当然不单仅是视频慢作为,借助新的陶冶式样,让人工智能能够从已有的图像中,天生新的图像,乃至能够使用差别的人像,天生新的肖像。比方相同影片中的换脸殊效。英伟达的人工智能框架能够精准的达成人物从一一面脸无缝转换到另一一面脸的殊效(图6)。

  通过上面的映现,咱们睹地到了英伟达人工智能框架正在视频处置方面的健壮性能。这个本领的崭露能够给咱们糊口带来良众的欢乐。

  随开始机的普及,咱们运用手机来拍摄短视频,关于那些电光石火的画面,咱们总念看显现扫数流程。比方笃爱跳广场舞的老妈,关于队友,教师的疾舞节拍老是看不显现扫数作为,现正在只消运用手机拍摄,然后借助英伟达这个本领转化,舞者再疾的作为都能够变慢,让老妈详尽看显现每个舞蹈的作为。