事件相机+AI视频生成入选ICIP，无需磨砺已矣可控视频生成｜港大

CUBE团队 投稿

量子位 | 公众号 QbitAI

在这个信息爆炸的时期，若何让AI生成的视频更具创意，又稳健特定需求？

来自香港大学的最新参议《基于事件、无需磨砺的可控视频生成框架 CUBE》带来一个全新的科罚有谋划。

这一框架期骗了事件相机捕捉动态角落的才调，将AI生成的视频带入了一个新的维度，精确又高效。论文原标题是“Controllable Unsupervised Event-based Video Generation”，

发表于图像处理嘉会ICIP并被选为Oral（理论讲演），并受邀在WACV workshop演讲。

什么是事件相机？

在深入了解CUBE框架之前，先来缔结一下事件相机。

不同于传统相机的定时捕捉，事件相机师法生物的视觉系统，只捕捉像素点亮度变化的“事件”，就像是只纪录画面的精华部分。

这么不仅不错灵验减少冗尾数据，还不错显赫缩短耗能。

尤其是在高速动态或明朗变化大的场景下，事件相机比传统相机更有上风。而这些独到的“事件数据”恰是CUBE框架的中枢。

△左：平庸相机拍的；右：事件相机拍的

节略说，事件相机和平庸相机不同，捕捉的是物体角落的动态细节，就像你脑中一闪而过的灵感，从简了多数带宽还能省电。

CUBE框架诱骗了这些“久了”的角落数据和笔墨描写，无需磨砺就能合成稳健需求的视频！这不仅能让你生成的场景更“合胃口”，还能让视频质地、时候一致性和文本匹配度齐蹭蹭上升。

为什么要用CUBE？

其他要津或是需要多数磨砺数据，或是生成后果欠佳。CUBE框架不仅科罚了这些问题，还在多形势的上进展出色。

不管是视觉后果、文本匹配度仍是帧间一致性，CUBE齐进展优异。

不错这么思：CUBE就像给事件相机配上了智能“滤镜”，让生成的视频不仅纯真还稳健描写，比如让铁东说念主也能在马路上跳起月球舞步！

CUBE框架是若何使命的？

CUBE的全称是“Controllable, Unsupervised, Based on Events”，直译过来等于“可控的、无需磨砺的、基于事件的”视频生成框架。

它通过索要事件中的角落信息，再诱骗用户提供的笔墨描写生成视频。在要津上，CUBE主要依赖扩散模子生成技巧。

扩散模子通过向图像添加立时噪声并逐渐规复来生成图片，但团队进一步优化了这个经由，能让它字据“事件”提供的角落数据生成视频。

CUBE的中枢要津

1. 角悲凉要：事件流纪录了物体绽放的轨迹，而CUBE的广阔任务等于将这些事件搭救成角落信息。团队假想了一个角悲凉要模块，把事件数据分红多个时候段，索要出弱点的空间位置，从而酿成精确的角落图。这些角落图不仅保留了绽放物体的概述，还能让视频生成更绽放。

2. 视频生成：有了角落数据之后，CUBE诱骗了笔墨描写生成视频。通过扩散模子的逐渐规复经由，不错生成多个与描写相匹配的图像帧，并用插帧技巧让视频愈加平滑一致。这个经由不需要多数的磨砺数据，因为CUBE径直调用了预磨砺的扩散模子来已矣高质地生成。

3. 收敛性与一致性：取舍了ControlVideo框架，这一框架具有优秀的可控性，通过笔墨描写来收敛生成的视频试验，使每帧的生成齐稳健特定的条款。ControlVideo和CUBE的组合科罚了传统要津中视频生成一致性不及的问题，让试验新纯真、更贴合描写。

CUBE的性能进展

在实验中，CUBE的进展远超现存要津。在视频质地、文本匹配度和时候一致性等多个目标上，CUBE齐得到了优异的收货。

定量实验炫耀，CUBE生成的帧间一致性和文本匹配度齐比ControlNet、ControlVideo等要津更优。此外，团队还作念了用户偏好测试，扫尾炫耀参与者深广更可爱CUBE生成的视频。

明天有计划

虽然，CUBE还有升迁的空间。明天团队但愿将角落信息和纹理信息诱骗，使视频更具细节和真确感，同期探索更多领域适用性，致使将其应用在及时场景中。这一技巧不仅稳健电影、动画生成等领域，还不错用于自动驾驶、监控等需要快速识别动态环境的场景。

CUBE不仅是一项技巧，更是一次在事件相机与AI生成视频领域的新探索。

若是你也对AI生成视频感趣味，可进一步参考齐全论文和开源代码。

论文地址：

https://ieeexplore.ieee.org/abstract/document/10647468代码已开源：

https://github.com/IndigoPurple/cube

— 完 —

量子位 QbitAI · 头条号签约

热心咱们，第一时候获知前沿科技动态