Facebook人工智能实验室在 PySlowFast 之后时隔两年,携 PyTorchVideo 重入战场。
视频作为当今最被广为使用的媒体形式,已逐渐占超过文字和图片,据了人们更多的浏览时间。这使得视频理解变得尤为重要。各大互联网公司与顶尖高校纷纷绞尽脑汁,竞相研究前沿视频理解模型与算法。在谷歌,Facebook,亚麻,Open-MM Lab 等分别祭出各家杀器之后,Facebook人工智能实验室在 PySlowFast 之后时隔两年,携 PyTorchVideo 重入战场。官方网站:https://pytorchvideo.org/不同于在座的各位视频代码理解框架只醉心于自家框架,无法移步与其他代码库。PyTorchVideo 似乎如同 torchvision 等基础代码库一般,“哪儿都能用”!PyTorchVideo 不但可以用在视频理解任务中,甚至可以用在其他任务的代码库。Facebook人工实验室不但 PySlowFast 代码库上无缝使用上了 PyTorchVideo,并且还在 Classy Vision,PyTorch Lightening 等等框架上无缝插入。作为含着金钥匙出生的 PyTorchVideo,其直接成为了 PyTorch Lightning-Flash 的视频理解担当,作为基础库被默认使用。如,在 FiftyOne 项目中,开源社区的吃瓜群众就利 Lightning-Flash 鬼畜出了一个浏览视频的工具箱,可以直接查看视频的动作类别。更厉害的是,PyTorchVideo 似乎“啥都管”!不但在视频分类,动作检测等任务中深耕前沿,还“略懂”Lecun 最爱的自监督学习,甚至音频事件检测等等千奇百怪的任务也不在话下。![](https://image.jiqizhixin.com/uploads/editor/3492b636-19b8-4225-8da5-99c122916578/640.png)
更丧心病狂的是,PyTorchVideo 一并开源了移动端的加速优化。不但提供了手把手的教程,将视频模型一步步优化核心 Kernel,量化(quantilize)加速,数倍加速后在移动端实时运行,甚至官方直接暴力放出 Android 和 iOS 移动端开源代码,将前沿的视频模型直接塞到手机里跑着玩玩。![](https://image.jiqizhixin.com/uploads/editor/89718630-0ca9-4fd0-a290-6331143b5b8a/640.png)
PyTorchVideo 的真身是一个基础视频库,可以服务于各种代码库。除了全方位的前沿视频模型模型,开源视频模型,其中还含有各类视频基础算法,视频数据操作,各类流行视频数据集,视频增广,视频模型加速量化,等等一些列的全栈视频相关内容。据官方博客透露,PyTorchVideo 开源了一大票视频模型,包括Facebook人工智能实验室近期出现在 ICCV,ICML 等回忆中的工作:●Multiscale Vision Transformers●A large-scale study on unsupervised spatiotemporal representation learning●Multiview pseudo-labeling for semi-supervised learning from video●Is space-time attention all you need for video understanding?●Keeping Your Eye on the Ball: Trajectory Attention in Video Transformers●SlowFast networks for video recognition●X3D: Expanding architectures for efficient video recognition●Audiovisual SlowFast networks for video recognition●Non-local neural networks●A closer look at spatiotemporal● convolutions for action recognition●Video classification with channel-separated convolutional networks似乎其 MultiScale Vision Transform 也位列其中,有兴趣的朋友可以去一探究竟。浏览一下官方的教程并上手实验一下,发现通过 PyTorchVideo 只需要寥寥几行就可以训练一个视频模型:![](https://image.jiqizhixin.com/uploads/editor/8159f430-b456-4c45-bf9a-f5f123a08b0f/640.png)
![](https://image.jiqizhixin.com/uploads/editor/228116c2-da8c-4ebe-9113-16fa227774ee/640.png)
![](https://image.jiqizhixin.com/uploads/editor/ad229e06-83d2-4ab2-b811-57d6ad8d31e8/640.jpeg)
![](https://image.jiqizhixin.com/uploads/editor/1411b7ef-523a-4850-a066-fc50b258da89/640.jpeg)
Something-Something V2
![](https://image.jiqizhixin.com/uploads/editor/de1c1c62-b2dc-4cc9-9594-46313287b70e/640.png)
Charades
![](https://image.jiqizhixin.com/uploads/editor/d85c3c0a-23b5-4733-b9af-f737721df7eb/640.png)
AVA (V2.2)
![](https://image.jiqizhixin.com/uploads/editor/71888736-b380-4604-be29-929479e92fb4/640.jpeg)
甚至通过 PyTorchVideo 加持的 Lightning Flash,分类视频仅仅只需三行。![](https://image.jiqizhixin.com/uploads/editor/763e11e3-2171-46bf-ab09-533e45f95938/640.png)
https://pytorchvideo.org/https://ai.facebook.com/blog/pytorchvideo-a-deep-learning-library-for-video-understanding/ 理论PyTorchVideoFacebook人工智能实验室