该收集采取视频一一系列的帧作为输入 x[t]，并在每一时光步猜测视频 y[t+1] 的下一帧， y[t+1] 接近于 x[t+1]，如不雅猜测是精确的。
因为该收集可以度量猜测与真实的下一帧之间的误差，它知道什么时刻可以或者弗成以猜测输入。如不雅弗成以，它可以激活增量进修，这是前馈神经收集做不到的。是以该收集本质上就可以履行在线进修。
这些收集仍在研究之中。我们的建议是：持续存眷它们!
猜测编码收集(predictive coding network)——第一部分
递归生成收集(recursive generative network)是一种可能的猜测模型。猜测编码计算神经科学模型(predictive coding computational neuroscience model)可作为其替代，可以或许供给猜测才能并被做成层次化的深度神经收集。
这里给出了一个 2 层模型的示意：
Rao 和 Ballard 在其 Nature Neuroscience 论文《Predictive coding in the visual cortex: a functional interpretation of some extra-classical receptive-field effects》中的模型和 Friston 的实现论文《Canonical microcircuits for predictive coding》都是计算 A 模块(类似于上述梯收集中的 D 模块)和 R/Ay 模块(类似于上述梯收集中的 G 模块)之间每一层的误差 e。这个误差 e 表示了该统??每一层猜测表征的才能。然后误差 e 被作为输入发送给下一层。R 是一个卷积 RNN/LSTM 模块，而 Ay 类似于 A 模块。R 和 Ay 可以被结合为一个单一的轮回模块。在第一层中，x 是输入帧。
如今让我们懂得一下这些新收集的细节和实现：
这个模型的问题是该收集异常不合于标准的前馈神经收集。这些猜测收集并不会在更高层面上创造一个结合了更低层的特点的层次表征，而是管帐算之前的层的残差误差(residual errors)的表征。
该模型已经被 Bill Lotter 和 David Cox 实现，参考 PredNet：https://coxlab.github.io/prednet/
猜测编码收集——第二部分
Spratling 猜测编码模型是将表征 y 投射到更上层，而非像之前的 Friston 模型那样投射误差 e。这使得该收集与层次化前馈深度神经收集更兼容，并且还避免了进修到更上层的误差的矩(moments of errors)。
这里给出了一个 2 层模型的示意：
本质上讲，该模许可以被重写和简化成我们前面提到的轮回生成梯模型。这是因为 R 和 Ay 可以被结合成一个单个轮回模块。
与生查对抗收集的关系
生查对抗收集(GAN)是如今一种异常风行的模型，其可以大年夜数据分布中进修生成样本。这里提出的新收集模型优于 GAN，原因如下：
- 它们并不经由过程最小最大年夜博弈(minimax game)的方法来练习，而是直接面向一个有效的义务练习的，所以其辨别器和生成器都是直接有效的。
- 它们可以进修创造有效的输入表征，同时也可以生成新的输入。
- 它们可以进修基于输仁攀来生成目标数据。
- 生成器收集和辨别器收集是慎密绑定的，清除了收敛问题。
- 其生成器可以供给具有近乎完美真实感的┞氛片样本(见下)，比拟而言，GAN 的结不雅并不太好。
REGEL 统??测才能的示例——左图：当前帧;中图：下一?真实帧;猜测的下一帧
其它模型
REGEL 如许的模型让人想起像素轮回收集(Pixel recurrent networks)及其诸多实现(比如 PixelCNN、Pixel CNN++、WaveNet)。这些模型的目标是建模输入数据的分布。(「我们的目标是估计天然图像的分布，并将其用于可跟踪地计算数据的似然并生成新的数据。」)它们仅专注于生成新的具有真实感的数据样本，但还没有表示出为真实世界义务进修表征的才能。并且这些模型的推理速度也异常慢。
- 像素轮回收集：https://arxiv.org/abs/1601.06759
- PixelCNN：https://arxiv.org/abs/1606.05328
- Pixel CNN++：https://openreview.net/pdf?id=BJrFC6ceg
- WaveNet：https://deepmind.com/blog/wavenet-generative-model-raw-audio/
- 其它：http://ruotianluo.github.io/2017/01/11/pixelcnn-wavenet/
总结
这些新收集仍然还在研究和评估之中。比如比来的 PredNet 论文(https://arxiv.org/abs/1605.08104 )就给出了猜测编码收集和梯收集的一个比较，个中 PredNet 在一些义务上表示更优。PredNet 可被用于应用高层表征来履行定向的面部分类。别的，其还可以在一个数据集中猜测转向角，但大年夜多照样应用该收集第一层的简单动作过滤器。该义务并不须要对特点进行层次分化。
【编辑推荐】
- 深度卷积神经统??目标检估中的进展
- 若何用PyTorch实现递归神经收集？
- 卷积神经收集拭魅战——应用keras辨扰绫迁咪_
- 一文详解深度神经收集中的对抗样本与进修
- 若何大年夜旌旗灯号分析角度懂得卷积神经收集的复杂机制？
推荐阅读
为了闪开辟团队在其代码中晋升安然问题和马脚的发明，Rogue Wave宣布了新的安然申报功能，新的Java检查器，CERT分类法的更新等静态代码分析对象。Klocwork 2017.1是Rogue Wave宣布的最新>>>详细阅读
地址：http://www.17bianji.com/lsqh/35130.html
1/2 1
网友点评
精彩导读
科技快报
品牌展示