重要有两个部分，编码器和解码器。编码器用于创建图像特点和标签特点。特点是由收集创建用来连接图样和标签的根本构建块。在编码的最后阶段，我们将图像特点和前一个标签中的单词接洽关系起来。
然后解码器经由过程图样和标签特点的组合来创建下一?标签特点，而这个特点则会经由过程全连接神经收集来猜测下一?标签。
因为我们须要为每一个单词插入一个截图，这就成了我们练习收集时的一个瓶颈（例子）。是以，我们没有直接应用图片，而是将生成标签所须要的信息提掏出来。
之后，我们用一个预先在 ImageNet 上预先练习的卷积神经收集，将这些提掏出来的信息编码到图片特点中。
在最终分类之前，我们将特点大年夜层中提掏出来。
最终，我们获得了 1536 张 8×8 像素的图像作为特点图。尽管这些特点很难被人懂得，然则神经收集可以大年夜这些特点中采掏出对象和元素的地位。
在 Hello World 的版本中，我们应用了独热编率攀来代表标签。而在这个版本中，我们将在输入中应用词向量（word embedding），并持续应用独热编码表示输出。
在保持每个句子的构造方法不变的情况下，改变映射记号的办法。独热编码将每个单词视为一个自力的单位。但在这里，我们将输入数据中的每个单词转换为数值列表。这些数值代表了不合标签之间的关系。
词向量的维度是 8，但受词汇量大年夜小的影响，维度经常会在 50 到 500 之间变更。
每个单词典 8 个数字类似于一般神经收集中的权重，用于映射不合单词之间的关系。
神经收集可以用这些特点来连接输入数据与输出数据。如今，先不要关怀它们是什么，我们将鄙人一节深刻商量这个问题。
我们把词向量送到 LSTM 中运行，之后会返回一系列的标签特点。这些标签特点然后会被送到 TimeDistributed 密集层运行。
https://emilwallner.github.io/bootstrap/pred_5/
在处理词向量的同时，还会进行另一个处理。图像特点起首会被扁平化，所有的数值会被转换成一个数字列表。然后我们在这个层上应用一个密集层来采取高等特点，随后这些图像特点会被连接到标签特点。
找到一个公平的办法来衡量精确性异常艰苦。假设钠揭捉?择逐字比较，那么如不雅你的预估中有一个字不合步，那么你的精确性就可能会是零。如不雅你删掉落一个相符猜测的悼?船最后的精确性也可能是 99%。
这可能有点难以懂得，所以让我们把处理的过程拆开来看。
我们先将词向量送到 LSTM 层中运行。如下图所示，所有的句子都邑被填充到三个记号的最大年夜长度。
为了混淆旌旗灯号并找到更高等其余模式，我们会用 TimeDistributed 密集层应用在标签特点上。TimeDistributed 密集层与一般的密集层雷同，只不过具有多个输入和输出。
与此同时，我们会预备图像。我们整顿了所有迷你图像特点，然后将它们转换成一组列表。个中的信息没有变，只是组织方法变了。
跟之前提过的一样，为了混淆旌旗灯号和提取更高等的概念，我们应用了一个密集层。 并且因为我们只须要处理一个输入值，所以我们可以用一个惯例密集层。厥后，为了将图像特点连接到标签特点，我们复制了图像特点。
推荐阅读
全平易近充电节 | 3月26日~30日 2000位IT行业拭魅战专家邀请你一路充电进修！根据筹划，北京市组织扶植了首个占地200余亩的海淀主动驾驶封闭测试场地，测试场包含城市、村庄的多种门路类型，具有丰富的测>>>详细阅读
地址：http://www.17bianji.com/lsqh/40844.html
1/2 1
网友点评
精彩导读
科技快报
品牌展示