床长人工智能教程50免费pdf文档——AWSRN论文阅读

.

声明：本人只是分享一些床长人工智能教程相关的免费pdf文档而已，并非床长人工智能网校的收费文章。尊重版权，支持原创！

问题

大多数基于卷积神经网络的模型需要大量的计算，这限制了它们在现实世界中的应用。

大多数网络只有一个经过卷积转置卷积或的单尺度重构层，导致非线性映射模块的特征信息利用不足。

多尺度重建方法虽然提供了更多的信息，但也引入了更多的参数，导致计算量大。

解决办法

我们提出了一种轻量级和有效的自适应加权超分辨网络的。

我们的模型在不增加参数和计算开销的情况下实现了比最先进的算法更好的性能。

设计了高效残差学习的局部融合块，其中提出的自适应加权残差单元和局部残差融合单元可以实现信息和梯度的高效流动和融合

提出的自适应加权多尺度重构模块不仅可以充分利用上下文信息，还可以通过分析不同尺度分支之间的信息冗余来降低参数。

上采样模块

我们可以根据自动学习的权值去除一些贡献较小的尺度分支，在不损失性能的情况下减少参数

算法

大框架该算法由特征提取模块非线性映射模块和自适应权值多尺度重构模块组成。

特征提取模块为核大小为的卷积层，可以表示为

包括多个和一个

来自的基本无权重的

，为具有的残差单元生成两个权值

我们提出的剩余单位有两个独立权值的。

在中添加了瓶颈层以融合多个层次的还可以匹配快捷分支的维数。

实验

基本的设置

训练

测试从样本中随机裁剪出个大小为的

像作为每个训练小批的输入。

对训练集进行数据增强，如随机旋转度度度和水平翻转。

对于超参数的设置，我们为设置了个通道，即输入内部输出通道数分别为。

所有中自适应权值的初始值均为。

默认有个。

对于模块，我们设置了个尺度层，内核大小分别为和

分别。

每个规模分支的初始权值为。

我们的模型由进行训练，损失。

通过权值归一化将学习率设为的此方，然后每倍降低一半，的次方迭代

实验方法的有效性

不同的比较结果在。

可以发现，在值较高时，和的性能都优于基本，说明加权残差单元的有效性。

此外，我们的的参数比少。

随着网络深度的增加，剩余分支和快捷分支的权值都在减小。

说明网络中越深，需要较小的尺度值才能防止梯度爆炸。

因此，在网络的较深层次中，残差尺度的作用更为重要。

此外，在浅层，特别是在快捷分支中具有较大的权重，这与常用的残差缩放技巧完全不同。

这意味着浅层网络中的更多信息需要传输到更深层次的网络中。

和的重要性。

为了评估中和组件的性能，我们首先设置一个以个作为基线模型和一个堆叠了个的模型。

具有与基线相同的数量。

为了观察用于重建的的性能，我们建立了模型，在每个里面的把替换为。

为了观察的表现，我们建立了模型，它从每个中移除了。

是尺度因子为的基准数据集的计算平均值。

如表所示，的性能优于两者和，表明了我们提出的和的有效性。

自适应加权多尺度重建

为了验证模块在重构层中的有效性，分析有个有的的。

我们的模块的性能优于只有卷积核的重构层。

我们在尺度因子为的基准数据集上实现了这些模型，并计算了平均此外，还可以发现不同规模分支上的权重有不同的贡献。

这意味着可以在我们的模块中获得不同的特征信息。

为了进一步分析不同核大小对重构质量的影响，我们分别去除每个分支上的特征，并在上测试结果。

可以看出分枝具有和内核大小对结果的影响更大。

上核数为和的分支权重较小。

去除核的分支后，对重建质量也无明显影响。

显示了不同规模分支上的可视化结果。

可以发现规模分支主要捕捉低频信息。

模块中的大型分支对高频信息更加敏感。

可见，我们的模块具有很好的实现能力捕获低频和高频信息重建。

为了进行全面的比较，我们设计了四个模型和也就是说，对于和，我们分别堆叠了个个和个。

每个有个和有个通道。。。。