9.7 数据类型

卷积网络使用的数据通常包含多个通道，每个通道是时间上或空间中某一点的不同观测量。 参考表\,\?\,来了解具有不同维数和通道数的数据类型的例子。

[success] 前面讲的都是单通道的卷积，现在是多通道的卷积。例如RGB图像是三通道的图像。 多通道图像做卷积，图像的通道数与核的通道必须相同。即输入为$W\times H\times C$，核的大小应该为$f_W \times f_H \times C$。卷积的结果为$W-f_W+1\times H-f_H+1$。 多通道的原图像 多通道的核 = 单通道的图像 多通道的原图像 n个多通道的核 = n个通道的图像 = 1个n通道的图像。

	单通道	多通道
1维	音频波形：卷积的轴对应于时间。我们将时间离散化并且在每个时间点测量一次波形的振幅。	骨架动画(skeleton animation)数据：计算机渲染的3D角色动画是通过随时间调整"骨架"的姿势而生成的。 在每个时间点，角色的姿势通过骨架中的每个关节的角度来描述。我们输入到卷积模型的数据的每个通道，表示一个关节关于一个轴的角度。
2维	已经使用傅立叶变换预处理过的音频数据：我们可以将音频波形变换成2维张量，不同的行对应不同的频率，不同的列对应不同的时间点。在时间轴上使用卷积对于时间上的移动具有等变性。在频率轴上使用卷积使得模型对于在频率上的移动具有等变性，这使得在不同八度音阶中播放的相同旋律产生相同的表示，但处于网络输出中的不同高度。 & %Fourier transform这里不是很清楚，在频率上使用卷积是做什么的？	彩色图像数据：其中一个通道包含红色像素，另一个包含绿色像素，最后一个包含蓝色像素。在图像的水平轴和竖直轴上移动卷积核，赋予了两个方向上平移等变性。
3维	体积数据：这种数据一般来源于医学成像技术，例如CT扫描等。	彩色视频数据：其中一个轴对应着时间，另一个轴对应着视频帧的高度，最后一个对应着视频帧的宽度。

[success] Ng补充：不同数据结构上的卷积 下面公式中的代表卷积运算。 卷积运行用于多通道数据时，通道数必须相等。 1D： $14 5 = 10$ 1D + 多通道： $14\times 3 7$个$5\times3 = 10\times7$ 2D： $14\times 14 5\times 5 = 10\times10$ 2D + 多通道： $14\times 14\times 3 7$个$5\times 5\times 3 = 10\times10\times7$ 彩色图像不是3D，是2D+多通道。 3D： $14\times 14\times 14 5\times 5\times 5 = 10\times 10\times 10$ CT影响或者move可以看作是3D。 3D + 多通道： $14\times 14\times 14\times 3 * 7$个$5\times 5\times 5\times 3 = 10\times10\times 10\times7$

卷积网络用于视频的例子，可以参考~{Chen-Ting-2010}。

到目前为止，我们仅讨论了训练和测试数据中的每个样例都有相同的空间维度的情况。 卷积网络的一个优点是它们还可以处理具有可变的空间尺度的输入。 这些类型的输入不能用传统的基于矩阵乘法的神经网络来表示。 这为卷积网络的使用提供了令人信服的理由，即使当计算开销和过拟合都不是主要问题时。

例如，考虑一组图像的集合，其中每个图像具有不同的高度和宽度。 目前还不清楚如何用固定大小的权重矩阵对这样的输入进行建模。 卷积就可以很直接地应用；核依据输入的大小简单地被使用不同次，并且卷积运算的输出也相应地放缩。 卷积可以被视为矩阵乘法；相同的卷积核为每种大小的输入引入了一个不同大小的双重分块循环矩阵。 有时，网络的输出允许和输入一样具有可变的大小，例如如果我们想要为输入的每个像素分配一个类标签。 在这种情况下，不需要进一步的设计工作。 在其他情况下，网络必须产生一些固定大小的输出，例如，如果我们想要为整个图像指定单个类标签。 在这种情况下，我们必须进行一些额外的设计步骤，例如插入一个池化层，池化区域的大小要与输入的大小成比例，以便保持固定数量的池化输出。 这种策略的一些例子可以参考\fig?。

注意，使用卷积处理可变尺寸的输入，仅对输入是因为包含对同种事物的不同量的观察(时间上不同长度的记录，空间上不同宽度的观察等)而导致的尺寸变化这种情况才有意义。 如果输入是因为它可以选择性地包括不同种类的观察而具有可变尺寸，使用卷积是不合理的。 例如，如果我们正在处理大学申请，并且我们的特征包括成绩等级和标准化测试分数，但不是每个申请人都进行了标准化测试，则使用相同的权重来对成绩特征和测试分数特征进行卷积是没有意义的。