数据集

数据集说明

MNIST提供两组数据，分别是training set和testing set. 作者在这一节中没有使用testing set，并且将training set进一步分成用于训练神经网络的数据和用于验证神经网络的数据。

什么是验证数据集

下载数据集

网上提供的直接通过tensorflow下载数据的方法，试了都是各种报错。

书上没有直接使用tensorflow的接口下载数据，而是先下载好数据的压缩包link。代码读取压缩包并解压出数据。

相关代码

gzip: 文件压缩与解压缩 pickle: 用于python特有的类型和python的数据类型间进行转换 zip() 函数用于将可迭代的对象作为参数，将对象中对应的元素打包成一个个元组，然后返回由这些元组组成的列表。

从数据集文件解压
```
f = gzip.open('mnist.pkl.gz', 'rb')
```
读出数据
```
pickle.load(f,encoding='bytes')
```
数据分为三个tuple：tuple(训练数据)、tuple(验证数据)、tuple(测试数据) 每个tuple又分成2个np.array：(array(样本特征inputs), array(样本标签results)) 样本特征inputs是m个数组，每个数组代表一个样本：inputs = [x1,x2, ..., xn] 每一样本xi是包含784个元素的向量：xi = [xi1, xi2, ..., xi784] 向量中的每个元素都是[0,1]的任意实数：xij in [0,1] 向量特征outputs是包含m个元素的向量：outputs = [y1,y2,...,ym] 向量是的每个元素是[0,9]的整数数值：yi in [0,9]
将数据转换为算法需要的格式 训练数据：转换后的训练数据为一个list。 list中包含m个元组：[tuple(),tuple(), ... ,tuple()] 每个元组中包含一个样本 $x_i^T$ 和它对应的标签 $\vec y_i$ ： $(x_i^T, \vec y_i)$ 样本 $x_i^T$ 是指原始数据为行量，这里对它做了转置，成了一个列向量，或者说是784*1的矩阵：
$x_i^T = \begin{bmatrix} [x_{i1}] \\ [x_{i2}] \\ \cdots \\ [x_{i784}] \end{bmatrix}$
样本标签 $\vec y_i$ 是指将yi向量化，并且也是列向量，或者说是10*1的矩阵。例如yi=5转化为：
$\vec y_i = \begin{bmatrix} [0] \\ [0] \\ [0] \\ [0] \\ [0] \\ [1] \\ [0] \\ [0] \\ [0] \\ [0] \\ \end{bmatrix}$
验证数据：转换后的验证数据为一个list。 list中包含m个元组：[tuple(),tuple(), ... ,tuple()] 每个元组中包含一个样本 $x_i^T$ 和它对应的标签yi： $(x_i^T, y_i)$ $x_i^T$ 的格式与训练数据的 $x_i^T$ 相同。 yi则是仍然后原始数据的yi 测试数据：在这一章中暂时不需要使用测试数据。也可以先把测试数据准备好了。转换的目标格式和验证数据相同。

Previous实现数字分类的神经网络 Next初始化

Last updated 4 years ago

相关代码

从数据集文件解压

f = gzip.open('mnist.pkl.gz', 'rb')

读出数据

pickle.load(f,encoding='bytes')

数据分为三个tuple：tuple(训练数据)、tuple(验证数据)、tuple(测试数据) 每个tuple又分成2个np.array：(array(样本特征inputs), array(样本标签results)) 样本特征inputs是m个数组，每个数组代表一个样本：inputs = [x1,x2, ..., xn] 每一样本xi是包含784个元素的向量：xi = [xi1, xi2, ..., xi784] 向量中的每个元素都是[0,1]的任意实数：xij in [0,1] 向量特征outputs是包含m个元素的向量：outputs = [y1,y2,...,ym] 向量是的每个元素是[0,9]的整数数值：yi in [0,9]

将数据转换为算法需要的格式 训练数据：转换后的训练数据为一个list。 list中包含m个元组：[tuple(),tuple(), ... ,tuple()] 每个元组中包含一个样本 $x_i^T$ 和它对应的标签 $\vec y_i$ ： $(x_i^T, \vec y_i)$ 样本 $x_i^T$ 是指原始数据为行量，这里对它做了转置，成了一个列向量，或者说是784*1的矩阵：

x_i^T = \begin{bmatrix} [x_{i1}] \\ [x_{i2}] \\ \cdots \\ [x_{i784}] \end{bmatrix}

样本标签 $\vec y_i$ 是指将yi向量化，并且也是列向量，或者说是10*1的矩阵。例如yi=5转化为：

\vec y_i = \begin{bmatrix} [0] \\ [0] \\ [0] \\ [0] \\ [0] \\ [1] \\ [0] \\ [0] \\ [0] \\ [0] \\ \end{bmatrix}

验证数据：转换后的验证数据为一个list。 list中包含m个元组：[tuple(),tuple(), ... ,tuple()] 每个元组中包含一个样本 $x_i^T$ 和它对应的标签yi： $(x_i^T, y_i)$ $x_i^T$ 的格式与训练数据的 $x_i^T$ 相同。 yi则是仍然后原始数据的yi 测试数据：在这一章中暂时不需要使用测试数据。也可以先把测试数据准备好了。转换的目标格式和验证数据相同。