pytorch实现下载加载mnist数据集

train_data=torchvision.datasets.MNIST(
    root='MNIST',
    train=True,
    transform=torchvision.transforms.ToTensor(),
    download=True
)
test_data=torchvision.datasets.MNIST(
    root='MNIST',
    train=False,
    transform=torchvision.transforms.ToTensor(),
    download=True
)

train_load=DataLoader(dataset=train_data,batch_size=100,shuffle=True)
test_load=DataLoader(dataset=test_data,batch_size=100,shuffle=True)

train_x,train_y=next(iter(train_load))

img=torchvision.utils.make_grid(train_x,nrow=10)#将train_x赋给一个宽为10的网格
#因为cv2显示的图片格式是（size，size，channel），但是img格式为（channel，size，size）
img = img.numpy().transpose(1,2,0)
cv2.imshow('img', img)
cv2.waitKey()

# 导入numpy并为计算机的伪随机数生成器设置种子开始
import numpy as np
np.random.seed(123)
'''
设置随机数种子的主要目的是确保随机结果可复现。
如果不设置随机数种子,每次运行代码时各种随机操作的结果都会略微不同,导致实验结果也不同,给实验带来不必要的变量。
设置随机数种子后,每次运行代码时各种随机操作的初始化结果都会相同,所以运行结果也相同,确保了实验的可复现性。
'''
#从Keras导入Sequential模型类型
from keras.models import Sequential
#从Keras层模块中导入Dense、Dropout、Activation和Flatten四种层。
from keras.layers import Dense, Dropout, Activation, Flatten
'''
Sequential是Keras中最简单的模型,它由多个网络层线性堆叠而成。我们只需要将各种Keras层逐个添加到该模型中,即可构建自己的网络结构。
四种Keras层的作用分别是:
- Dense:全连接层,用于连接网络层之间的节点,实现函数拟合等作用。在分类和回归任务中广泛使用。
- Dropout:随机置零层,用于在训练过程中随机舍弃一定比例的节点,用于防止过拟合。
- Activation:激活层,用于对上一层的输出施加非线性激活,如ReLU、sigmoid等。增强模型的表达能力。 
- Flatten:展平层,用于将输入“压平”,例如将多维输入压平为二维,以供全连接层使用。
所以,简而言之,这四种Keras层的主要作用是:
- Dense:实现网络连接,用于拟合和回归 
- Dropout:实现随机舍弃,用于正则化和防过拟合 
- Activation:实现非线性转换,增强表达能力 
- Flatten:实现维度压缩和reshape,以连串网络 
这些层是构建神经网络的基本模块,我们可以像搭积木一样组合这些层,构建出自己想要的复杂网络结构。
'''
#从Keras导入CNN层，这些卷积层将帮助我们有效地训练图像数据
from keras.layers import Conv2D, MaxPool2D
#导入一些实用程序
from keras.utils import np_utils
#加载keras库的MNIST数据集
from keras.datasets import mnist
#载入数据集
(x_train, y_train), (x_test, y_test) = mnist.load_data()
#打印数据集的形状
print(x_train.shape, y_train.shape)
#输出结果显示训练集中有60000个样本，每个图像都是28x28

#通过matplotlib绘制第一个样本
from matplotlib import pyplot as plt
plt.imshow(x_train[0])

#使用Theano后端时，必须声明输入图像的深度
#即将数据集的形状从nx高x宽转换为nx宽x高x深度
x_train = x_train.reshape(x_train.shape[0], 28, 28, 1)
x_test = x_test.reshape(x_test.shape[0], 28, 28, 1)
print(x_train.shape)

#输入数据的最后预处理步骤是将数据类型转换为float32并将我们的数据值规范化为[0, 1]
x_train = x_train.astype('float32')
x_test = x_test.astype('float32')
x_train /= 255
x_test /= 255

#看看类标签数据
print(y_train.shape)
#有十个不同的类，每个数字一个，看起来只有一个一维数组
print(y_train[:10])
#将一维类数组转换为10维类矩阵
Y_train = np_utils.to_categorical(y_train, 10)
Y_test = np_utils.to_categorical(y_test, 10)
print(Y_train.shape)

#定义一个顺序模型
model = Sequential()
#在一个模型中添加一个卷积层
'''
filters=32:使用32个卷积滤波器(卷积核)
kernel_size=(3, 3):每个滤波器的大小为3x3
activation='relu':激活函数采用ReLU
input_shape=(28, 28, 1):输入数据的shape为28x28x1,这里1表示黑白图像
'''
model.add(Conv2D(32, kernel_size=(3, 3), activation='relu', input_shape=(28, 28, 1)))
print(model.output_shape)


#再添加一个卷积层
'''
1、Conv2D层:二维卷积层,32个卷积核,核大小为3x3,激活函数为ReLU
2. MaxPool2D层:二维最大池化层,池化窗口大小为2x2
3. Dropout层:随机舍弃25%的节点
'''
model.add(Conv2D(32, kernel_size=(3, 3), activation='relu'))
model.add(MaxPool2D(pool_size=(2, 2)))
model.add(Dropout(0.25))

#添加一个全连接层，然后是输出层
'''
Flatten层:将输入“压平”,例如从三维特征图变成二维特征向量 
Dense层:全连接层,128个节点,激活函数为ReLU
Dropout层:随机舍弃50%的节点
Dense层:全连接输出层,10个节点,激活函数为softmax
'''
model.add(Flatten())
model.add(Dense(128, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(10, activation='softmax'))

#编译模型
'''
该行代码为模型指定:
- loss:损失函数,这里为 categorical_crossentropy,用于多分类任务
- optimizer:优化器,这里为Adam算法,是一个较为常用的优化器 
- metrics:评价指标,这里为accuracy,用于评价分类准确度
所以,这个编译步骤为模型指定:
1. 损失函数:categorical_crossentropy,计算多分类任务中的交叉熵损失 
2. 优化器:Adam,用于更新网络权重,根据损失函数更新权重以最小化损失 
3. 评价指标:accuracy,用于评价模型在训练和测试期间的分类准确度
这三个specification对模型训练至关重要:
- 损失函数决定了模型在训练时要最小化的代价函数 
- 优化器决定了模型如何根据损失函数更新权重以最小化损失 
- 评价指标用于评判模型的训练效果和泛化能力
'''
model.compile(loss='categorical_crossentropy',
             optimizer='adam',
             metrics=['accuracy'])

#训练数据上拟合模型
'''
该行代码会使用X_train和Y_train的数据对模型进行训练,具体参数为:
- X_train:训练数据的特征值
- Y_train:训练数据的标签值 
- batch_size:批大小,这里为32,表示每批32个样本
- epochs:训练轮数,这里为10轮
- verbose:日志显示,这里为1,显示一个进度条
- 所以,这行代码会以以下方式训练模型:
1. X_train和Y_train作为训练集数据         
2. 以批大小32的mini-batch进行训练,每批选32个样本进行训练更新 
3. 训练10轮,用全部训练集训练10次 
4. 训练过程中显示一个进度条,日志级别为1 
'''
model.fit(X_train, Y_train, batch_size=32, epochs=10, verbose=1)

#在测试数据上评估模型
score = model.evaluate(X_test, Y_test, verbose=0)