读写文件
========
到目前为止，我们讨论了如何处理数据，
以及如何构建、训练和测试深度学习模型。
然而，有时我们希望保存训练的模型，
以备将来在各种环境中使用（比如在部署中进行预测）。
此外，当运行一个耗时较长的训练过程时， 最佳的做法是定期保存中间结果，
以确保在服务器电源被不小心断掉时，我们不会损失几天的计算结果。
因此，现在是时候学习如何加载和存储权重向量和整个模型了。
加载和保存张量
--------------
.. raw:: html
.. raw:: html
对于单个张量，我们可以直接调用\ ``load``\ 和\ ``save``\ 函数分别读写它们。
这两个函数都要求我们提供一个名称，\ ``save``\ 要求将要保存的变量作为输入。
:end:
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
import torch
from torch import nn
from torch.nn import functional as F
x = torch.arange(4)
torch.save(x, 'x-file')
我们现在可以将存储在文件中的数据读回内存。
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
x2 = torch.load('x-file')
x2
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
tensor([0, 1, 2, 3])
我们可以存储一个张量列表，然后把它们读回内存。
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
y = torch.zeros(4)
torch.save([x, y],'x-files')
x2, y2 = torch.load('x-files')
(x2, y2)
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
(tensor([0, 1, 2, 3]), tensor([0., 0., 0., 0.]))
我们甚至可以写入或读取从字符串映射到张量的字典。
当我们要读取或写入模型中的所有权重时，这很方便。
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
mydict = {'x': x, 'y': y}
torch.save(mydict, 'mydict')
mydict2 = torch.load('mydict')
mydict2
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
{'x': tensor([0, 1, 2, 3]), 'y': tensor([0., 0., 0., 0.])}
.. raw:: html
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
import mindspore
from mindspore import Tensor, nn, ops
class MLP(nn.Cell):
def __init__(self):
super().__init__()
self.hidden = nn.Dense(20, 256)
self.output = nn.Dense(256, 10)
def construct(self, x):
return self.output(ops.relu(self.hidden(x)))
net = MLP()
X = ops.rand(2, 20)
Y = net(X)
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
class MLP(nn.Module):
def __init__(self):
super().__init__()
self.hidden = nn.Linear(20, 256)
self.output = nn.Linear(256, 10)
def forward(self, x):
return self.output(F.relu(self.hidden(x)))
net = MLP()
X = torch.randn(size=(2, 20))
Y = net(X)
.. raw:: html
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
mindspore.save_checkpoint(net, 'mlp.ckpt')
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
torch.save(net.state_dict(), 'mlp.params')
.. raw:: html
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
clone = MLP()
mindspore.load_checkpoint('mlp.ckpt', clone)
clone.set_train(False)
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
MLP(
(hidden): Dense(input_channels=20, output_channels=256, has_bias=True)
(output): Dense(input_channels=256, output_channels=10, has_bias=True)
)
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
clone = MLP()
clone.load_state_dict(torch.load('mlp.params'))
clone.eval()
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
MLP(
(hidden): Linear(in_features=20, out_features=256, bias=True)
(output): Linear(in_features=256, out_features=10, bias=True)
)
.. raw:: html
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
Y_clone = clone(X)
Y_clone == Y
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
Tensor(shape=[2, 10], dtype=Bool, value=
[[ True, True, True ... True, True, True],
[ True, True, True ... True, True, True]])
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
Y_clone = clone(X)
Y_clone == Y
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
tensor([[True, True, True, True, True, True, True, True, True, True],
[True, True, True, True, True, True, True, True, True, True]])
.. raw:: html
.. raw:: html
.. raw:: html
- 我们可以通过参数字典保存和加载网络的全部参数。
- 保存架构必须在代码中完成，而不是在参数中完成。
.. raw:: html
.. raw:: html
- ``save``\ 和\ ``load``\ 函数可用于张量对象的文件读写。
- 我们可以通过参数字典保存和加载网络的全部参数。
- 保存架构必须在代码中完成，而不是在参数中完成。
.. raw:: html
.. raw:: html
.. raw:: html
`讨论 `__
.. raw:: html
.. raw:: html
`讨论 `__
.. raw:: html
.. raw:: html