.. _sec_natural-language-inference-attention:

自然语言推断：使用注意力
========================


我们在
:numref:`sec_natural-language-inference-and-dataset`\ 中介绍了自然语言推断任务和SNLI数据集。鉴于许多模型都是基于复杂而深度的架构，Parikh等人提出用注意力机制解决自然语言推断问题，并称之为“可分解注意力模型”
:cite:`Parikh.Tackstrom.Das.ea.2016`\ 。这使得模型没有循环层或卷积层，在SNLI数据集上以更少的参数实现了当时的最佳结果。本节将描述并实现这种基于注意力的自然语言推断方法（使用MLP），如
:numref:`fig_nlp-map-nli-attention`\ 中所述。

.. _fig_nlp-map-nli-attention:

.. figure:: ../img/nlp-map-nli-attention.svg

   将预训练GloVe送入基于注意力和MLP的自然语言推断架构


模型
----

与保留前提和假设中词元的顺序相比，我们可以将一个文本序列中的词元与另一个文本序列中的每个词元对齐，然后比较和聚合这些信息，以预测前提和假设之间的逻辑关系。与机器翻译中源句和目标句之间的词元对齐类似，前提和假设之间的词元对齐可以通过注意力机制灵活地完成。

.. _fig_nli_attention:

.. figure:: ../img/nli-attention.svg

   利用注意力机制进行自然语言推断


:numref:`fig_nli_attention`\ 描述了使用注意力机制的自然语言推断方法。从高层次上讲，它由三个联合训练的步骤组成：对齐、比较和汇总。我们将在下面一步一步地对它们进行说明。



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mindspore-1-0" onclick="tagClick('mindspore'); return false;" class="mdl-tabs__tab is-active">mindspore</a><a href="#pytorch-1-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mindspore-1-0">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    import mindspore
    from mindspore import nn, ops
    from d2l import mindspore as d2l



.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-1-1">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    import torch
    from torch import nn
    from torch.nn import functional as F
    from d2l import torch as d2l



.. raw:: html

    </div>



.. raw:: html

    </div>

注意（Attending）
~~~~~~~~~~~~~~~~~

第一步是将一个文本序列中的词元与另一个序列中的每个词元对齐。假设前提是“我确实需要睡眠”，假设是“我累了”。由于语义上的相似性，我们不妨将假设中的“我”与前提中的“我”对齐，将假设中的“累”与前提中的“睡眠”对齐。同样，我们可能希望将前提中的“我”与假设中的“我”对齐，将前提中的“需要”和“睡眠”与假设中的“累”对齐。请注意，这种对齐是使用加权平均的“软”对齐，其中理想情况下较大的权重与要对齐的词元相关联。为了便于演示，
:numref:`fig_nli_attention`\ 以“硬”对齐的方式显示了这种对齐方式。

现在，我们更详细地描述使用注意力机制的软对齐。用\ :math:`\mathbf{A} = (\mathbf{a}_1, \ldots, \mathbf{a}_m)`\ 和\ :math:`\mathbf{B} = (\mathbf{b}_1, \ldots, \mathbf{b}_n)`\ 表示前提和假设，其词元数量分别为\ :math:`m`\ 和\ :math:`n`\ ，其中\ :math:`\mathbf{a}_i, \mathbf{b}_j \in \mathbb{R}^{d}`\ （\ :math:`i = 1, \ldots, m, j = 1, \ldots, n`\ ）是\ :math:`d`\ 维的词向量。对于软对齐，我们将注意力权重\ :math:`e_{ij} \in \mathbb{R}`\ 计算为：

.. math:: e_{ij} = f(\mathbf{a}_i)^\top f(\mathbf{b}_j),
   :label: eq_nli_e

其中函数\ :math:`f`\ 是在下面的\ ``mlp``\ 函数中定义的多层感知机。输出维度\ :math:`f`\ 由\ ``mlp``\ 的\ ``num_hiddens``\ 参数指定。



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mindspore-3-0" onclick="tagClick('mindspore'); return false;" class="mdl-tabs__tab is-active">mindspore</a><a href="#pytorch-3-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mindspore-3-0">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    def mlp(num_inputs, num_hiddens, flatten):
        net = []
        net.append(nn.Dropout(p=0.2))
        net.append(nn.Dense(num_inputs, num_hiddens))
        net.append(nn.ReLU())
        if flatten:
            net.append(nn.Flatten())
        net.append(nn.Dropout(p=0.2))
        net.append(nn.Dense(num_hiddens, num_hiddens))
        net.append(nn.ReLU())
        if flatten:
            net.append(nn.Flatten())
        return nn.SequentialCell(*net)



.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-3-1">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    def mlp(num_inputs, num_hiddens, flatten):
        net = []
        net.append(nn.Dropout(0.2))
        net.append(nn.Linear(num_inputs, num_hiddens))
        net.append(nn.ReLU())
        if flatten:
            net.append(nn.Flatten(start_dim=1))
        net.append(nn.Dropout(0.2))
        net.append(nn.Linear(num_hiddens, num_hiddens))
        net.append(nn.ReLU())
        if flatten:
            net.append(nn.Flatten(start_dim=1))
        return nn.Sequential(*net)



.. raw:: html

    </div>



.. raw:: html

    </div>

值得注意的是，在
:eq:`eq_nli_e`\ 中，\ :math:`f`\ 分别输入\ :math:`\mathbf{a}_i`\ 和\ :math:`\mathbf{b}_j`\ ，而不是将它们一对放在一起作为输入。这种\ *分解*\ 技巧导致\ :math:`f`\ 只有\ :math:`m + n`\ 个次计算（线性复杂度），而不是\ :math:`mn`\ 次计算（二次复杂度）

对
:eq:`eq_nli_e`\ 中的注意力权重进行规范化，我们计算假设中所有词元向量的加权平均值，以获得假设的表示，该假设与前提中索引\ :math:`i`\ 的词元进行软对齐：

.. math::


   \boldsymbol{\beta}_i = \sum_{j=1}^{n}\frac{\exp(e_{ij})}{ \sum_{k=1}^{n} \exp(e_{ik})} \mathbf{b}_j.

同样，我们计算假设中索引为\ :math:`j`\ 的每个词元与前提词元的软对齐：

.. math::


   \boldsymbol{\alpha}_j = \sum_{i=1}^{m}\frac{\exp(e_{ij})}{ \sum_{k=1}^{m} \exp(e_{kj})} \mathbf{a}_i.

下面，我们定义\ ``Attend``\ 类来计算假设（\ ``beta``\ ）与输入前提\ ``A``\ 的软对齐以及前提（\ ``alpha``\ ）与输入假设\ ``B``\ 的软对齐。



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mindspore-5-0" onclick="tagClick('mindspore'); return false;" class="mdl-tabs__tab is-active">mindspore</a><a href="#pytorch-5-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mindspore-5-0">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    class Attend(nn.Cell):
        def __init__(self, num_inputs, num_hiddens, **kwargs):
            super(Attend, self).__init__(**kwargs)
            self.f = mlp(num_inputs, num_hiddens, flatten=False)
    
        def construct(self, A, B):
            # A/B的形状：（批量大小，序列A/B的词元数，embed_size）
            # f_A/f_B的形状：（批量大小，序列A/B的词元数，num_hiddens）
            f_A = self.f(A)
            f_B = self.f(B)
            # e的形状：（批量大小，序列A的词元数，序列B的词元数）
            e = f_A.bmm(f_B.transpose(0, 2, 1))
            # beta的形状：（批量大小，序列A的词元数，embed_size），
            # 意味着序列B被软对齐到序列A的每个词元(beta的第1个维度)
            beta = ops.softmax(e, axis=-1).bmm(B)
            # beta的形状：（批量大小，序列B的词元数，embed_size），
            # 意味着序列A被软对齐到序列B的每个词元(alpha的第1个维度)
            alpha = ops.softmax(e.transpose(0, 2, 1), axis=-1).bmm(A)
            return beta, alpha



.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-5-1">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    class Attend(nn.Module):
        def __init__(self, num_inputs, num_hiddens, **kwargs):
            super(Attend, self).__init__(**kwargs)
            self.f = mlp(num_inputs, num_hiddens, flatten=False)
    
        def forward(self, A, B):
            # A/B的形状：（批量大小，序列A/B的词元数，embed_size）
            # f_A/f_B的形状：（批量大小，序列A/B的词元数，num_hiddens）
            f_A = self.f(A)
            f_B = self.f(B)
            # e的形状：（批量大小，序列A的词元数，序列B的词元数）
            e = torch.bmm(f_A, f_B.permute(0, 2, 1))
            # beta的形状：（批量大小，序列A的词元数，embed_size），
            # 意味着序列B被软对齐到序列A的每个词元(beta的第1个维度)
            beta = torch.bmm(F.softmax(e, dim=-1), B)
            # beta的形状：（批量大小，序列B的词元数，embed_size），
            # 意味着序列A被软对齐到序列B的每个词元(alpha的第1个维度)
            alpha = torch.bmm(F.softmax(e.permute(0, 2, 1), dim=-1), A)
            return beta, alpha



.. raw:: html

    </div>



.. raw:: html

    </div>

比较
~~~~

在下一步中，我们将一个序列中的词元与与该词元软对齐的另一个序列进行比较。请注意，在软对齐中，一个序列中的所有词元（尽管可能具有不同的注意力权重）将与另一个序列中的词元进行比较。为便于演示，
:numref:`fig_nli_attention`\ 对词元以\ *硬*\ 的方式对齐。例如，上述的\ *注意*\ （attending）步骤确定前提中的“need”和“sleep”都与假设中的“tired”对齐，则将对“疲倦-需要睡眠”进行比较。

在比较步骤中，我们将来自一个序列的词元的连结（运算符\ :math:`[\cdot, \cdot]`\ ）和来自另一序列的对齐的词元送入函数\ :math:`g`\ （一个多层感知机）：

.. math:: \mathbf{v}_{A,i} = g([\mathbf{a}_i, \boldsymbol{\beta}_i]), i = 1, \ldots, m\\ \mathbf{v}_{B,j} = g([\mathbf{b}_j, \boldsymbol{\alpha}_j]), j = 1, \ldots, n.
   :label: eq_nli_v_ab

在
:eq:`eq_nli_v_ab`\ 中，\ :math:`\mathbf{v}_{A,i}`\ 是指，所有假设中的词元与前提中词元\ :math:`i`\ 软对齐，再与词元\ :math:`i`\ 的比较；而\ :math:`\mathbf{v}_{B,j}`\ 是指，所有前提中的词元与假设中词元\ :math:`i`\ 软对齐，再与词元\ :math:`i`\ 的比较。下面的\ ``Compare``\ 个类定义了比较步骤。



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mindspore-7-0" onclick="tagClick('mindspore'); return false;" class="mdl-tabs__tab is-active">mindspore</a><a href="#pytorch-7-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mindspore-7-0">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    class Compare(nn.Cell):
        def __init__(self, num_inputs, num_hiddens, **kwargs):
            super(Compare, self).__init__(**kwargs)
            self.g = mlp(num_inputs, num_hiddens, flatten=False)
    
        def construct(self, A, B, beta, alpha):
            V_A = self.g(ops.cat((A, beta), axis=2))
            V_B = self.g(ops.cat((B, alpha), axis=2))
            return V_A, V_B



.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-7-1">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    class Compare(nn.Module):
        def __init__(self, num_inputs, num_hiddens, **kwargs):
            super(Compare, self).__init__(**kwargs)
            self.g = mlp(num_inputs, num_hiddens, flatten=False)
    
        def forward(self, A, B, beta, alpha):
            V_A = self.g(torch.cat([A, beta], dim=2))
            V_B = self.g(torch.cat([B, alpha], dim=2))
            return V_A, V_B



.. raw:: html

    </div>



.. raw:: html

    </div>

聚合
~~~~

现在我们有两组比较向量\ :math:`\mathbf{v}_{A,i}`\ （\ :math:`i = 1, \ldots, m`\ ）和\ :math:`\mathbf{v}_{B,j}`\ （\ :math:`j = 1, \ldots, n`\ ）。在最后一步中，我们将聚合这些信息以推断逻辑关系。我们首先求和这两组比较向量：

.. math::


   \mathbf{v}_A = \sum_{i=1}^{m} \mathbf{v}_{A,i}, \quad \mathbf{v}_B = \sum_{j=1}^{n}\mathbf{v}_{B,j}.

接下来，我们将两个求和结果的连结提供给函数\ :math:`h`\ （一个多层感知机），以获得逻辑关系的分类结果：

.. math::


   \hat{\mathbf{y}} = h([\mathbf{v}_A, \mathbf{v}_B]).

聚合步骤在以下\ ``Aggregate``\ 类中定义。



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mindspore-9-0" onclick="tagClick('mindspore'); return false;" class="mdl-tabs__tab is-active">mindspore</a><a href="#pytorch-9-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mindspore-9-0">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    class Aggregate(nn.Cell):
        def __init__(self, num_inputs, num_hiddens, num_outputs, **kwargs):
            super(Aggregate, self).__init__(**kwargs)
            self.h = mlp(num_inputs, num_hiddens, flatten=True)
            self.linear = nn.Dense(num_hiddens, num_outputs)
    
        def construct(self, V_A, V_B):
            # 对两组比较向量分别求和
            V_A = V_A.sum(axis=1)
            V_B = V_B.sum(axis=1)
            # 将两个求和结果的连结送到多层感知机中
            Y_hat = self.linear(self.h(ops.cat((V_A, V_B), axis=1)))
            return Y_hat



.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-9-1">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    class Aggregate(nn.Module):
        def __init__(self, num_inputs, num_hiddens, num_outputs, **kwargs):
            super(Aggregate, self).__init__(**kwargs)
            self.h = mlp(num_inputs, num_hiddens, flatten=True)
            self.linear = nn.Linear(num_hiddens, num_outputs)
    
        def forward(self, V_A, V_B):
            # 对两组比较向量分别求和
            V_A = V_A.sum(dim=1)
            V_B = V_B.sum(dim=1)
            # 将两个求和结果的连结送到多层感知机中
            Y_hat = self.linear(self.h(torch.cat([V_A, V_B], dim=1)))
            return Y_hat



.. raw:: html

    </div>



.. raw:: html

    </div>

整合代码
~~~~~~~~

通过将注意步骤、比较步骤和聚合步骤组合在一起，我们定义了可分解注意力模型来联合训练这三个步骤。



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mindspore-11-0" onclick="tagClick('mindspore'); return false;" class="mdl-tabs__tab is-active">mindspore</a><a href="#pytorch-11-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mindspore-11-0">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    class DecomposableAttention(nn.Cell):
        def __init__(self, vocab, embed_size, num_hiddens, num_inputs_attend=100,
                     num_inputs_compare=200, num_inputs_agg=400, **kwargs):
            super(DecomposableAttention, self).__init__(**kwargs)
            self.embedding = nn.Embedding(len(vocab), embed_size)
            self.attend = Attend(num_inputs_attend, num_hiddens)
            self.compare = Compare(num_inputs_compare, num_hiddens)
            # 有3种可能的输出：蕴涵、矛盾和中性
            self.aggregate = Aggregate(num_inputs_agg, num_hiddens, num_outputs=3)
    
        def construct(self, X):
            premises, hypotheses = X[:, 0], X[:, 1]
            A = self.embedding(premises)
            B = self.embedding(hypotheses)
            beta, alpha = self.attend(A, B)
            V_A, V_B = self.compare(A, B, beta, alpha)
            Y_hat = self.aggregate(V_A, V_B)
            return Y_hat



.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-11-1">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    class DecomposableAttention(nn.Module):
        def __init__(self, vocab, embed_size, num_hiddens, num_inputs_attend=100,
                     num_inputs_compare=200, num_inputs_agg=400, **kwargs):
            super(DecomposableAttention, self).__init__(**kwargs)
            self.embedding = nn.Embedding(len(vocab), embed_size)
            self.attend = Attend(num_inputs_attend, num_hiddens)
            self.compare = Compare(num_inputs_compare, num_hiddens)
            # 有3种可能的输出：蕴涵、矛盾和中性
            self.aggregate = Aggregate(num_inputs_agg, num_hiddens, num_outputs=3)
    
        def forward(self, X):
            premises, hypotheses = X
            A = self.embedding(premises)
            B = self.embedding(hypotheses)
            beta, alpha = self.attend(A, B)
            V_A, V_B = self.compare(A, B, beta, alpha)
            Y_hat = self.aggregate(V_A, V_B)
            return Y_hat



.. raw:: html

    </div>



.. raw:: html

    </div>

训练和评估模型
--------------

现在，我们将在SNLI数据集上对定义好的可分解注意力模型进行训练和评估。我们从读取数据集开始。

读取数据集
~~~~~~~~~~

我们使用
:numref:`sec_natural-language-inference-and-dataset`\ 中定义的函数下载并读取SNLI数据集。批量大小和序列长度分别设置为\ :math:`256`\ 和\ :math:`50`\ 。



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mindspore-13-0" onclick="tagClick('mindspore'); return false;" class="mdl-tabs__tab is-active">mindspore</a><a href="#pytorch-13-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mindspore-13-0">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    batch_size, num_steps = 256, 50
    train_iter, test_iter, vocab = d2l.load_data_snli(batch_size, num_steps)


.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    read 549367 examples
    read 9824 examples




.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-13-1">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    batch_size, num_steps = 256, 50
    train_iter, test_iter, vocab = d2l.load_data_snli(batch_size, num_steps)


.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    read 549367 examples
    read 9824 examples




.. raw:: html

    </div>



.. raw:: html

    </div>

创建模型
~~~~~~~~

我们使用预训练好的100维GloVe嵌入来表示输入词元。我们将向量\ :math:`\mathbf{a}_i`\ 和\ :math:`\mathbf{b}_j`\ 在
:eq:`eq_nli_e`\ 中的维数预定义为100。
:eq:`eq_nli_e`\ 中的函数\ :math:`f`\ 和
:eq:`eq_nli_v_ab`\ 中的函数\ :math:`g`\ 的输出维度被设置为200.然后我们创建一个模型实例，初始化它的参数，并加载GloVe嵌入来初始化输入词元的向量。



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mindspore-15-0" onclick="tagClick('mindspore'); return false;" class="mdl-tabs__tab is-active">mindspore</a><a href="#pytorch-15-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mindspore-15-0">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    embed_size, num_hiddens = 100, 200
    net = DecomposableAttention(vocab, embed_size, num_hiddens)
    glove_embedding = d2l.TokenEmbedding('glove.6b.100d')
    embeds = glove_embedding[vocab.idx_to_token]
    net.embedding.embedding_table.set_data(mindspore.Tensor(embeds))




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    Parameter (name=embedding.embedding_table, shape=(18678, 100), dtype=Float32, requires_grad=True)





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-15-1">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    embed_size, num_hiddens, devices = 100, 200, d2l.try_all_gpus()
    net = DecomposableAttention(vocab, embed_size, num_hiddens)
    glove_embedding = d2l.TokenEmbedding('glove.6b.100d')
    embeds = glove_embedding[vocab.idx_to_token]
    net.embedding.weight.data.copy_(embeds);



.. raw:: html

    </div>



.. raw:: html

    </div>

训练和评估模型
~~~~~~~~~~~~~~

现在我们可以在SNLI数据集上训练和评估模型。



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mindspore-17-0" onclick="tagClick('mindspore'); return false;" class="mdl-tabs__tab is-active">mindspore</a><a href="#pytorch-17-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mindspore-17-0">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    lr, num_epochs = 0.001, 4
    trainer = nn.Adam(learning_rate=lr, params=net.trainable_params())
    loss = nn.CrossEntropyLoss(reduction="none")
    d2l.train_ch13(net, train_iter, test_iter, loss, trainer, num_epochs)


.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    loss 0.494, train acc 0.806, test acc 0.825
    19456.2 examples/sec on GPU



.. figure:: output_natural-language-inference-attention_b907c4_75_1.svg




.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-17-1">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    lr, num_epochs = 0.001, 4
    trainer = torch.optim.Adam(net.parameters(), lr=lr)
    loss = nn.CrossEntropyLoss(reduction="none")
    d2l.train_ch13(net, train_iter, test_iter, loss, trainer, num_epochs,
        devices)


.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    loss 0.496, train acc 0.805, test acc 0.829
    89459.8 examples/sec on [device(type='cuda', index=0)]



.. figure:: output_natural-language-inference-attention_b907c4_78_1.svg




.. raw:: html

    </div>



.. raw:: html

    </div>

使用模型
~~~~~~~~

最后，定义预测函数，输出一对前提和假设之间的逻辑关系。



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mindspore-19-0" onclick="tagClick('mindspore'); return false;" class="mdl-tabs__tab is-active">mindspore</a><a href="#pytorch-19-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mindspore-19-0">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    #@save
    def predict_snli(net, vocab, premise, hypothesis):
        """预测前提和假设之间的逻辑关系"""
        net.set_train(False)
        premise = mindspore.Tensor(vocab[premise], dtype=mindspore.int32)
        hypothesis = mindspore.Tensor(vocab[hypothesis], dtype=mindspore.int32)
        X = ops.stack((premise.reshape(1, -1), hypothesis.reshape(1, -1)), axis=1)
        label = ops.argmax(net(X), dim=-1)
        return 'entailment' if label == 0 else 'contradiction' if label == 1 \
                else 'neutral'



.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-19-1">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    #@save
    def predict_snli(net, vocab, premise, hypothesis):
        """预测前提和假设之间的逻辑关系"""
        net.eval()
        premise = torch.tensor(vocab[premise], device=d2l.try_gpu())
        hypothesis = torch.tensor(vocab[hypothesis], device=d2l.try_gpu())
        label = torch.argmax(net([premise.reshape((1, -1)),
                               hypothesis.reshape((1, -1))]), dim=1)
        return 'entailment' if label == 0 else 'contradiction' if label == 1 \
                else 'neutral'



.. raw:: html

    </div>



.. raw:: html

    </div>

我们可以使用训练好的模型来获得对示例句子的自然语言推断结果。



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mindspore-21-0" onclick="tagClick('mindspore'); return false;" class="mdl-tabs__tab is-active">mindspore</a><a href="#pytorch-21-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mindspore-21-0">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    predict_snli(net, vocab, ['he', 'is', 'good', '.'], ['he', 'is', 'bad', '.'])




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    'contradiction'





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-21-1">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    predict_snli(net, vocab, ['he', 'is', 'good', '.'], ['he', 'is', 'bad', '.'])




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    'contradiction'





.. raw:: html

    </div>



.. raw:: html

    </div>

小结
----

-  可分解注意模型包括三个步骤来预测前提和假设之间的逻辑关系：注意、比较和聚合。
-  通过注意力机制，我们可以将一个文本序列中的词元与另一个文本序列中的每个词元对齐，反之亦然。这种对齐是使用加权平均的软对齐，其中理想情况下较大的权重与要对齐的词元相关联。
-  在计算注意力权重时，分解技巧会带来比二次复杂度更理想的线性复杂度。
-  我们可以使用预训练好的词向量作为下游自然语言处理任务（如自然语言推断）的输入表示。

练习
----

1. 使用其他超参数组合训练模型，能在测试集上获得更高的准确度吗？
2. 自然语言推断的可分解注意模型的主要缺点是什么？
3. 假设我们想要获得任何一对句子的语义相似级别（例如，0～1之间的连续值）。我们应该如何收集和标注数据集？请尝试设计一个有注意力机制的模型。



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar text"><a href="#mindspore-23-0" onclick="tagClick('mindspore'); return false;" class="mdl-tabs__tab is-active">mindspore</a><a href="#pytorch-23-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mindspore-23-0">

`讨论 <https://atomgit.com/MindSporeFandom/d2l-mindspore/discussions>`__



.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-23-1">

`讨论 <https://discuss.d2l.ai/t/5728>`__



.. raw:: html

    </div>



.. raw:: html

    </div>