{ "cells": [ { "cell_type": "markdown", "id": "795488cc", "metadata": { "origin_pos": 0 }, "source": [ "# Thực hiện ngắn gọn các mạng nơ-ron tái phát\n", ":label:`sec_rnn-concise`\n", "\n", "Trong khi :numref:`sec_rnn_scratch` được hướng dẫn để xem RNN được thực hiện như thế nào, điều này không thuận tiện hay nhanh chóng. Phần này sẽ chỉ ra cách triển khai cùng một mô hình ngôn ngữ hiệu quả hơn bằng cách sử dụng các hàm được cung cấp bởi các API cấp cao của một khuôn khổ học sâu. Chúng tôi bắt đầu như trước bằng cách đọc tập dữ liệu máy thời gian.\n" ] }, { "cell_type": "code", "execution_count": 1, "id": "265e8ce5", "metadata": { "execution": { "iopub.execute_input": "2022-04-26T12:00:42.889888Z", "iopub.status.busy": "2022-04-26T12:00:42.889070Z", "iopub.status.idle": "2022-04-26T12:00:47.559419Z", "shell.execute_reply": "2022-04-26T12:00:47.558275Z" }, "origin_pos": 1, "tab": [ "mxnet" ] }, "outputs": [], "source": [ "from mxnet import np, npx\n", "from mxnet.gluon import nn, rnn\n", "from d2l import mxnet as d2l\n", "\n", "npx.set_np()\n", "\n", "batch_size, num_steps = 32, 35\n", "train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps)" ] }, { "cell_type": "markdown", "id": "c392ed1e", "metadata": { "origin_pos": 4 }, "source": [ "## [**Định nghĩa mẫu**]\n", "\n", "API cấp cao cung cấp triển khai các mạng thần kinh định kỳ. Chúng tôi xây dựng lớp mạng thần kinh tái phát `rnn_layer` với một lớp ẩn duy nhất và 256 đơn vị ẩn. Trên thực tế, chúng tôi thậm chí còn chưa thảo luận về ý nghĩa của việc có nhiều lớp — điều này sẽ xảy ra trong :numref:`sec_deep_rnn`. Hiện tại, đủ để nói rằng nhiều lớp chỉ đơn giản là lên đến đầu ra của một lớp RNN được sử dụng làm đầu vào cho lớp tiếp theo của RNN.\n" ] }, { "cell_type": "code", "execution_count": 2, "id": "bb1ba81e", "metadata": { "execution": { "iopub.execute_input": "2022-04-26T12:00:47.563680Z", "iopub.status.busy": "2022-04-26T12:00:47.563449Z", "iopub.status.idle": "2022-04-26T12:00:47.572084Z", "shell.execute_reply": "2022-04-26T12:00:47.571164Z" }, "origin_pos": 5, "tab": [ "mxnet" ] }, "outputs": [], "source": [ "num_hiddens = 256\n", "rnn_layer = rnn.RNN(num_hiddens)\n", "rnn_layer.initialize()" ] }, { "cell_type": "markdown", "id": "81de83c0", "metadata": { "origin_pos": 8, "tab": [ "mxnet" ] }, "source": [ "Khởi tạo trạng thái ẩn là đơn giản. Chúng tôi gọi hàm thành viên `begin_state`. Điều này trả về một danh sách (`state`) chứa một trạng thái ẩn ban đầu cho mỗi ví dụ trong minibatch, có hình dạng là (số lớp ẩn, kích thước lô, số đơn vị ẩn). Đối với một số mô hình được giới thiệu sau (ví dụ: bộ nhớ ngắn hạn dài), một danh sách như vậy cũng chứa các thông tin khác.\n" ] }, { "cell_type": "code", "execution_count": 3, "id": "acab565d", "metadata": { "execution": { "iopub.execute_input": "2022-04-26T12:00:47.574903Z", "iopub.status.busy": "2022-04-26T12:00:47.574622Z", "iopub.status.idle": "2022-04-26T12:00:47.583266Z", "shell.execute_reply": "2022-04-26T12:00:47.582419Z" }, "origin_pos": 10, "tab": [ "mxnet" ] }, "outputs": [ { "data": { "text/plain": [ "(1, (1, 32, 256))" ] }, "execution_count": 3, "metadata": {}, "output_type": "execute_result" } ], "source": [ "state = rnn_layer.begin_state(batch_size=batch_size)\n", "len(state), state[0].shape" ] }, { "cell_type": "markdown", "id": "ce1eadb1", "metadata": { "origin_pos": 13 }, "source": [ "[**Với trạng thái ẩn và đầu vào, chúng ta có thể tính toán đầu ra với trạng thái ẩn cập nhật.**] Cần nhấn mạnh rằng “đầu ra” (`Y`) của `rnn_layer` không * không* liên quan đến tính toán các lớp đầu ra: nó đề cập đến trạng thái ẩn ở bước thời gian * mỗi* và chúng có thể được sử dụng làm đầu vào cho lớp đầu ra tiếp theo.\n" ] }, { "cell_type": "markdown", "id": "eb0a127f", "metadata": { "origin_pos": 14, "tab": [ "mxnet" ] }, "source": [ "Bên cạnh đó, trạng thái ẩn được cập nhật (`state_new`) trả về bởi `rnn_layer` đề cập đến trạng thái ẩn ở bước thời gian *last* của minibatch. Nó có thể được sử dụng để khởi tạo trạng thái ẩn cho minibatch tiếp theo trong một kỷ nguyên trong phân vùng tuần tự. Đối với nhiều lớp ẩn, trạng thái ẩn của mỗi lớp sẽ được lưu trữ trong biến này (`state_new`). Đối với một số mô hình được giới thiệu sau (ví dụ: bộ nhớ ngắn hạn dài), biến này cũng chứa các thông tin khác.\n" ] }, { "cell_type": "code", "execution_count": 4, "id": "d05c652d", "metadata": { "execution": { "iopub.execute_input": "2022-04-26T12:00:47.586079Z", "iopub.status.busy": "2022-04-26T12:00:47.585875Z", "iopub.status.idle": "2022-04-26T12:00:47.599642Z", "shell.execute_reply": "2022-04-26T12:00:47.598770Z" }, "origin_pos": 15, "tab": [ "mxnet" ] }, "outputs": [ { "data": { "text/plain": [ "((35, 32, 256), 1, (1, 32, 256))" ] }, "execution_count": 4, "metadata": {}, "output_type": "execute_result" } ], "source": [ "X = np.random.uniform(size=(num_steps, batch_size, len(vocab)))\n", "Y, state_new = rnn_layer(X, state)\n", "Y.shape, len(state_new), state_new[0].shape" ] }, { "cell_type": "markdown", "id": "9ad4bfbd", "metadata": { "origin_pos": 18 }, "source": [ "Tương tự như :numref:`sec_rnn_scratch`, [**chúng tôi định nghĩa một lớp `RNNModel` cho một mô hình RNN hoàn chỉnh**] Lưu ý rằng `rnn_layer` chỉ chứa các lớp tái phát ẩn, chúng ta cần tạo một lớp đầu ra riêng biệt.\n" ] }, { "cell_type": "code", "execution_count": 5, "id": "10804bd7", "metadata": { "execution": { "iopub.execute_input": "2022-04-26T12:00:47.603005Z", "iopub.status.busy": "2022-04-26T12:00:47.602702Z", "iopub.status.idle": "2022-04-26T12:00:47.612473Z", "shell.execute_reply": "2022-04-26T12:00:47.611672Z" }, "origin_pos": 19, "tab": [ "mxnet" ] }, "outputs": [], "source": [ "#@save\n", "class RNNModel(nn.Block):\n", " \"\"\"The RNN model.\"\"\"\n", " def __init__(self, rnn_layer, vocab_size, **kwargs):\n", " super(RNNModel, self).__init__(**kwargs)\n", " self.rnn = rnn_layer\n", " self.vocab_size = vocab_size\n", " self.dense = nn.Dense(vocab_size)\n", "\n", " def forward(self, inputs, state):\n", " X = npx.one_hot(inputs.T, self.vocab_size)\n", " Y, state = self.rnn(X, state)\n", " # The fully-connected layer will first change the shape of `Y` to\n", " # (`num_steps` * `batch_size`, `num_hiddens`). Its output shape is\n", " # (`num_steps` * `batch_size`, `vocab_size`).\n", " output = self.dense(Y.reshape(-1, Y.shape[-1]))\n", " return output, state\n", "\n", " def begin_state(self, *args, **kwargs):\n", " return self.rnn.begin_state(*args, **kwargs)" ] }, { "cell_type": "markdown", "id": "0b1b39c8", "metadata": { "origin_pos": 22 }, "source": [ "## Đào tạo và dự đoán\n", "\n", "Trước khi đào tạo mô hình, chúng ta hãy [** đưa ra dự đoán với một mô hình có trọng lượng ngẫu nhiên.**]\n" ] }, { "cell_type": "code", "execution_count": 6, "id": "9117d471", "metadata": { "execution": { "iopub.execute_input": "2022-04-26T12:00:47.615801Z", "iopub.status.busy": "2022-04-26T12:00:47.615493Z", "iopub.status.idle": "2022-04-26T12:00:52.907989Z", "shell.execute_reply": "2022-04-26T12:00:52.907118Z" }, "origin_pos": 23, "tab": [ "mxnet" ] }, "outputs": [ { "data": { "text/plain": [ "'time travellervmoopwrrrr'" ] }, "execution_count": 6, "metadata": {}, "output_type": "execute_result" } ], "source": [ "device = d2l.try_gpu()\n", "net = RNNModel(rnn_layer, len(vocab))\n", "net.initialize(force_reinit=True, ctx=device)\n", "d2l.predict_ch8('time traveller', 10, net, vocab, device)" ] }, { "cell_type": "markdown", "id": "bfe2e638", "metadata": { "origin_pos": 26 }, "source": [ "Như là khá rõ ràng, mô hình này hoàn toàn không hoạt động. Tiếp theo, chúng tôi gọi `train_ch8` với các siêu tham số tương tự được xác định trong :numref:`sec_rnn_scratch` và [** đào tạo mô hình của chúng tôi với APIs** cấp cao**].\n" ] }, { "cell_type": "code", "execution_count": 7, "id": "1eca882e", "metadata": { "execution": { "iopub.execute_input": "2022-04-26T12:00:52.911987Z", "iopub.status.busy": "2022-04-26T12:00:52.911271Z", "iopub.status.idle": "2022-04-26T12:01:33.149256Z", "shell.execute_reply": "2022-04-26T12:01:33.148288Z" }, "origin_pos": 27, "tab": [ "mxnet" ] }, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "perplexity 1.2, 131898.2 tokens/sec on gpu(0)\n", "time traveller held the time dimension with a uniformvelocity fr\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "traveller for so it well they couldmmst an the mather the p\n" ] }, { "data": { "image/svg+xml": [ "\n", "\n", "\n", " \n", " \n", " \n", " \n", " 2022-04-26T12:01:33.113561\n", " image/svg+xml\n", " \n", " \n", " Matplotlib v3.5.1, https://matplotlib.org/\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n" ], "text/plain": [ "
" ] }, "metadata": { "needs_background": "light" }, "output_type": "display_data" } ], "source": [ "num_epochs, lr = 500, 1\n", "d2l.train_ch8(net, train_iter, vocab, lr, num_epochs, device)" ] }, { "cell_type": "markdown", "id": "6c086f8f", "metadata": { "origin_pos": 30 }, "source": [ "So với phần cuối, mô hình này đạt được sự bối rối tương đương, mặc dù trong một khoảng thời gian ngắn hơn, do mã được tối ưu hóa hơn bởi các API cấp cao của khung học sâu. \n", "\n", "## Tóm tắt\n", "\n", "* API cấp cao của khung học sâu cung cấp một triển khai của lớp RNN.\n", "* Lớp RNN của API cấp cao trả về một đầu ra và trạng thái ẩn cập nhật, trong đó đầu ra không liên quan đến tính toán lớp đầu ra.\n", "* Sử dụng API cấp cao dẫn đến đào tạo RNN nhanh hơn so với sử dụng triển khai từ đầu.\n", "\n", "## Bài tập\n", "\n", "1. Bạn có thể làm cho mô hình RNN overfit bằng cách sử dụng các API cấp cao không?\n", "1. Điều gì sẽ xảy ra nếu bạn tăng số lượng các lớp ẩn trong mô hình RNN? Bạn có thể làm cho mô hình hoạt động?\n", "1. Thực hiện mô hình autoregressive của :numref:`sec_sequence` bằng cách sử dụng một RNN.\n" ] }, { "cell_type": "markdown", "id": "a0f160ff", "metadata": { "origin_pos": 31, "tab": [ "mxnet" ] }, "source": [ "[Discussions](https://discuss.d2l.ai/t/335)\n" ] } ], "metadata": { "language_info": { "name": "python" } }, "nbformat": 4, "nbformat_minor": 5 }