{ "cells": [ { "cell_type": "markdown", "id": "ab3110ee", "metadata": { "origin_pos": 0 }, "source": [ "# Thực hiện ngắn gọn của hồi quy tuyến tính\n", ":label:`sec_linear_concise`\n", "\n", "Sự quan tâm rộng rãi và mãnh liệt trong việc học sâu trong nhiều năm qua đã truyền cảm hứng cho các công ty, học giả và những người có sở thích phát triển một loạt các khuôn khổ nguồn mở trưởng thành để tự động hóa công việc lặp đi lặp lại của việc thực hiện các thuật toán học tập dựa trên độ dốc. Năm :numref:`sec_linear_scratch`, chúng tôi chỉ dựa vào (i) hàng chục để lưu trữ dữ liệu và đại số tuyến tính; và (ii) tự động phân biệt để tính toán độ dốc. Trong thực tế, bởi vì các bộ lặp dữ liệu, chức năng mất mát, tối ưu hóa và các lớp mạng thần kinh rất phổ biến, các thư viện hiện đại cũng triển khai các thành phần này cho chúng ta. \n", "\n", "Trong phần này, (**chúng tôi sẽ chỉ cho bạn cách thực hiện mô hình hồi quy tuyến tính**) từ :numref:`sec_linear_scratch` (**chính xác bằng cách sử dụng APIs cấp cao**) của các framework học sâu. \n", "\n", "## Tạo tập dữ liệu\n", "\n", "Để bắt đầu, chúng ta sẽ tạo ra cùng một tập dữ liệu như trong :numref:`sec_linear_scratch`.\n" ] }, { "cell_type": "code", "execution_count": 1, "id": "41d0f0d0", "metadata": { "execution": { "iopub.execute_input": "2022-04-26T14:21:10.288245Z", "iopub.status.busy": "2022-04-26T14:21:10.287736Z", "iopub.status.idle": "2022-04-26T14:21:13.016927Z", "shell.execute_reply": "2022-04-26T14:21:13.016215Z" }, "origin_pos": 3, "tab": [ "tensorflow" ] }, "outputs": [], "source": [ "import numpy as np\n", "import tensorflow as tf\n", "from d2l import tensorflow as d2l" ] }, { "cell_type": "code", "execution_count": 2, "id": "3c96acde", "metadata": { "execution": { "iopub.execute_input": "2022-04-26T14:21:13.020720Z", "iopub.status.busy": "2022-04-26T14:21:13.020327Z", "iopub.status.idle": "2022-04-26T14:21:13.115953Z", "shell.execute_reply": "2022-04-26T14:21:13.115256Z" }, "origin_pos": 4, "tab": [ "tensorflow" ] }, "outputs": [], "source": [ "true_w = tf.constant([2, -3.4])\n", "true_b = 4.2\n", "features, labels = d2l.synthetic_data(true_w, true_b, 1000)" ] }, { "cell_type": "markdown", "id": "dd91930a", "metadata": { "origin_pos": 5 }, "source": [ "## Đọc tập dữ liệu\n", "\n", "Thay vì lăn iterator của riêng mình, chúng ta có thể [** gọi API hiện có trong một framework để đọc dữ liệu**] Chúng tôi vượt qua `features` và `labels` làm đối số và chỉ định `batch_size` khi khởi tạo một đối tượng lặp dữ liệu. Bên cạnh đó, giá trị boolean `is_train` cho biết liệu chúng ta có muốn đối tượng lặp dữ liệu xáo trộn dữ liệu trên mỗi kỷ nguyên hay không (đi qua bộ dữ liệu).\n" ] }, { "cell_type": "code", "execution_count": 3, "id": "c42c7c4c", "metadata": { "execution": { "iopub.execute_input": "2022-04-26T14:21:13.119234Z", "iopub.status.busy": "2022-04-26T14:21:13.118735Z", "iopub.status.idle": "2022-04-26T14:21:13.123255Z", "shell.execute_reply": "2022-04-26T14:21:13.122581Z" }, "origin_pos": 8, "tab": [ "tensorflow" ] }, "outputs": [], "source": [ "def load_array(data_arrays, batch_size, is_train=True): #@save\n", " \"\"\"Construct a TensorFlow data iterator.\"\"\"\n", " dataset = tf.data.Dataset.from_tensor_slices(data_arrays)\n", " if is_train:\n", " dataset = dataset.shuffle(buffer_size=1000)\n", " dataset = dataset.batch(batch_size)\n", " return dataset" ] }, { "cell_type": "code", "execution_count": 4, "id": "d884fadb", "metadata": { "execution": { "iopub.execute_input": "2022-04-26T14:21:13.126136Z", "iopub.status.busy": "2022-04-26T14:21:13.125689Z", "iopub.status.idle": "2022-04-26T14:21:13.132137Z", "shell.execute_reply": "2022-04-26T14:21:13.131514Z" }, "origin_pos": 9, "tab": [ "tensorflow" ] }, "outputs": [], "source": [ "batch_size = 10\n", "data_iter = load_array((features, labels), batch_size)" ] }, { "cell_type": "markdown", "id": "1829b315", "metadata": { "origin_pos": 10 }, "source": [ "Bây giờ chúng ta có thể sử dụng `data_iter` theo cách tương tự như chúng ta gọi hàm `data_iter` trong :numref:`sec_linear_scratch`. Để xác minh rằng nó đang hoạt động, chúng ta có thể đọc và in minibatch đầu tiên của các ví dụ. So sánh với :numref:`sec_linear_scratch`, ở đây chúng ta sử dụng `iter` để xây dựng một iterator Python và sử dụng `next` để lấy mục đầu tiên từ iterator.\n" ] }, { "cell_type": "code", "execution_count": 5, "id": "f4944328", "metadata": { "execution": { "iopub.execute_input": "2022-04-26T14:21:13.135126Z", "iopub.status.busy": "2022-04-26T14:21:13.134655Z", "iopub.status.idle": "2022-04-26T14:21:13.153721Z", "shell.execute_reply": "2022-04-26T14:21:13.153087Z" }, "origin_pos": 11, "tab": [ "tensorflow" ] }, "outputs": [ { "data": { "text/plain": [ "(,\n", " )" ] }, "execution_count": 5, "metadata": {}, "output_type": "execute_result" } ], "source": [ "next(iter(data_iter))" ] }, { "cell_type": "markdown", "id": "a61bb9ef", "metadata": { "origin_pos": 12 }, "source": [ "## Xác định mô hình\n", "\n", "Khi chúng tôi thực hiện hồi quy tuyến tính từ đầu vào năm :numref:`sec_linear_scratch`, chúng tôi đã xác định các tham số mô hình của mình một cách rõ ràng và mã hóa các phép tính để tạo ra đầu ra bằng cách sử dụng các phép toán đại số tuyến tính cơ bản. Bạn * nên biết làm thế nào để làm điều này. Nhưng một khi mô hình của bạn trở nên phức tạp hơn, và một khi bạn phải làm điều này gần như mỗi ngày, bạn sẽ rất vui vì được hỗ trợ. Tình hình tương tự như mã hóa blog của riêng bạn từ đầu. Làm điều đó một hoặc hai lần là bổ ích và hướng dẫn, nhưng bạn sẽ là một nhà phát triển web tệ hại nếu mỗi khi bạn cần một blog bạn đã dành một tháng để phát minh lại bánh xe. \n", "\n", "Đối với các phép toán chuẩn, chúng ta có thể [** sử dụng các lớp được xác định trước của framework, **] cho phép chúng ta tập trung đặc biệt vào các layer dùng để xây dựng mô hình chứ không phải tập trung vào việc triển khai. Trước tiên chúng ta sẽ xác định một biến mô hình `net`, sẽ đề cập đến một phiên bản của lớp `Sequential`. Lớp `Sequential` định nghĩa một container cho nhiều lớp sẽ được xích lại với nhau. Cho dữ liệu đầu vào, một trường hợp `Sequential` truyền nó qua lớp đầu tiên, lần lượt đi qua đầu ra dưới dạng đầu vào của lớp thứ hai và vân vân. Trong ví dụ sau, mô hình của chúng tôi chỉ bao gồm một lớp, vì vậy chúng tôi không thực sự cần `Sequential`. Nhưng vì gần như tất cả các mô hình trong tương lai của chúng tôi sẽ liên quan đến nhiều lớp, dù sao chúng tôi sẽ sử dụng nó chỉ để làm quen với bạn với quy trình làm việc tiêu chuẩn nhất. \n", "\n", "Nhớ lại kiến trúc của một mạng một lớp như thể hiện trong :numref:`fig_single_neuron`. Lớp được cho là * kết nối đầy đủ* bởi vì mỗi đầu vào của nó được kết nối với mỗi đầu ra của nó bằng phương pháp nhân ma thuật-vector.\n" ] }, { "cell_type": "markdown", "id": "762d29d2", "metadata": { "origin_pos": 15, "tab": [ "tensorflow" ] }, "source": [ "Trong Keras, lớp kết nối hoàn toàn được định nghĩa trong lớp `Dense`. Vì chúng ta chỉ muốn tạo ra một đầu ra vô hướng duy nhất, chúng ta đặt số đó thành 1. \n", "\n", "Điều đáng chú ý là, để thuận tiện, Keras không yêu cầu chúng ta chỉ định hình dạng đầu vào cho mỗi lớp. Vì vậy, ở đây, chúng ta không cần phải nói Keras có bao nhiêu đầu vào đi vào lớp tuyến tính này. Khi lần đầu tiên chúng ta cố gắng truyền dữ liệu thông qua mô hình của mình, ví dụ, khi chúng ta thực thi `net(X)` sau đó, Keras sẽ tự động suy ra số lượng đầu vào cho mỗi lớp. Chúng tôi sẽ mô tả cách thức hoạt động chi tiết hơn sau.\n" ] }, { "cell_type": "code", "execution_count": 6, "id": "22a501be", "metadata": { "execution": { "iopub.execute_input": "2022-04-26T14:21:13.156922Z", "iopub.status.busy": "2022-04-26T14:21:13.156401Z", "iopub.status.idle": "2022-04-26T14:21:13.167298Z", "shell.execute_reply": "2022-04-26T14:21:13.166639Z" }, "origin_pos": 18, "tab": [ "tensorflow" ] }, "outputs": [], "source": [ "# `keras` is the high-level API for TensorFlow\n", "net = tf.keras.Sequential()\n", "net.add(tf.keras.layers.Dense(1))" ] }, { "cell_type": "markdown", "id": "7ee0705d", "metadata": { "origin_pos": 19 }, "source": [ "## Khởi tạo các tham số mô hình\n", "\n", "Trước khi sử dụng `net`, chúng ta cần (**khởi tạo các tham số model**) chẳng hạn như trọng lượng và thiên vị trong mô hình hồi quy tuyến tính. Các khuôn khổ học sâu thường có cách xác định trước để khởi tạo các tham số. Ở đây chúng tôi chỉ định rằng mỗi tham số trọng lượng nên được lấy mẫu ngẫu nhiên từ phân phối bình thường với 0 trung bình và độ lệch chuẩn 0,01. Tham số thiên vị sẽ được khởi tạo thành 0.\n" ] }, { "cell_type": "markdown", "id": "04299c2c", "metadata": { "origin_pos": 22, "tab": [ "tensorflow" ] }, "source": [ "mô-đun `initializers` trong TensorFlow cung cấp các phương pháp khác nhau để khởi tạo tham số mô hình. Cách dễ nhất để chỉ định phương thức khởi tạo trong Keras là khi tạo lớp bằng cách chỉ định `kernel_initializer`. Ở đây chúng tôi tái tạo lại `net` một lần nữa.\n" ] }, { "cell_type": "code", "execution_count": 7, "id": "95728437", "metadata": { "execution": { "iopub.execute_input": "2022-04-26T14:21:13.170300Z", "iopub.status.busy": "2022-04-26T14:21:13.169876Z", "iopub.status.idle": "2022-04-26T14:21:13.177191Z", "shell.execute_reply": "2022-04-26T14:21:13.176574Z" }, "origin_pos": 25, "tab": [ "tensorflow" ] }, "outputs": [], "source": [ "initializer = tf.initializers.RandomNormal(stddev=0.01)\n", "net = tf.keras.Sequential()\n", "net.add(tf.keras.layers.Dense(1, kernel_initializer=initializer))" ] }, { "cell_type": "markdown", "id": "38c850d2", "metadata": { "origin_pos": 28, "tab": [ "tensorflow" ] }, "source": [ "Mã ở trên có thể trông đơn giản nhưng bạn nên lưu ý rằng một cái gì đó kỳ lạ đang xảy ra ở đây. Chúng tôi đang khởi tạo các tham số cho một mạng mặc dù Keras chưa biết có bao nhiêu kích thước đầu vào sẽ có! Nó có thể là 2 như trong ví dụ của chúng tôi hoặc nó có thể là 2000. Keras cho phép chúng tôi thoát khỏi điều này bởi vì đằng sau hậu trường, việc khởi tạo thực sự là * hoãn lại*. Việc khởi tạo thực sự sẽ chỉ diễn ra khi chúng tôi lần đầu tiên cố gắng truyền dữ liệu qua mạng. Chỉ cần cẩn thận để nhớ rằng vì các tham số chưa được khởi tạo, chúng tôi không thể truy cập hoặc thao tác chúng.\n" ] }, { "cell_type": "markdown", "id": "c2f6f7de", "metadata": { "origin_pos": 29 }, "source": [ "## Xác định chức năng mất\n" ] }, { "cell_type": "markdown", "id": "cef685fe", "metadata": { "origin_pos": 32, "tab": [ "tensorflow" ] }, "source": [ "Lớp `MeanSquaredError` tính toán sai số bình phương trung bình (không có hệ số $1/2$ trong :eqref:`eq_mse`). Theo mặc định, nó trả về mức lỗ trung bình so với các ví dụ.\n" ] }, { "cell_type": "code", "execution_count": 8, "id": "4088f666", "metadata": { "execution": { "iopub.execute_input": "2022-04-26T14:21:13.180347Z", "iopub.status.busy": "2022-04-26T14:21:13.179926Z", "iopub.status.idle": "2022-04-26T14:21:13.183255Z", "shell.execute_reply": "2022-04-26T14:21:13.182635Z" }, "origin_pos": 35, "tab": [ "tensorflow" ] }, "outputs": [], "source": [ "loss = tf.keras.losses.MeanSquaredError()" ] }, { "cell_type": "markdown", "id": "14b8be83", "metadata": { "origin_pos": 36 }, "source": [ "## Xác định thuật toán tối ưu hóa\n" ] }, { "cell_type": "markdown", "id": "f8547884", "metadata": { "origin_pos": 39, "tab": [ "tensorflow" ] }, "source": [ "Minibatch stochastic gradient descent là một công cụ tiêu chuẩn để tối ưu hóa mạng thần kinh và do đó Keras hỗ trợ nó cùng với một số biến thể trên thuật toán này trong mô-đun `optimizers`. Minibatch stochastic gradient descent chỉ yêu cầu chúng ta đặt giá trị `learning_rate`, được đặt thành 0,03 ở đây.\n" ] }, { "cell_type": "code", "execution_count": 9, "id": "f561859c", "metadata": { "execution": { "iopub.execute_input": "2022-04-26T14:21:13.186055Z", "iopub.status.busy": "2022-04-26T14:21:13.185702Z", "iopub.status.idle": "2022-04-26T14:21:13.189229Z", "shell.execute_reply": "2022-04-26T14:21:13.188620Z" }, "origin_pos": 42, "tab": [ "tensorflow" ] }, "outputs": [], "source": [ "trainer = tf.keras.optimizers.SGD(learning_rate=0.03)" ] }, { "cell_type": "markdown", "id": "f21f5a60", "metadata": { "origin_pos": 43 }, "source": [ "## Đào tạo\n", "\n", "Bạn có thể nhận thấy rằng thể hiện mô hình của chúng tôi thông qua các API cấp cao của một khuôn khổ học sâu đòi hỏi tương đối ít dòng mã. Chúng tôi không phải phân bổ các thông số riêng lẻ, xác định chức năng mất mát của chúng tôi hoặc thực hiện minibatch stochastic gradient descent. Khi chúng tôi bắt đầu làm việc với các mô hình phức tạp hơn nhiều, lợi thế của API cấp cao sẽ tăng lên đáng kể. Tuy nhiên, một khi chúng tôi có tất cả các phần cơ bản tại chỗ, [** bản thân vòng đào tạo rất giống với những gì chúng tôi đã làm khi thực hiện mọi thứ từ vết xước.**] \n", "\n", "Để làm mới bộ nhớ của bạn: đối với một số kỷ nguyên, chúng tôi sẽ thực hiện một vượt qua toàn bộ dữ liệu (`train_data`), lặp đi lặp lại lấy một minibatch đầu vào và các nhãn chân lý mặt đất tương ứng. Đối với mỗi minibatch, chúng tôi trải qua các nghi thức sau: \n", "\n", "* Tạo ra dự đoán bằng cách gọi `net(X)` và tính toán tổn thất `l` (sự lan truyền về phía trước).\n", "* Tính toán gradient bằng cách chạy backpropagation.\n", "* Cập nhật các tham số mô hình bằng cách gọi trình tối ưu hóa của chúng tôi.\n", "\n", "Để có biện pháp tốt, chúng tôi tính toán tổn thất sau mỗi kỷ nguyên và in nó để theo dõi tiến độ.\n" ] }, { "cell_type": "code", "execution_count": 10, "id": "d3d5b6f2", "metadata": { "execution": { "iopub.execute_input": "2022-04-26T14:21:13.192183Z", "iopub.status.busy": "2022-04-26T14:21:13.191843Z", "iopub.status.idle": "2022-04-26T14:21:14.705085Z", "shell.execute_reply": "2022-04-26T14:21:14.704379Z" }, "origin_pos": 46, "tab": [ "tensorflow" ] }, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "epoch 1, loss 0.000223\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "epoch 2, loss 0.000099\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "epoch 3, loss 0.000099\n" ] } ], "source": [ "num_epochs = 3\n", "for epoch in range(num_epochs):\n", " for X, y in data_iter:\n", " with tf.GradientTape() as tape:\n", " l = loss(net(X, training=True), y)\n", " grads = tape.gradient(l, net.trainable_variables)\n", " trainer.apply_gradients(zip(grads, net.trainable_variables))\n", " l = loss(net(features), labels)\n", " print(f'epoch {epoch + 1}, loss {l:f}')" ] }, { "cell_type": "markdown", "id": "70bad1fe", "metadata": { "origin_pos": 47 }, "source": [ "Dưới đây, chúng ta [**so sánh các tham số mô hình học được bằng cách đào tạo về dữ liệu hữu hạn và các tham số thực tế**] đã tạo ra tập dữ liệu của chúng tôi. Để truy cập các tham số, trước tiên chúng ta truy cập vào lớp mà chúng ta cần từ `net` và sau đó truy cập vào trọng lượng và thiên vị của lớp đó. Như trong triển khai từ đầu của chúng tôi, lưu ý rằng các thông số ước tính của chúng tôi gần với các đối tác thực tế mặt đất của chúng.\n" ] }, { "cell_type": "code", "execution_count": 11, "id": "9de6d0b6", "metadata": { "execution": { "iopub.execute_input": "2022-04-26T14:21:14.708420Z", "iopub.status.busy": "2022-04-26T14:21:14.707866Z", "iopub.status.idle": "2022-04-26T14:21:14.714466Z", "shell.execute_reply": "2022-04-26T14:21:14.713802Z" }, "origin_pos": 50, "tab": [ "tensorflow" ] }, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "error in estimating w tf.Tensor([-4.2438507e-05 4.5371056e-04], shape=(2,), dtype=float32)\n", "error in estimating b [0.00012827]\n" ] } ], "source": [ "w = net.get_weights()[0]\n", "print('error in estimating w', true_w - tf.reshape(w, true_w.shape))\n", "b = net.get_weights()[1]\n", "print('error in estimating b', true_b - b)" ] }, { "cell_type": "markdown", "id": "b8428220", "metadata": { "origin_pos": 51 }, "source": [ "## Tóm tắt\n" ] }, { "cell_type": "markdown", "id": "30b59947", "metadata": { "origin_pos": 54, "tab": [ "tensorflow" ] }, "source": [ "* Sử dụng API cấp cao của TensorFlow, chúng ta có thể triển khai các mô hình chính xác hơn nhiều.\n", "* Trong TensorFlow, mô-đun `data` cung cấp các công cụ để xử lý dữ liệu, mô-đun `keras` định nghĩa một số lượng lớn các lớp mạng thần kinh và các chức năng mất phổ biến.\n", "* mô-đun của TensorFlow `initializers` cung cấp các phương pháp khác nhau để khởi tạo tham số mô hình.\n", "* Kích thước và lưu trữ được tự động suy ra (nhưng hãy cẩn thận không cố gắng truy cập các tham số trước khi chúng được khởi tạo).\n" ] }, { "cell_type": "markdown", "id": "1c734b87", "metadata": { "origin_pos": 55 }, "source": [ "## Bài tập\n" ] }, { "cell_type": "markdown", "id": "70dfa96b", "metadata": { "origin_pos": 58, "tab": [ "tensorflow" ] }, "source": [ "1. Xem lại tài liệu TensorFlow để xem các chức năng mất mát và phương pháp khởi tạo nào được cung cấp. Thay thế tổn thất bằng mất mát của Huber.\n", "\n", "[Discussions](https://discuss.d2l.ai/t/204)\n" ] } ], "metadata": { "language_info": { "name": "python" } }, "nbformat": 4, "nbformat_minor": 5 }