Giải thuật tiến hóa đa nhiệm vụ trong huấn luyện mạng nơ-ron truyền thẳng

- Học viên: Nguyễn Quốc Tuấn KHOA HỌC MÁY TÍNH GIẢI THUẬT TIẾN HÓA ĐA NHIỆM VỤ TRONG HUẤN LUYỆN MẠNG NƠ-RON TRUYỀN THẲNG LUẬN VĂN THẠC SĨ KHOA HỌC KHOA HỌC MÁY TÍNH 2016B Hà Nội – Năm 2019 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI.
- Học viên: Nguyễn Quốc Tuấn GIẢI THUẬT TIẾN HÓA ĐA NHIỆM VỤ TRONG HUẤN LUYỆN MẠNG NƠ-RON TRUYỀN THẲNG Chuyên ngành : Khoa học máy tính LUẬN VĂN THẠC SĨ KHOA HỌC KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC : PGS.
- Đề tài luận văn: Giải thuật tiến hóa đa nhiệm vụ trong huấn luyện mạng nơ-ron truyền thẳng.
- XIDANH MỤC GIẢI THUẬT.
- 4II.1 Tổng quan về mạng nơ-ron.
- 6II.1.2 Lan truyền thông tin trong mạng nơ-ron.
- 8II.1.4 Giải thuật lan truyền ngược trong mạng nơ-ron.
- 8II.2 Tổng quan về tối ưu hóa liên tục.
- 9II.2.1 Bài toán tối ưu liên tục.
- 10II.2.2 Một số phương pháp giải bài toán tối ưu liên tục.
- 12II.2.3 Tối ưu đa mục tiêu.
- 13II.2.4 Tối ưu đa nhiệm.
- 14II.3 Tổng quan về giải thuật tiến hóa đa nhiệm vụ.
- 15II.3.1 Giải thuật tiến hóa.
- 17II.3.2 Giải thuật tiến hóa đa nhiệm vụ.
- 20II.3.2.2 Sự giao hội tập lời giải tối ưu trong tối ưu hóa đa nhiệm vụ.
- 22Chương III: GIẢI THUẬT TIẾN HÓA HUẤN LUYỆN MẠNG NƠ-RON.
- 26III.2 Sử dụng giải thuật tiến hóa làm giải thuật học.
- 27III.2.1 Tối ưu trọng số kết nối.
- 27III.2.2 Tối ưu kiến trúc mạng.
- 28V III.3 Tiến hóa đa nhiệm trong huấn luyện mạng nơ-ron.
- 30Chương IV: ĐỀ XUẤT GIẢI THUẬT HỌC CHO MẠNG NƠ-RON TRUYỀNTHẲNG NHIỀU LỚP DỰA TRÊN THUẬT TOÁN TIẾN HÓAĐA NHIỆM VỤ.
- 38IV.3 Giải thuật tiến hóa đa nhiệm đề xuất.
- 39Chương V: KẾT QUẢ ĐẠT ĐƯỢC.
- 42V.1.3 Cấu hình tham số giải thuật.
- 43V.2 Kết quả thực nghiệm.
- 43V.2.1 Mạng nơ-ron cùng độ sâu.
- 44V.2.2 Mạng nơ-ron khác độ sâu.
- 21continuous optimization : tối ưu hóa liên tục .
- convex optimization : tối ưu lồi .
- 9discrete optimization : tối ưu hóa rời rạc .
- 22global minima : tối ưu toàn cục .
- 12local minima : tối ưu cục bộ .
- 10, 13, 14multi-variate optimization : tối ưu hóa đa biến .
- 14optimization : tối ưu hóa .
- Tối ưu đàn kiến.
- Mạng nơ-ron nhân tạo.
- Mạng nơ-ron tích chập.
- Giải thuật tiến hóa.
- Mạng nơ ron nhân tạo tiến hóa.
- Mạng nơ-ron truyền thẳng.
- Giải thuật tiến hóa đa nhiệm vụ.
- Tối ưu hóa đa nhiệm vụ.
- Tối ưu hóa đa mục tiêu.
- Tiến hóa mạng nơ-ron thôngqua tăng cường kiến trúc mạng.
- Tối ưu bầy đàn.
- Mạng nơ-ron hồi qui.
- 6Hình II.5: Lan truyền thông tin trong mạng nơ-ron nhân tạo.
- 11Hình II.7: Minh họa giải thuật tìm kiếm cục bộ.
- 12Hình II.8: Các khái niệm trong tối ưu hóa đa mục tiêu.
- 17Hình II.11: Sự giao hội tập lời giải tối ưu trong tối ưu hóa đa nhiệm vụ.
- 32Hình IV.1: Mạng nơ-ron 3 lớp với 2 lớp ẩn.
- 37Hình V.1: Kết quả thực nghiệm bài toán 8-bit, 2 tác vụ, mạng cùng độ sâu.
- 45Hình V.2: Kết quả thực nghiệm bài toán 8-bit, 3 tác vụ, mạng cùng độ sâu.
- 46Hình V.3: Kết quả thực nghiệm bài toán 9-bit, 2 tác vụ, mạng cùng độ sâu.
- 46Hình V.4: Kết quả thực nghiệm bài toán 9-bit, 3 tác vụ, mạng cùng độ sâu.
- 47Hình V.5: Kết quả thực nghiệm bài toán 10-bit, 2 tác vụ, mạng cùng độ sâu.
- 47Hình V.6: Kết quả thực nghiệm bài toán 10-bit, 3 tác vụ, mạng cùng độ sâu.
- 48Hình V.7: Kết quả thực nghiệm bài toán 8-bit, 2 tác vụ, mạng khác độ sâu.
- 52Hình V.8: Kết quả thực nghiệm bài toán 8-bit, 3 tác vụ, mạng khác độ sâu.
- 52Hình V.9: Kết quả thực nghiệm bài toán 9-bit, 2 tác vụ, mạng khác độ sâu.
- 53Hình V.10: Kết quả thực nghiệm bài toán 9-bit, 3 tác vụ, mạng khác độ sâu.
- 53Hình V.11: Kết quả thực nghiệm bài toán 10-bit, 2 tác vụ, mạng khác độ sâu.
- 54Hình V.12: Kết quả thực nghiệm bài toán 10-bit, 3 tác vụ, mạng khác độ sâu.
- 41Bảng V.2: Cấu hình mạng nơ-ron tương ứng với mỗi bài toán trong thực nghiệm.
- 42Bảng V.3: Cấu hình tham số giải thuật đề xuất.
- 43Bảng V.4: Tổng hợp kết quả bài toán 8-bit, 2 tác vụ và 3 tác vụ, mạng cùng độ sâu.
- 44Bảng V.5: Tổng hợp kết quả bài toán 9-bit, 2 tác vụ và 3 tác vụ, mạng cùng độ sâu.
- 44Bảng V.6: Tổng hợp kết quả bài toán 10-bit, 2 tác vụ và 3 tác vụ, mạng cùng độ sâu.
- 45Bảng V.7: Tổng hợp kết quả bộ dữ liệu Breast cancer, 2 tác vụ và 3 tác vụ, mạng cùng độsâu.
- 48Bảng V.8: Tổng hợp kết quả bộ dữ liệu Tic tac toe, 2 tác vụ và 3 tác vụ, mạng cùng độ sâu.
- 49Bảng V.9: Tổng hợp kết quả bộ dữ liệu Ionosphere, 2 tác vụ và 3 tác vụ, mạng cùng độ sâu.
- 49Bảng V.10: Tổng hợp kết quả bộ dữ liệu Credit screening, 2 tác vụ và 3 tác vụ, mạng cùngđộ sâu.
- 50Bảng V.11: Tổng hợp kết quả bài toán 8-bit, 2 tác vụ và 3 tác vụ, mạng khác độ sâu.
- 50Bảng V.12: Tổng hợp kết quả bài toán 9-bit, 2 tác vụ và 3 tác vụ, mạng khác độ sâu.
- 51Bảng V.13: Tổng hợp kết quả bài toán 10-bit, 2 tác vụ và 3 tác vụ, mạng khác độ sâu.
- 51Bảng V.14: Tổng hợp kết quả bộ dữ liệu Breast cancer, 2 tác vụ và 3 tác vụ, mạng khác độsâu.
- 55Bảng V.15: Tổng hợp kết quả bộ dữ liệu Tic tac toe, 2 tác vụ và 3 tác vụ, mạng khác độ sâu.
- 55Bảng V.16: Tổng hợp kết quả bộ dữ liệu Ionosphere, 2 tác vụ và 3 tác vụ, mạng khác độ sâu.
- 56Bảng V.17: Tổng hợp kết quả bộ dữ liệu Credit screening, 2 tác vụ và 3 tác vụ, mạng khácđộ sâu.
- 56Bảng V.18: Thời gian chạy trung bình (giây) của các giải thuật cho bài toán 8-bit.
- 58XI DANH MỤC GIẢI THUẬT1 Giải thuật lan truyền tham số mạng nơ-ron nhân tạo L lớp.
- 92 Giải thuật lan truyền ngược cho mạng nơ-ron nhân tạo L lớp.
- 93 Các bước chính của giải thuật tiến hóa.
- 164 Các bước chính của giải thuật tiến hóa đa nhiệm vụ.
- 206 Giải thuật xác định cấu hình mạng nơ-ron chung lớn nhất.
- 367 Các bước chính của giải thuật MFEA-UDA.
- Nhờ đó, ANN có thể xấp xỉmột hàm mất mát, được xây dựng bằng cách ánh xạ một tập dữ liệu đầu vàođến một tập dữ liệu đầu ra theo tiêu chuẩn nào đó, với độ chính xác tùy ý vàphụ thuộc vào độ phức tạp của mạng.Để xây dựng được một ANN, chúng ta cần giải thuật học phù hợp để tìmđược cấu hình mạng cùng bộ tham số tối ưu cho bộ dữ liệu học.
- Có nhiềugiải thuật dùng để tối ưu trọng số cho một ANN đã biết trước cấu hình nhưBackpropagation, Adagrad, RMSprop, Adam… Các giải thuật này đều dựa vàoviệc tính đạo hàm để cập nhật tham số và chúng thường có ưu điểm là rấtnhanh chóng hội tụ đến một nghiệm cục bộ hiệu quả nào đó trên không giantìm kiếm.
- Các thuật toán dựa trên đạo hàm khác nhau đề xuấtcác phương pháp riêng để xử lý việc cập nhật tham số khi gặp điểm yên ngựa,nhưng vẫn không thể tránh khỏi triệt để những vấn đề trong thực nghiệm.Giải thuật tiến hóa, đã được minh chứng là rất hiệu quả trong các bài toántối ưu liên tục, cũng là một ứng cử viên sáng giá trong việc huấn luyện ANN.Không chỉ loại trừ được những bất lợi của việc cập nhật tham số phải tính đạohàm, giải thuật tiến hóa còn giúp việc tối ưu kiến trúc và các thành phần kháccủa mạng một cách đồng thời.
- Giải thuật tiến hóa đa nhiệm, một khái niệm mớiđược đề cập gần đây dựa trên cơ sở rằng các bài toán tối ưu có thể có nhiềuđiểm chung tương đồng trong tập tối ưu và việc giải cùng lúc nhiều bài toángóp phần thúc đẩy tốc độ tìm ra được lời giải tốt nhanh hơn.
- Nhờ đógiải thuật tiến hóa đa nhiệm hứa hẹn là một công cụ hiệu quả trong huấn luyệnANN truyền thẳng.Các nghiên cứu về giải thuật tiến hóa đa nhiệm còn nhiều hạn chế và có tiềmnăng phát triển cải tiến.
- Như vậy, luận văn này tiến hành nghiên cứu tổng quanvề vấn đề huấn luyện ANN truyền thẳng bằng giải thuật tiến hóa đa nhiệm.Trên cơ sở kết quả đạt được, luận văn tổng kết, đánh giá và đưa ra hướng pháttriển của đề tài trong tương lai.I.1 Tính cấp thiết của đề tàiĐề tài hướng đến việc phát triển giải thuật học hiệu quả cho việc huấn luyệnANN, từ đó có ứng dụng to lớn trong các vấn đề thực tiễn đòi hỏi phát triển cáchệ thống thông minh mà ANN là cốt lõi.
- Kết quả đồ án cũng là minh chứng chotính hiệu quả của giải thuật tiến hóa đa nhiệm trong giải quyết các bài toán tốiưu liên tục phức tạp.
- Vì các lý do đó mà tôi tin tưởng luận văn này vừa có sựđóng góp cho cộng đồng nghiên cứu học thuật lại đồng thời có tính ứng dụngthực tiễn.I.2 Mục đích và đối tượng nghiên cứuLuận văn nhằm mục đích nghiên cứu Giải thuật tiến hóa đa nhiệm vụ (thuậtngữ gốc: Multi-Factorial Evolutionary Algorithm - MFEA) cho bài toán tối ưuliên tục và vấn đề huấn luyện ANN truyền thẳng nhiều lớp.
- Trên cơ sở đó, luậnvăn đề xuất phương pháp mã hóa trên không gian chung cho các ANN truyềnthẳng nhiều lớp đồng thời phát triển và cả tiến giải thuật tiến hóa đa nhiệm đểgiải quyết bài toán.
- Theo định hướng đó, tác giả cài đặt thực nghiệm giải thuậtđề xuất theo mô hình đơn nhiệm và đa nhiệm, đồng thời so sánh với các phươngpháp tiếp cận dựa trên đạo hàm để làm cơ sở phân tích tính hiệu quả và tínhthực tiễn của giải thuật đề xuất.
- Thực nghiệm giải thuật cần chỉ ra và phân tíchđược tính hiệu quả của mô hình đa nhiệm trong huấn luyện đồng thời các ANNtruyền thẳng.I.3 Phạm vi và phương pháp nghiên cứuMô hình ANN sử dụng trong luận văn là Mạng nơ-ron truyền thẳng (thuậtngữ gốc: Feedforward Neural Network - FNN) áp dụng cho bài toán phân loạinhị phân thực hiện trên bài toán n-bit và bộ dữ liệu phân loại nhị phân của2 Asuncion and Newman được cung cấp tại [1].
- Các giải thuật đề xuất đưọc đánhgiá tính hiệu quả bằng độ đo Trung bình của bình phương lỗi (thuật ngữ gốc:Mean Square Error - MSE) và tính chính xác của mô hình phân loại.
- Việc sosánh kết quả thực nghiệm là thước đo kiểm chứng tính thực tiễn của giải thuậtđề xuất trong việc phát triển các giải thuật học.I.4 Cấu trúc của luận vănCấu trúc các Chương tiếp theo của luận văn gồm các phần như sau:• Chương II trình bày các kiến thức tổng quan về ANN, bài toán tối ưu hóaliên tục (thuật ngữ gốc: continuous optimization), giải thuật Giải thuật tiếnhóa (thuật ngữ gốc: Evolutionary Algorithm - EA) và MFEA.• Chương III bàn về phương pháp sử dụng EA và MFEA làm giải thuật họccho ANN cùng các nghiên cứu liên quan.• Chương IV trình bày chi tiết giải thuật học cho mạng FNN nhiều lớp dựatrên MFEA.• Chương V tổng hợp kết quả thực nghiệm giải thuật đề xuất với các phươngpháp tiếp cận dựa trên đạo hàm và EA đơn nhiệm.• Chương VI đưa ra kết luận về tính hiệu quả và tính thực tiễn của giải thuậtđè xuất, đồng thời bàn luận về các hướng nghiên cứu phát triển của đề tài.3

Xem thử không khả dụng, vui lòng xem tại trang nguồn
hoặc xem Tóm tắt