Giải thuật tiến hóa đa nhiệm vụ trong huấn luyện mạng nơ-ron truyền thẳng

- TÓM TẮT LUẬN VĂN THẠC SĨ Đề tài: Giải thuật tiến hóa đa nhiệm vụ trong huấn luyện mạng Nơ-ron truyền thẳng Tác giả luận văn: Nguyễn Quốc Tuấn Khóa: 2016B Người hướng dẫn: PGS.
- Nội dung tóm tắt: a) Lý do chọn đề tài Trong những năm gần đây, mạng nơ-ron nổi lên như một công cụ toán học hiệu quả trong việc xây dựng các hệ thống thông minh có khả năng như (hoặc thậm chí vượt trội) con người trong nhiều lĩnh vực.
- Các ví dụ điển hình của mạng nơ-ron có thể được tìm thấy trong các hệ thống nhận diện (khuôn mặt, chữ viết tay, số.
- Mạng nơ-ron về bản chất là một hàm phi tuyến cực kỳ phức tạp với nhiều lớp và rất nhiều tham số cấu thành.
- Nhờ đó, mạng nơ-ron có thể xấp xỉ một hàm mất mát, được xây dựng bằng cách ánh xạ một tập dữ liệu đầu vào đến một tập dữ liệu đầu ra theo tiêu chuẩn nào đó, với độ chính xác tùy ý và phụ thuộc vào độ phức tạp của mạng.
- Để xây dựng được một mạng nơ-ron, chúng ta cần giải thuật học phù hợp để tìm được cấu hình mạng cùng bộ tham số tối ưu cho bộ dữ liệu học.
- Có nhiều giải thuật dùng để tối ưu trọng số cho một mạng nơ-ron đã biết trước cấu hình như Backpropagation, Adagrad, RMSprop, Adam… Các giải thuật này đều dựa vào việc tính đạo hàm để cập nhật tham số và chúng thường có ưu điểm là rất nhanh chóng hội tụ đến một nghiệm cục bộ hiệu quả nào đó trên không gian tìm kiếm.
- Tuy nhiên, ưu điểm cũng chính là nhược điểm của các phương pháp tiếp cận bằng đạo hàm, chúng dễ mắc vào cục bộ khi miền tìm kiếm là đa cực trị.
- Hơn thế nữa khi tối ưu trên không gian hàm nhiều biến, tồn tại rất nhiều những “điểm yên ngựa” nơi mà đạo hàm riêng bằng 0 nhưng lại không phải là cực trị của hàm tại đó.
- Các thuật toán dựa trên đạo hàm khác nhau đề xuất các phương pháp riêng để xử lý việc cập nhật tham số khi gặp điểm yên ngựa, nhưng vẫn không thể tránh khỏi triệt để những vấn đề trong thực nghiệm.
- Giải thuật tiến hóa, đã được minh chứng là rất hiệu quả trong các bài toán tối ưu liên tục, cũng là một ứng cử viên sáng giá trong việc huấn luyện mạng nơ-ron.
- Không chỉ loại trừ được những bất lợi của việc cập nhật tham số phải tính đạo hàm, giải thuật tiến hóa còn giúp việc tối ưu kiến trúc và các thành phần khác của mạng một cách đồng thời.
- Giải thuật tiến hóa đa nhiệm, một khái niệm mới được đề cập gần đây dựa trên cơ sở rằng các bài toán tối ưu có thể có nhiều điểm chung tương đồng trong tập tối ưu và việc giải cùng lúc nhiều bài toán góp phần thúc đẩy tốc độ tìm ra được lời giải tốt nhanh hơn.
- So với giải thuật tiến hóa thông thường, sự trao đổi tri thức dùng chung giữa các nhiệm vụ trong quá trình tối ưu góp phần cải thiện tốc độ hội tụ chung của quần thể.
- Nhờ đó giải thuật tiến hóa đa nhiệm hứa hẹn là một công cụ hiệu quả trong huấn luyện mạng nơ-ron truyền thẳng.
- Các nghiên cứu về giải thuật tiến hóa đa nhiệm còn nhiều hạn chế và có tiềm năng phát triển cải tiến.
- Như vậy, luận văn này tiến hành nghiên cứu tổng quan về vấn đề huấn luyện mạng nơ-ron truyền thẳng bằng giải thuật tiến hóa đa nhiệm.
- Trên cơ sở kết quả đạt được, luận văn tổng kết, đánh giá và đưa ra hướng phát triển của đề tài trong tương lai.
- Đề tài hướng đến việc phát triển giải thuật học hiệu quả cho việc huấn luyện mạng nơ-ron, từ đó có ứng dụng to lớn trong các vấn đề thực tiễn đòi hỏi phát triển các hệ thống thông minh mà mạng nơ-ron là cốt lõi.
- Kết quả đồ án cũng là minh chứng cho tính hiệu quả của giải thuật tiến hóa đa nhiệm trong giải quyết các bài toán tối ưu liên tục phức tạp.
- Vì các lý do đó mà tôi tin tưởng luận văn này vừa có sự đóng góp cho cộng đồng nghiên cứu học thuật lại đồng thời có tính ứng dụng thực tiễn.
- b) Mục đích nghiên cứu của luận văn, đối tượng, phạm vi nghiên cứu.
- Luận văn nhằm mục đích nghiên cứu giải thuật tiến hóa đa nhiệm cho bài toán tối ưu liên tục và vấn đề huấn luyện mạng nơ-ron truyền thẳng nhiều lớp.
- Trên cơ sở đó, luận văn đề xuất phương pháp mã hóa trên không gian chung cho các mạng nơ-ron truyền thẳng nhiều lớp đồng thời phát triển và cải tiến giải thuật tiến hóa đa nhiệm để giải quyết bài toán phân loại nhị phân.
- Thực nghiệm giải thuật cần chỉ ra và phân tích được tính hiệu quả của mô hình đa nhiệm trong huấn luyện đồng thời các mạng nơ-ron truyền thẳng.
- c) Tóm tắt cô đọng các nội dung chính và đóng góp mới của tác giả Luận văn đề xuất phương pháp tiến hóa đa nhiệm cho vấn đề huấn luyện mạng nơ-ron truyền thẳng trên cơ sở xem việc huấn luyện trọng số mạng nơ-ron tương đương với bài toán tối ưu hóa liên tục.
- Luận văn đề xuất phương pháp mã hóa chung cùng lúc biểu diễn cho nhiều mạng nơ-ron khác nhau cả về số đơn vị xử lý trên một lớp ẩn và thậm chí khác nhau về số lớp ẩn.
- Thuật toán luận văn đề xuất được phát triển dựa trên giải thuật tiến hóa đa nhiệm với cải tiến về điều chỉnh xác suất ghép cặp ngẫu nhiên khác nhiệm vụ thông qua kiểm soát tỉ lệ sống của con lai khác nhiệm vụ.
- d) Phương pháp nghiên cứu.
- Luận văn giới hạn ở mô hình mạng nơ-ron truyền thẳng và chỉ tập trung vào tối ưu hóa trọng số cho các mô hình mạng khác nhau.
- Phương pháp thực nghiệm được xây dựng dựa trên bài toán phân loại nhị phân với mẫu dữ liệu điển hình là bài toán kiểm tra tính chẵn lẻ của chuỗi n-bit và 4 bộ học liệu của Đại học California.
- Các bộ dữ liệu được chia thành 70% cho dữ liệu học và 30% cho dữ liệu kiểm định.
- Thực nghiệm so sánh thuật toán đề xuất với các phương pháp học đơn nhiệm và phương pháp dựa trên đạo hàm trên cơ sở đối chiếu trung bình của bình phương lỗi và độ chính xác trên mỗi bộ dữ liệu.
- e) Kết luận Về mặt lý thuyết, luận văn đã trình bày được các nội dung sau.
- Tổng quan về mạng nơ-ron: mô hình, ý nghĩa toán học, các thuật toán lan truyền tham số cơ bản trong mạng nơ-ron nhân tạo.
- Tổng quan về tối ưu hóa liên tục, định nghĩa bài toán cùng một số phương pháp giải, tối ưu đa mục tiêu và tối ưu đa nhiệm.
- Tổng quan về giải thuật tiến hóa đa nhiệm: cơ sở giải thuật tiến hóa cho bài toán tối ưu liên tục, cơ sở của giải thuật tiến hóa đa nhiệm.
- Đưa ra mối liên hệ giữa huấn luyện mạng nơ-ron nhân tạo và bài toán tối ưu.
- Đưa ra động lực cho giải thuật tiến hóa đa nhiệm áp dụng vào huấn luyện mạng nơ-ron nhân tạo.
- Đề xuất phương pháp mã hóa mạng nơ-ron nhiều lớp trên không gian chung.
- Đề xuất giải thuật học cho mạng nơ-ron nhân tạo dựa trên giải thuật tiến hóa đa nhiệm.
- Về mặt thực nghiệm, luận văn đã thu được một số kết quả.
- Cài đặt giải thuật đề xuất và thực nghiệm với dữ liệu phân loại nhị phân.
- So sánh kết quả thực nghiệm giải thuật đề xuất với cách tiếp cận thuần đạo hàm GD và so sánh mô hình đa nhiệm với đơn nhiệm.
- Tổng kết thực nghiệm đưa ra đánh giá, nhận xét và kết luận tính ưu nhược của giải thuật đề xuất.
- Dữ liệu thực nghiệm so sánh chưa đủ đa dạng.
- Chưa đánh giá đầy đủ hiệu quả của phương pháp tiếp cận dựa trên đạo hàm và phương pháp tiến hóa, do GD chưa là giải thuật tốt nhất.
- Từ những tồn đọng đó, tác giả đề xuất mở rộng việc áp dụng tiến hóa đa nhiệm cho các mô hình mạng nơ-ron nhân tạo khác nhau và trên nhiều bộ dữ liệu khác nhau.
- Từ những tồn đọng đó, tác giả đề xuất hướng nghiên cứu trong tương lai.
- Mở rộng việc áp dụng tiến hóa đa nhiệm cho các mô hình mạng nơ-ron nhân tạo khác nhau và trên nhiều bộ dữ liệu khác nhau.
- Tiếp tục các nghiên cứu cơ bản đối với tiến hóa đa nhiệm.
- Tập trung vào giải quyết vấn đề khi nào nên dùng đa nhiệm với những độ đo thực tế hơn.
- Nghiên cứu phát triển các chiến lược tự thích nghi và điều chỉnh tham số.
- Kết hợp tiến hóa đa nhiệm với các phương pháp dựa trên đạo hàm để phát triển các thuật toán lai hiệu quả hơn.
- Phát triển các mô hình đồng thời tối ưu trọng số và kiến trúc mạng.

Xem thử không khả dụng, vui lòng xem tại trang nguồn
hoặc xem Tóm tắt