- 7 CHƢƠNG 1 : MẠNG NƠRON VÀ QUÁ TRÌNH HỌC CỦA MẠNG NƠRON. - Giới thiệu về mạng nơron và quá trình học của mạng nơron. - Mạng nơron và các phƣơng pháp học. - Nhận dạng hệ thống sử dụng mạng nơron. - Mặt lỗi đặc biệt khi luyện mạng nơron. - Mô phỏng quá trình luyện mạng nơron khi sử dụng Toolbox của Matlab 22 1.4.1. - Ví dụ với mạng nơron có mặt lỗi bình thƣờng. - Ví dụ với mạng nơron có mặt lỗi đặc biệt. - Điểm qua một số công trình nghiên cứu về mạng nơron và ứng dụng. - Các công trình trong và ngoài nƣớc nghiên cứu về thuật toán học của mạng nơron. - 38 CHƢƠNG 2: THUẬT TOÁN VƢỢT KHE TRONG QUÁ TRÌNH LUYỆN MẠNG NƠRON. - Thuật toán vƣợt khe. - 54 2.2 Ứng dụng thuật toán vƣợt khe trong quá trình luyện mạng nơron. - 76 CHƢƠNG 3: ĐỀ XUẤT MÔ HÌNH KẾT HỢP THUẬT DI TRUYỀN VÀ THUẬT TOÁN VƢỢT KHE ĐỂ CẢI TIẾN QUÁ TRÌNH HỌC CỦA MẠNG NƠRON MLP CÓ MẶT LỖI ĐẶC BIỆT. - Khảo sát độ hội tụ của quá trình luyện mạng nơron bằng kỹ thuật lan truyền ngƣợc nguyên thủy với các bộ khởi tạo trọng số ban đầu khác nhau. - Khảo sát độ hội tụ của quá trình luyện mạng nơron có mặt lỗi đặc biệt bằng kỹ thuật lan truyền ngƣợc kết hợp thuật toán vƣợt khe với các bộ khởi tạo trọng số ban đầu khác nhau 80 3.2. - Đề xuất mô hình kết hợp giải thuật di truyền và thuật toán vƣợt khe trong quá trình luyện mạng nơron. - Thuật toán. - Áp dụng mô hình kết hợp giải thuật di truyền và thuật toán vƣợt khe trong quá trình luyện mạng nơron vào bài toán nhận dạng. - 24 Hình 1.5: Cấu trúc mạng nơron cho nhận dạng chữ. - 25 Hình 1.6: Kết quả luyện mạng nơron với các phương pháp lan truyền ngược khác nhau (traingd, traingdm, traindx, trainda. - 57 Hình 2.7:Lưu đồ thuật toán huấn luyện mạng nơron với bước học vượt khe. - Điều quan trọng là thuật lan truyền ngƣợc tĩnh và động của mạng nơron đƣợc sử dụng để hiệu chỉnh các tham số trong quá trình nhận dạng. - Mạng nơron là một trong những công cụ nhận dạng tốt nhất vì các đặc trƣng sau: Khả năng học từ kinh nghiệm (khả năng đƣợc huấn luyện), khả năng xử lý song song với tốc độ xử lý nhanh, khả năng học thích nghi, khả năng khái quát hoá cho các đầu vào không đƣợc huấn luyện, ví dụ dựa vào cách học mạng có thể sẽ tiên đoán đầu ra từ đầu vào không biết trƣớc [23], [24]. - Mặt khác khi xấp xỉ mạng nơron với một hệ phi tuyến sẽ khó khăn khi luyện mạng vì có thể không tìm đƣợc điểm tối ƣu toàn cục. - Hiện nay, việc nghiên cứu các thuật toán tìm nghiệm tối ƣu toàn cục khi luyện mạng nơron đã đƣợc một số tác giả nghiên cứu áp dụng . - Tuy nhiên khi sử dụng mạng nơron để xấp xỉ một số đối tƣợng phi tuyến mà mặt lỗi sinh ra có dạng lòng khe [28], việc huấn luyện mạng gặp rất nhiều khó khăn. - Nội dung đề tài sẽ đi nghiên cứu một thuật toán tìm điểm tối ƣu toàn cục trong quá trình luyện mạng nơron bằng thuật toán vƣợt khe có sự kết hợp với giải thuật di truyền. - Mục tiêu - Đề xuất mô hình kết hợp thuật toán vƣợt khe và giải thuật di truyền để huấn luyện mạng nơron. - 8 Luận án Tiến sĩ Kỹ thuật 2013 - Xây dựng bộ công cụ phần mềm để luyện mạng nơron cho một số bài toán có mặt lỗi đặc biệt, làm cơ sở bổ sung vào Neural Toolbox Matlab. - Nội dung chính - Nghiên cứu lí thuyết về mạng nơron và quá trình học của mạng nơron. - Xây dựng thuật toán huấn luyện mạng nơron bằng kỹ thuật lan truyền ngƣợc kết hợp với thuật toán vƣợt khe. - Đề xuất thuật toán huấn luyện mạng nơron bằng kỹ thuật lan truyền ngƣợc có sử dụng giải thuật di truyền kết hợp với thuật toán vƣợt khe. - Viết và cài đặt chƣơng trình huấn luyện mạng nơron trên C. - Viết và cài đặt chƣơng trình huấn luyện mạng nơron trên Matlab. - Tập trung nghiên cứu vấn đề mạng nơron là gì và ứng dụng của mạng nơron trong nhận dạng. - Nghiên cứu những khó khăn tồn tại khi luyện mạng nơron với mặt lỗi đặc biệt có dạng lòng khe. - 9 Luận án Tiến sĩ Kỹ thuật 2013 - Đề xuất mô hình kết hợp thuật toán vƣợt khe và giải thuật di truyền để luyện mạng nơron có mặt lỗi đặc biệt. - Viết chƣơng trình trên Matlab để thực hiện quá trình luyện mạng nơron với mặt lỗi dạng đặc biệt. - Để giải quyết bài toán nhận dạng đối tƣợng phi tuyến mà sinh ra hàm mục tiêu dạng khe, tác giả đề xuất việc áp dụng thuật toán vƣợt khe tính bƣớc học vƣợt khe trong quá trình học của mạng nơron. - Chƣơng 3, tác giả đƣa ra các ví dụ về luyện mạng nơron trên những đối tƣợng có mức độ phi tuyến khác nhau với bộ trọng số khởi tạo khác nhau để thấy sự ảnh hƣởng của bộ khởi tạo trọng số đến kết quả luyện mạng, từ đó đề xuất mô hình kết hợp giải thuật di truyền và thuật toán vƣợt khe trong quá trình luyện mạng nơron. - Trong mô hình, giải thuật di truyền làm nhiệm vụ tìm kiếm bộ trọng số khởi tạo tối ƣu, khoanh vùng chứa cực trị toàn cục để tiến hành luyện mạng nơron theo kỹ thuật lan truyền ngƣợc có sử dụng bƣớc học vƣợt khe đã đề xuất từ chƣơng 2. - 11 Luận án Tiến sĩ Kỹ thuật 2013 CHƢƠNG 1 MẠNG NƠRON VÀ QUÁ TRÌNH HỌC CỦA MẠNG NƠRON Tóm tắt: Trong rất nhiều lĩnh vực như điều khiển, tự động hóa, công nghệ thông tin…, vấn đề nhận dạng được đối tượng là vấn đề mấu chốt quyết định sự thành công của bài toán. - Chương 1 sẽ đưa ra mặt lỗi đặc biệt khi luyện mạng nơron và có những đánh giá về sự ảnh hưởng của các nhân tố trong quá trình luyện mạng đến kết quả cuối cùng của bài toán nhận dạng thông qua một số ví dụ đặc trưng. - Giới thiệu về mạng nơron và quá trình học của mạng nơron 1.1.1. - Một mạng nơron nhân tạo đƣợc cấu hình cho một ứng dụng cụ thể (nhận dạng mẫu, phân loại dữ liệu. - Ở đây, tác giả xin đƣa ra một số đánh giá về các nhân tố trong quá trình học của mạng nơron. - Nhận dạng hệ thống sử dụng mạng nơron 1.2.1. - Nhận dạng hệ thống sử dụng mạng nơron 1.2.2.1. - Các tài liệu chỉ ra rằng, mạng nơron là một trong những công cụ hữu hiệu để nhận dạng mô hình đối tƣợng. - Mạng nơron là một trong những công cụ nhận dạng tốt nhất vì các đặc trƣng sau: Khả năng học từ kinh nghiệm (khả năng đƣợc huấn luyện), khả năng khái quát 16 Luận án Tiến sĩ Kỹ thuật 2013 hoá cho các đầu vào không đƣợc huấn luyện, ví dụ dựa vào cách học mạng có thể sẽ tiên đoán đầu ra từ đầu vào không biết trƣớc. - Mạng nơron đƣợc luyện để mô hình hóa quan hệ vào ra của đối tƣợng. - 17 Luận án Tiến sĩ Kỹ thuật 2013 Cấu trúc mạng nơron giải bài toán nhận dạng mô hình rất đa dạng, tùy thuộc vào từng bài toán cụ thể. - Mô hình cơ bản của mạng nơron đƣợc luyện để mô phỏng hành vi của đối tƣợng giống nhƣ mô hình truyền thống đƣợc biểu diễn trên Hình 1.2 Đối tƣợng u y e - Mạng nơron yˆ Hình 1.2: Mô hình nhận dạng cơ bản Tín hiệu sai số e y yˆ là cơ sở cho quá trình luyện mạng. - Mạng nơron ở đây có thể là mạng nhiều lớp hoặc các dạng khác và có thể sử dụng nhiều thuật luyện mạng khác nhau. - Nhận dạng hệ thống sử dụng mạng nơron Nhƣ vậy nhận dạng hệ thống cần hai giai đoạn đó là lựa chọn mô hình và tối ƣu tham số. - Đối với mạng nơron dựa vào nhận dạng lựa chọn số nút ẩn, số lớp ẩn (cấu trúc của mạng) tƣơng đƣơng với mô hình lựa chọn. - Mạng nơron đƣợc huấn luyện để xấp xỉ mối quan hệ giữa các biến. - Mạng nơron đƣợc huấn luyện để tối thiểu hàm sai số. - Do đó quá trình nhận dạng thực chất là điều chỉnh tham số của mạng nơron dựa vào sai lệch giữa các giá trị đầu ra của hệ thống và của mô hình. - Mặt lỗi đặc biệt khi luyện mạng nơron 1.3.1. - Hàm sigmoid rất hay đƣợc sử dụng trong mạng nơron bởi đặc điểm của nó 19 Luận án Tiến sĩ Kỹ thuật 2013 (bị chặn, đơn điệu tăng, khả vi) thích nghi với các kỹ thuật tối ƣu kinh điển, hàm này có đặc điểm là rất phẳng đối với các đầu vào lớn. - 21 Luận án Tiến sĩ Kỹ thuật 2013 Nhƣ đã biết luyện mạng nơron có hai quá trình, quá trình ánh xạ và quá trình học. - Thuật học lan truyền ngƣợc là thuật toán hay đƣợc sử dụng nhất trong quá trình luyện mạng nơron. - Mô phỏng quá trình luyện mạng nơron khi sử dụng Toolbox của Matlab 1.4.1. - Ví dụ với mạng nơron có mặt lỗi đặc biệt Để minh họa, tác giả đề xuất cấu trúc mạng nơ ron để nhận dạng các chữ số . - 28 Luận án Tiến sĩ Kỹ thuật 2013 Những năm 60 một Viện sĩ thuộc Viện Hàn Lâm Nga đƣợc coi là ngƣời tiên phong trong việc nhận dạng hệ thống trên cơ sở sử dụng mạng nơron. - Việc phổ biến của cuốn sách này khích lệ một dòng thác của việc nghiên cứu về mạng nơron Perceptron nhiều lớp, đƣợc huấn luyện bởi kỹ thuật lan truyền ngƣợc, mà hiện nay đƣợc sử dụng rộng rãi trong mạng nơron. - Vì thế, ngay sau đó, Hoa Kỳ nhanh chóng huy động quĩ tài trợ cho các nghiên cứu và ứng dụng mạng nơron. - 29 Luận án Tiến sĩ Kỹ thuật 2013 Năm 1987, hội thảo quốc tế đầu tiên về mạng nơron của Viện các kỹ sƣ điện và điện tử IEEE (Institute of Electrical and Electronic Engineer) đã thu hút hơn 1800 ngƣời tham gia. - Còn những công trình nghiên cứu về mạng nơron có thể kể đến nhƣ. - Đã xây dựng đƣợc chƣơng trình ứng dụng mạng nơron cho dự báo chất lƣợng đầu ra của hệ thống xử lý nƣớc thải. - Cùng với thuật toán tối ƣu hoá mạng nơron khi cho số nút ẩn thay đổi để tìm ra cấu trúc mạng tối ƣu nhất. - Thuật toán tối ƣu hoá quá trình luyện mạng là một bƣớc cải tiến so với các chƣơng trình ứng dụng mạng nơron thông thƣờng, chẳng hạn nhƣ 30 Luận án Tiến sĩ Kỹ thuật 2013 Matlab. - Các công trình trong và ngoài nƣớc nghiên cứu về thuật toán học của mạng nơron Những năm gần đây, những biến thể của thuật học lan truyền ngƣợc vẫn đƣợc quan tâm nghiên cứu và đƣợc công bố nhằm nâng cao tốc độ hội tụ của quá trình luyện mạng. - Bài viết nghiên cứu việc kết hợp mạng nơron động với giải thuật di truyền cho nhận dạng âm tiết tiếng Việt. - Trong đó, giải thuật di truyền đóng vai trò tối ƣu các trọng số cho mạng nơron nhằm tăng hiệu quả nhận dạng. - Công trình nghiên cứu của Nguyễn Sĩ Dũng, Lê Hoài Quốc,“Một số thuật toán về huấn luyện mạng nơron network trên cơ sở phƣơng pháp conjugate Gradient”, Đại học Công nghiệp TPHCM và Đại học Bách khoa TPHCM. - 33 Luận án Tiến sĩ Kỹ thuật 2013 Tác giả đã tìm đi hƣớng đi mới đầy triển vọng là xây dựng thuật toán mới về luyện mạng dựa vào phƣơng pháp Conjugate Gradient, trong đó đặt mục tiêu là cải thiện tốc độ hội tụ của quá trình huấn luyện mạng nơron. - Trong báo cáo này đã trình bày cơ sở toán học của vấn đề của phƣơng pháp Conjugate Gradient và một thuật toán mới đƣợc viết trên Matlab 7.1 để huấn luyện mạng nơron. - Năm 1990, Nguyen và Widrow thúc đẩy quá trình đào tạo của mạng nơron bằng cách thiết lập trọng lƣợng ban đầu của lớp ẩn [36]. - Trong ví dụ đƣợc Osowski đƣa ra, trọng lƣợng tối ƣu thu đƣợc sau khi luyện mạng nơron bằng thuật toán BP rất gần với trọng lƣợng ban đầu đƣợc đề xuất bởi thuật toán mới của ông. - Có thể nói việc ảnh hƣởng của bộ trọng số ban đầu đến kết quả luyện mạng nơron là không phải bàn cãi. - Họ lần đầu tiên đã sử dụng GA để tìm kiếm vecto trọng số của mạng nơron nhân tạo. - Mạng nơron lần đầu đƣợc học theo phƣơng pháp “cutting angle”, sau đó đƣợc học theo các kỹ thuật tối ƣu khác. - Bài báo này đề xuất việc kết hợp giải thuật di truyền GA và mạng nơron nhân tạo để tối ƣu hóa bộ trọng số ban đầu trong quá trình luyện mạng nơron. - tác giả sẽ xây dựng một thuật toán luyện mạng nơron cho mặt lỗi đặc biệt có dạng lòng khe mà trong đó sẽ ứng dụng thuật toán vƣợt khe để cập nhật bƣớc học, ứng dụng giải thuật di truyền để tạo bộ trọng số khởi tạo ban đầu. - Kết luận chƣơng 1 Trong chƣơng 1, từ việc phân tích các nhân tố trong quá trình học của mạng nơron, tác giả nhận thấy rằng, kết quả luyện mạng nơron phụ thuộc rất lớn vào giá trị ban đầu của vec-tơ trọng số và bƣớc học. - 38 Luận án Tiến sĩ Kỹ thuật 2013 Trong chƣơng 2, dựa vào những nhận xét đánh giá của chƣơng 1, tác giả sẽ giới thiệu về thuật toán vƣợt khe và đề xuất việc áp dụng thuật toán vƣợt khe trong quá trình luyện mạng nơron. - 39 Luận án Tiến sĩ Kỹ thuật 2013 CHƢƠNG 2: THUẬT TOÁN VƢỢT KHE TRONG QUÁ TRÌNH LUYỆN MẠNG NƠRON Tóm tắt: Kỹ thuật lan truyền ngược là một phát minh chính trong nghiên cứu về mạng nơron. - Trong chương này sẽ trình bày một thuật toán để tính bước học theo nguyên lý vượt khe, thuật toán vượt khe, nhằm cải tiến tốc độ hội tụ của quá trình tìm kiếm nghiệm tối ưu và vấn đề cài đặt thuật toán này kết hợp với kỹ thuật lan truyền ngược trong bài toán luyện mạng nơron. - Thuật toán vƣợt khe 2.2. - Ứng dụng thuật toán vƣợt khe trong quá trình luyện mạng nơron 2.3. - Thuật toán vƣợt khe 2.1.1. - Ứng dụng thuật toán vƣợt khe trong quá trình luyện mạng nơron Nguyên lý cơ bản của tối ƣu hóa đã đƣợc khám phá trong thế kỷ thứ 17 bởi các nhà toán học nhƣ Kepler, Fermat, Newton, và Leibnizt. - Các nghiên cứu về mạng nơron ngày nay cũng ứng dụng công cụ toán học đó để giải quyết vấn đề trong quá trình huấn luyện mạng nơron. - Vậy, quá trình luyện mạng nơron chính là quá trình tối ƣu hóa tham số của mạng, mà ở đây trong phạm vi nghiên cứu của luận án là kỹ thuật lan truyền ngƣợc. - Hình 2.7 mô tả thuật toán huấn luyện mạng nơron MLP bằng thuật học lan truyền ngƣợc với bƣớc học vƣợt khe. - 57 Luận án Tiến sĩ Kỹ thuật 2013 Hình 2.7: Lưu đồ thuật toán huấn luyện mạng nơron MLP với bước học vượt khe 2.3. - Công tác chuẩn bị Mục tiêu: cài đặt thành công phƣơng pháp luyện mạng nơron bằng thủ tục lan truyền ngƣợc kết hợp với bƣớc học tính theo nguyên lý vƣợt khe để tìm nghiệm tối ƣu toàn cục đối với mặt sai số có dạng lòng khe