- TÓM TẮT NỘI DUNG Mặc dù đã được nghiên cứu từ rất lâu, nhưng đến nay bài toán nội suy và xấp xỉ hàm nhiều biến vẫn còn có rất ít công cụ toán học để giải quyết. - Mạng Nơron nhân tạo là một phương pháp hay để giải quyết bài toán nội suy, xấp xỉ hàm nhiều biến. - Powell đã đưa ra một cách tiếp cận mới để giải quyết bài toán nội suy hàm nhiều biến sử dụng kỹ thuật hàm cơ sở bán kính (Radial Basis Function - RBF), năm 1988 D.S. - Lowe đề xuất kiến trúc mạng Nơron RBF và đã trở một công cụ hữu hiệu để giải quyết bài toán nội suy và xấp xỉ hàm nhiều biến(xem [11. - Khi áp dụng phương pháp này trên bộ dữ liệu cách đều đã cho ta thuật toán lặp một pha HDH mới với thời gian và tính tổng quát tốt hơn rất nhiều. - Nội dung của khóa luận này là ứng dụng thuật toán huấn luyện mạng nơron RBF với mốc cách đều để đưa ra một phương pháp nội suy xấp xỉ hàm nhiều biến với bộ dữ liệu có nhiễu trắng và chứng minh hiệu quả thông qua việc xây dựng phần mềm nội suy hàm số.. - 5CHƯƠNG 1 BÀI TOÁN NỘI SUY, XẤP XỈ HÀM SỐ VÀ MẠNG NƠRON RBF. - 51.1 BÀI TOÁN NỘI SUY VÀ XẤP XỈ HÀM SỐ. - 51.1.1 Bài toán nội suy.. - 51.1.1.1 Nội suy hàm một biến.. - 61.1.1.2 Bài toán nội suy hàm nhiều biến.. - 61.1.3 Các phương pháp giải bài toán nội suy và xấp xỉ hàm số. - 71.2 MẠNG NƠRON NHÂN TẠO. - 71.2.1 Mạng nơron sinh học. - 81.2.2 Mạng Nơron nhân tạo. - 121.3 MẠNG NƠRON RBF. - 121.3.1 Kỹ thuật hàm cơ sở bán kính và mạng nơron RBF. - 141.3.2 Kiến trúc mạng Nơron RBF. - 151.3.3 Đặc điểm huấn luyện của mạng Nơron RBF. - 162.1.1 Phương pháp lặp đơn giải hệ phương trình tuyến tính. - 192.2.1 Biểu diễn các mốc nội suy. - CHƯƠNG 3 : 21ỨNG DỤNG THUẬT TOÁN LẶP MỘT PHA HUẤN LUYỆN MẠNG RBF VÀO VIỆC GIẢI QUYẾT BÀI TOÁN NỘI SUY XẤP XỈ VỚI DỮ LIỆU NHIỄU TRẮNG. - 213.1 NHIỄU TRẮNG VÀ BÀI TOÁN XẤP XỈ NỘI SUY VỚI DỮ LIỆU NHIỄU. - 233.1.3 Bài toán nội suy xấp xỉ hàm với dữ liệu nhiễu trắng. - 243.2 PHƯƠNG PHÁP HỒI QUY TUYẾN TÍNH K HÀNG XÓM GẦN NHẤT. - 243.2.2 Mô tả phương pháp kNN. - Ý TƯỞNG VÀ PHƯƠNG PHÁP GIẢI QUYẾT BÀI TOÁN NỘI SUY XẤP XỈ VỚI DỮ NHIỆU NHIỄU. - 274.1.1 Phương pháp Box-Muller. - 294.3 GIỚI THIỆU PHẦN MỀM XẤP XỈ NỘI SUY VỚI DỮ LIỆU NHIỄU. - 405.4 SO SÁNH HIỆU QUẢ VỚI PHƯƠNG PHÁP KHÁC. - 5Hình 1 : Minh họa bài toán nội suy hàm một biến. - 12Hình 9: Kiến trúc mạng Nơron truyền tới. - 38Hình 22 Bảng so sánh sai số của phương pháp kNN-HDH khi áp dụng cho hàm y1 với các cách chọn k khác nhau. - 38Hình 23 Bảng so sánh sai số của phương pháp kNN-HDH khi áp dụng cho hàm y2 với các cách chọn k khác nhau. - 40Hình 24 : Bảng so sánh sai số của phương pháp kNN-HDH khi dùng và không dùng Heuristic, với số chiều tăng dần. - 41Hình 25: Bảng so sánh kết quả với phương pháp GIC. - Nội suy và xấp xỉ hàm số là một bài toán quen thuộc và rất quan trọng trong các lĩnh vực khoa học đời sống từ xưa đến nay. - Mạng nơron nhân tạo có nhiều loại, trong đó có mạng nơron RBF - sau này được gọi tắt là mạng RBF - được coi là một trong những loại nơron nhân tạo tốt nhất để giải quyết bài toán nội suy hàm nhiều biến. - Kết quả thực nghiệm cho thấy thuật toán lặp HDH gồm có hai pha, khi nội suy hàm nhiều biến cho sai số và tốc độ tính toán rất tốt so với các thuật toán hiện hành khác. - Việc tiến hành xây dựng hệ thống nội suy xấp xỉ dựa trên các dữ liệu sai lệch làm cho hiệu quả bị thấp. - Với bài toán nội suy xấp xỉ trên dữ liệu nhiễu này, Hoàng Xuấn Huấn đã nảy ra ý tưởng ứng dụng thuật toán lặp HDH một pha để giải quyết, cụ thể là trên miền giá trị các mốc nội suy ban đầu, ta xây dựng nên 1 bộ các mốc nội suy mới cách đều nhau (từ giờ xin được gọi là lưới nội suy cho gọn), sau đó dùng phương pháp hồi quy tuyến tính kNN để tính giá trị tại mỗi nút của lưới nội suy mới, cuối cùng dùng thuật toán lặp HDH một pha để huấn luyện mạng nơron RBF trên bộ dữ liệu cách đều mới này, ta sẽ được một mạng nơron RBF vừa khử được nhiễu vừa nội suy xấp xỉ tốt. - Phương pháp này có thể kết hợp ưu điểm khử nhiễu của phương pháp kNN với ưu điểm về tốc độ và tính tổng quát của thuật toán lặp HDH một pha đồng thời loại bỏ tính bất tiện của phương pháp kNN như đã nêu trên và hạn chế của thuật toán HDH một pha rằng dữ liệu đầu vào phải có các mốc nội suy cách đều.. - Dưới sự giúp đỡ, chỉ bảo tận tình của thầy Hoàng Xuân Huấn, tôi đã tiến hành thực hiện khóa luận tốt nghiệp, nội dung là nghiên cứu thực nghiệm để cụ thể hóa và kiểm chứng hiệu quả của phương pháp mới này, lấy tên đề tài là : “Huấn luyện mạng nơron RBF với mốc cách đều và ứng dụng”.. - Khảo cứu mạng nơron RBF.. - Khảo cứu phương pháp hồi quy tuyến tính kNN. - Xây dựng phần mềm mô phỏng hệ thống nội suy hàm nhiều biến với dữ liệu có nhiễu dựa trên việc kết hợp phương pháp kNN và thuật toán lặp HDH một pha. - Chương 1 : Bài toán nội suy xấp xỉ hàm số và mạng nơron RBF. - Chương này sẽ cung cấp cái nhìn tổng thể về những khái niệm xuyên suốt trong khóa luận, bao gồm : bài toán nội suy xấp xỉ hàm nhiều biến, mạng RBF.. - Chương 2 : Thuật toán lặp HDH huấn luyện mạng nơron RBF.. - Chương này sẽ mô tả phương pháp huấn luyện mạng RBF bằng thuật toán HDH hai pha với dữ liệu ngẫu nhiên và đặc biệt là thuật toán HDH một pha với dữ liệu cách đều làm nền tảng cho phương pháp mới.. - Chương 3 : Ứng dụng thuật toán lặp một pha huấn luyện mạng RBF vào việc giải quyết bài toán nội suy xấp xỉ với dữ liệu nhiễu trắng.. - Chương này sẽ khảo cứu về nhiễu trắng và phương pháp hồi quy tuyến tính kNN. - Từ đó trình bày ý tưởng mới để áp dụng thuật toán HDH một pha trên bộ dữ liệu không cách đều và có nhiễu bằng cách thay bộ dữ liệu đầu vào ban đầu bằng bộ dữ liệu mới với các mốc nội suy cách đều và đã kết quả đo đã được khử nhiễu thông qua phương pháp kNN. - Chương này tôi trình bày về phương pháp giải quyết các bài toán nhỏ như sinh nhiễu trắng theo phân phối chuẩn, hồi quy tuyến tính kNN để đưa ra phương hướng lập trình cho chúng. - BÀI TOÁN NỘI SUY, XẤP XỈ HÀM SỐ VÀ MẠNG NƠRON RBF. - Phát biểu bài toán nội suy và xấp xỉ hàm số. - Mạng Nơron nhân tạo. - Mạng Nơron RBF · Bài toán nội suy xấp xỉ với dữ liệu có nhiễu trắng. - 1.1 BÀI TOÁN NỘI SUY VÀ XẤP XỈ HÀM SỐ. - 1.1.1 Bài toán nội suy.. - 1.1.1.1 Nội suy hàm một biến. - Bài toán nội suy hàm một biến tổng quát được đặt ra như sau: Một hàm số y=f(x) ta chưa xác định được mà chỉ biết được các điểm x0 = a < x1 < x2. - được gọi là các mốc nội suy.. - 1.1.1.2 Bài toán nội suy hàm nhiều biến. - Tương tự bài toán nội suy hàm một biến. - 1.1.3 Các phương pháp giải bài toán nội suy và xấp xỉ hàm số Bài toán nội suy hàm một biến đã được nghiên cứu nhiều từ thế kỷ 18. - Ban đầu nó được giải quyết bằng phương pháp sử dụng đa thức nội suy: đa thức Lagrange, đa thức Chebysept. - Để giải quyết hiện tượng phù hợp trội, thay vì tìm đa thức nội suy người ta chỉ tìm đa thức xấp xỉ, thường được giải quyết bằng phương pháp xấp xỉ bình phương tối thiểu của Gauss. - Một phương pháp khác được đề xuất vào đầu thế kỷ 20 đó là phương pháp nội suy Spline. - Phương pháp này hay được áp dụng nhiều trong kỹ thuật. - Tuy nhiên, như đã trình bày ở trên, các ứng dụng mạnh mẽ nhất của nội suy hàm nhiều biến trong thực tế ngày nay đòi hỏi phải giải quyết được bài toán nội suy hàm nhiều biến. - Cùng với sự phát triển mạnh mẽ của ngành Công Nghệ Thông Tin, bài toán nội suy xấp xỉ hàm nhiều biến được quan tâm và có những nghiên cứu đột phá trong khoảng 30 năm trở lại đây, với các cách tiếp cận chủ yếu như. - Mạng nơron MLP. - Mạng nơron RBF. - a) Cấu tạo một Nơron trong mạng Nơron nhân tạo. - Hình 9: Kiến trúc mạng Nơron truyền tới. - Các phương pháp khác xem thêm [4. - Powell để giải quyết bài toán nội suy hàm nhiều biến năm 1987. - Lowe năm 1988 cho bài toán nội suy và xấp xỉ hàm nhiều biến(xem [5. - Dưới đây sẽ trình bày sơ lược kỹ thuật sử dụng hàm cơ sở bán kính để giải quyết bài toán nội suy hàm nhiều biến. - Kỹ thuật hàm cơ sở bán kính Không mất tính tổng quát giả sử m=1 khi đó hàm nội suy. - Một đặc điểm rất lợi thế khi sử dụng hàm bán kính để giải quyết bài toán nội suy hàm nhiều biến, đó là khi xét giá bình phương sai số. - 1.3.2 Kiến trúc mạng Nơron RBF TC "1.3.1.2 Kiến trúc mạng Neural RBF" \f C \l "4". - Mạng RBF là một loại mạng Nơron nhân tạo truyền thẳng gồm có ba lớp. - 1.3.3 Đặc điểm huấn luyện của mạng Nơron RBF TC "1.3.1.3 Ứng dụng của mạng Neural RBF" \f C \l "4". - i=1..n} Phương pháp lặp đơn. - Hình 24 : Bảng so sánh sai số của phương pháp kNN-HDH khi dùng và không dùng Heuristic, với số chiều tăng dần. - 1.4 SO SÁNH HIỆU QUẢ VỚI PHƯƠNG PHÁP KHÁC. - Chương này tôi xin được so sánh hiệu quả của phương pháp kNN-HDH với một phương pháp nội suy xấp xỉ hàm nhiều biến với dữ liệu nhiễu của tác giả Tomohiro Ando đã được công bố trên tạp chí Journal of Statistical Planning and Inference năm 2008. - Ta sẽ so sánh kết quả của phương pháp kNN-HDH với phương pháp tốt nhất của tác già là phương pháp GIC, trong cả 2 trường hợp số mốc nội suy ban đầu là m=100 và m=200.. - Vì thời gian có hạn, cộng với việc thuật toán GIC cài đặt rất phức tạp nên trong khóa luận này tôi chưa cài đặt thuật toán GIC mà chỉ lấy bộ dữ liệu và kết quả của tác giả để so sánh với phương pháp kNN-HDH. - Hình 25: Bảng so sánh kết quả với phương pháp GIC m=100. - Đến đây tôi đã hoàn thành khóa luận tốt nghiệp với đề tài “Huấn luyện mạng nơron RBF với mốc cách đều và ứng dụng” với mục đích mô phỏng phương pháp ứng dụng thuật toán HDH-1 vào việc xây dựng hệ thống nội suy xấp xỉ hàm nhiều biến với dữ liệu nhiễu và nghiên cứu thực nghiệm nhằm tìm ra các đặc điểm, lý giải và đưa ra các cách hoàn thiện phương pháp này.. - Tìm hiểu kiến trúc mạng RBF, đặc điểm mạng RBF, từ đó hiểu được các phương pháp huấn luyện mạng RBF, ở đây là thuật toán HDH-2 và HDH-1. - Khi thực nghiệm nên áp dụng phương pháp heuristic “ăn gian”, nhằm tách riêng 2 bước hồi quy tuyến tính kNN và thuật toán HDH-1. - Như thế sẽ làm nổi bật đặc điểm của phương pháp này. - Cần thêm nhiều mô phỏng các phương pháp khác để so sánh với phương pháp kNN-HDH để chứng minh ưu điểm của nó, đặc biệt là tốc độ huấn luyện và trường hợp nhiều chiều.. - Áp dụng phương pháp kNN-HDH vào ứng dụng cụ thể như : Xử lý ảnh, nhận dạng giọng nói. - Pha 1 Tìm W* bằng phương pháp lặp đơn(hoặc phương pháp lặp Seidel). - HUẤN LUYỆN MẠNG NƠRON RBF VỚI MỐC CÁCH ĐỀU VÀ ỨNG DỤNG