- ĐÀO PHƢƠNG NAM HÀ NỘI – 2017 Luận văn Thạc Sĩ Chuyên ngành: Điều khiển & Tự Động Hóa 1 Ngô Ngọc Hoàng ĐK-TĐH2015B MỤC LỤC LỜI CAM ĐOAN. - Cấu trúc và mô hình mạng nơ-ron. - Những mô hình nơ-ron thƣờng sử dụng. - Cấu tạo mạng nơ-ron. - Phƣơng thức làm việc của mạng nơ-ron. - Mạng nơron truyền thẳng. - Mạng nơron hồi quy. - Ứng dụng mạng nơron trong điều khiển tự động. - Điều khiển thích nghi. - 33 Luận văn Thạc Sĩ Chuyên ngành: Điều khiển & Tự Động Hóa 2 Ngô Ngọc Hoàng ĐK-TĐH2015B 2.3. - Phƣơng pháp điều khiển phản hồi Rise. - Mục tiêu điều khiển. - Thiết kế điều khiển. - Bộ điều khiển phản hồi RISE. - 67 Luận văn Thạc Sĩ Chuyên ngành: Điều khiển & Tự Động Hóa 3 Ngô Ngọc Hoàng ĐK-TĐH2015B DANH MỤC HÌNH VẼ VÀ SƠ ĐỒ Hình 1. - Một mạng nơ-ron cơ bản gồm hai thành phần. - Nơ-ron là khâu MISO. - Mạng nơ-ron ba lớp. - Cấu trúc mạng nơ-ron. - Mạng nơ-ron truyền thẳng một lớp. - Mạng nơ-ron truyền thẳng nhiều lớp. - Sơ đồ cấu trúc mạng nơ-ron hồi quy đơn. - Mạng nơ-ron truyền thẳng ba lớp Hình 3.7.1. - Luận văn Thạc sĩ Chuyên ngành: Điều khiển & Tự Động Hóa 5 Ngô Ngọc Hoàng ĐK-TĐH2015B PHẦN MỞ ĐẦU 1. - Luận văn Thạc sĩ Chuyên ngành: Điều khiển & Tự Động Hóa 7 Ngô Ngọc Hoàng ĐK-TĐH2015B Chương 3. - Thuật Luận văn Thạc sĩ Chuyên ngành: Điều khiển & Tự Động Hóa 9 Ngô Ngọc Hoàng ĐK-TĐH2015B toán học lan truyền ngƣợc (Back Propagation learning rule) đƣợc Rumelhart, Hinton, Williams (1986) đề xuất luyện mạng nơron nhiều lớp. - Cấu trúc và mô hình mạng nơ-ron Theo mục 7.1.1 – Tr.208 tài liệu tham khảo [1] Mạng nơron là sự tái tạo bằng kỹ thuật những chức năng của hệ thần kinh con ngƣời. - Luận văn Thạc sĩ Chuyên ngành: Điều khiển & Tự Động Hóa 10 Ngô Ngọc Hoàng ĐK-TĐH2015B Hình 1. - Một mạng nơ-ron cơ bản gồm hai thành phần Một nơ-ron chứa đựng các thành phần cơ bản: -Thân nơ-ron đƣợc giới hạn trong một màng membran và trong cùng là nhân. - Từ thân nơ-ron còn có rất nhiều đƣờng rẽ nhánh tạm gọi là rễ. - -“Bus” liên kết nơ-ron này với các nơ-ron khác đƣợc gọi là axon, trên axon có các đƣờng rẽ nhánh. - Nơ-ron còn có thể liên kết với các nơ-ron khác qua các rễ. - Chính vì cách liên kết đa dạng nhƣ vậy nên mạng nơ-ron có độ liên kết rất cao. - Các rễ của nơ-ron đƣợc chia thành hai loại: loại nhận thông tin từ nơ-ron khác qua axon, mà ta sẽ gọi là rễ đầu vào và loại đƣa thông tin qua axon tới các nơ-ron khác, gọi là rễ đầu ra. - Một nơ-ron có thể có nhiều rễ đầu vào, nhƣng chỉ có một rễ đầu ra. - Bởi vậy nếu xem nơ-ron nhƣ một khâu điều khiển thì nó chính là khâu có nhiều đầu vào, một đầu ra (khâu MISO) Hình 1. - Nơ-ron là khâu MISO Một tính chất rất cơ bản của mạng nơ-ron sinh học là các đáp ứng theo kích thích có khả năng thay đổi theo thời gian. - Qua các nhánh axon liên kết tế bào nơ-ron này với các nơ-ron khác, sự thay đổi trạng thái của một nơ-ron cũng sẽ kéo theo sự thay đổi trạng thái của những nơ-ron khác và do đó là sự thay đổi của toàn bộ mạng nơ-ron. - Việc thay Luận văn Thạc sĩ Chuyên ngành: Điều khiển & Tự Động Hóa 11 Ngô Ngọc Hoàng ĐK-TĐH2015B đổi trạng thái của mạng nơ-ron có thể thực hiện qua một quá trình “dạy” hoặc do khả năng “học” tự nhiên. - Sự thay thế những tính chất này bằng một mô hình toán học tƣơng đƣơng đƣợc gọi là mạng nơ-ron nhân tạo. - Mạng nơ-ron nhân tạo có thể đƣợc chế tạo bằng nhiều cách khác nhau vì vậy trong thực tế tồn tại rất nhiều kiểu mạng nơ-ron nhân tạo. - wTx (2.37) Khâu tiền đáp ứng c: Những khả năng hoạt động của nơ-ron hoàn toàn phụ thuộc vào khâu tạo chức năng đáp ứng c. - Đây cũng là cách thiết kế nơ-ron nhân tạo một cách đơn giản nhất. - Để tăng độ chính xác ngƣời ta tìm cách xây dựng mô hình động cho nơ-ron. - Hoàn toàn tƣơng tự, khi kích thích mất đi thì nơ-ron cũng không thể trở về ngay trạng thái cân bằng cũ mà sự trở về diễn ra cũng dần dần nhƣ một quá trình liên tục theo thời gian. - (2.39) Luận văn Thạc sĩ Chuyên ngành: Điều khiển & Tự Động Hóa 12 Ngô Ngọc Hoàng ĐK-TĐH2015B trong đó 0clà thế năng của mạng membran ở trạng thái không bị kích thích. - Giá trị ra ycủa một nơ-ron biểu diễn trạng thái kích thích đến các nơ-ron tiếp theo trong mạng. - Quan hệ này đƣợc mô tả qua khâu tạo đáp ứng của mô hình nơ-ron. - Những mô hình nơ-ron thƣờng sử dụng Theo mục 7.1.2 – Tr.214 tài liệu tham khảo [1. - Mỗi một kết nối từ vector tín hiệu vào x tới tín hiệu ra y, qua đặc tính của khâu cộng Σ với hàm mô tả (2.37), khâu tiền đáp ứng c, và khâu tạo đáp ứng sẽ cho ra một mô hình nơ-ron. - Nhƣ vậy tổng cộng sẽ có tất cả là 15 mô hình nơ-ron. - Giá trị đầu raycủa nơ-ron là. - Tuy nhiên, phổ biến nhất trong số 15 mô hình nơ-ron là sáu loại sau: STT Tên gọi STT Tên gọi 1 McCulloch-Pitts 1 Adeline 2 Fermi 2 Boltzmann 3 BSB 3 Hopfield 1.5. - Cấu tạo mạng nơ-ron Theo mục 7.1.3 – Tr.208 tài liệu tham khảo [1]: Dựa trên những phƣơng pháp xây dựng nơ-ron ở phần trên, ta có thể coi nơ-ron nhƣ một hệ MISO truyền đạt và xử lý tín hiệu. - Đặc tính truyền đạt của nơ-ron Luận văn Thạc sĩ Chuyên ngành: Điều khiển & Tự Động Hóa 13 Ngô Ngọc Hoàng ĐK-TĐH2015B phần lớn là đặc tính truyền đạt tĩnh, chỉ khi chọn khâu chức năng đáp ứng kiểu BSB thì lúc đó nơ-ron có đặc tính động. - Trong mọi trƣờng hợp do đặc tính phi tuyến của khâu tạo chức năng ra kết hợp và/hoặc với đặc tuyến phi tuyến của khâu tạo chức năng đáp ứng mà nơ-ron là một hệ có tính phi tuyến mạnh. - Liên kết các đầu vào và ra của nhiều nơ-ron với nhau ta đƣợc một mạng nơ-ron. - Việc ghép nối các nơ-ron trong mạng với nhau có thể theo một nguyên tắc bất kỳ nào đó, vì về nguyên tắc một nơ-ron là một hệ MISO. - Từ đó có thể phân biệt các loại nơ-ron khác nhau nhƣ các loại nơ-ron mà các đầu vào nhận thông tin từ môi trƣờng bên ngoài với các loại nơ-ron mà các đầu vào đƣợc nối với các nơ-ron khác trong mạng. - Các nơ-ron mà đầu vào giữ chức năng nhận thông tin từ môi trƣờng bên ngoài đóng chức năng “đầu vào” của mạng. - Cũng tƣơng tự nhƣ vậy, một nơ-ron có một đầu ra, đầu ra của nơ-ron này có thể là đầu vào của nhiều nơ-ron khác hoặc có thể đƣa ra môi môi trƣờng bên ngoài. - Những nơ-ron có đầu ra đƣa tín hiệu vào môi trƣờng bên ngoài đƣợc gọi là “đầu ra” của mạng. - Nhƣ vậy một mạng nơ-ron cũng có chức năng của một hệ truyền đạt và xử lý tín hiệu từ đầu vào đến đầu ra của mạng. - Các nơ-ron trong một mạng thƣờng đƣợc chọn cùng một loại, chúng đƣợc phân biệt với nhau qua vector hàm trọng lƣợng ở đầu vào w. - Mạng nơ-ron ba lớp Nguyên lý cấu tạo của một mạng nơ-ron bao gồm nhiều lớp, mỗi lớp bao gồm nhiều nơ-ron có cùng một chức năng trong mạng. - Trong hình 2.2.3 là mô hình của một mạng nơ-ron ba lớp với 9 nơ-ron. - Các tín hiệu đầu vào đƣợc đƣa đến ba nơ-ron đầu vào, ba nơ-ron này làm Luận văn Thạc sĩ Chuyên ngành: Điều khiển & Tự Động Hóa 14 Ngô Ngọc Hoàng ĐK-TĐH2015B thành lớp đầu vào của mạng (input layer). - Các nơ-ron trong lớp này đƣợc gọi là nơ-ron đầu vào. - Đầu ra của các nơ-ron này đƣợc đƣa đến đầu vào của bốn nơ-ron tiếp theo, bốn nơ-ron này không trực tiếp tiếp xúc với môi trƣờng xung quanh và làm thành lớp trung gian trong mạng (hidden layer). - Các nơ-ron trong lớp này có tên là nơ-ron nội hay nơ-ron bị che. - Đầu ra của các nơ-ron này đƣợc đƣa đến hai nơ-ron đƣa tín hiệu ra môi trƣờng bên ngoài. - Các nơ-ron trong lớp đầu ra này có tên là nơ-ron đầu ra (output layer). - Cấu trúc mạng nơ-ron a) Mạng truyền thẳng một lớp b) Mạng hồi tiếp một lớp c) Mạng MLP truyền thẳng d) Mạng MLP hồi tiếp Mạng nơ-ron đƣợc xây dựng nhƣ trên là mạng gồm ba lớp mắc nối tiếp nhau đi từ đầu vào đến đầu ra. - Một mạng nơ-ron có cấu tạo nhƣ vậy đƣợc gọi là mạng truyền thẳng (feedforward network). - Mạng nơ-ron có đƣờng phản hồi từ đầu ra của một nơ-ron tới đầu vào của nơ-ron cùng lớp hoặc thuộc lớp phía trƣớc có tên gọi là mạng hồi tiếp (feedback network). - Mạng nơ-ron bao gồm một hay nhiều lớp trung gian đƣợc gọi là mạng MLP (multilayer perceptrons Network). - Mạng nơ-ron có cấu trúc mạng ghép nối hoàn toàn, tức là bất cứ một nơ-ron nào trong mạng cũng đƣợc nối với một hoặc vài nơ-ron khác. - Trong trƣờng hợp các nơ-ron trong mạng có khâu tạo chức năng đáp ứng là khâu tuyến tính, tính phi tuyến chỉ nằm ở khâu tạo chức năng ra thì việc mắc nối tiếp các nơ-ron trong mạng không còn ý nghĩa nữa và lúc đó ta hoàn toàn có thể thay thế mạng nơ-ron nhiều lớp thành mạng nơ-ron một lớp. - Phƣơng thức làm việc của mạng nơ-ron Theo mục 7.1.4 – Tr.217 tài liệu tham khảo [1]: Phƣơng thức làm việc của một mạng nơ-ron nhân tạo có thể phân chia làm hai giai đoạn: -Tự tái tạo lại (reproduction) -Và giai đoạn học (learning phase). - Ở một mạng nơ-ron có cấu trúc bền vững có nghĩa là vector hàm trọng lƣợng đầu vào, khâu tạo đáp ứng và khâu tạo tín hiệu đầu ra đều cố định không bị thay đổi về mặt cấu trúc cũng nhƣ tham số thì mạng có một quá trình truyền đạt xác định chắc chắn, tĩnh hoặc động phụ thuộc vào cấu tạo của các nơ-ron trong mạng. - Đối với mạng nơ-ron có quá trình truyền đạt tĩnh, đáp ứng đầu ra xuất hiện ngay sau khi đầu vào nhận đƣợc thông tin, còn đối với mạng nơ-ron có quá trình truyền đạt động thì phải sau một thời gian quá độ ở đầu ra của mạng nơ-ron mới xuất hiện đáp ứng. - Xuất phát từ quan điểm mọi đáp ứng của nơ-ron đều tiền định tự nhiên, có nghĩa là khi xuất hiện các kích thích ở đầu vào của mạng ở các thời điểm Luận văn Thạc sĩ Chuyên ngành: Điều khiển & Tự Động Hóa 16 Ngô Ngọc Hoàng ĐK-TĐH2015B khác nhau các giá trị nhƣ nhau thì đáp ứng ở đầu ra ở các thời điểm tƣơng ứng cũng hoàn toàn giống nhau. - Quá trình làm việc nhƣ vậy của một mạng nơ-ron đƣợc gọi là quá trình tái diễn lại (reproduction phase). - Mạng nơ-ron khi mới hình thành còn chƣa có tri thức, tri thức của mạng hình thành dần sau một quá trình học. - Mạng nơ-ron đƣợc dạy bằng cách đƣa vào đầu vào những kích thích và mạng hình thành những đáp ứng tƣơng ứng, những đáp ứng phù hợp với từng loại kích thích sẽ đƣợc lƣu giữ, giai đoạn này đƣợc gọi là giai đoạn học của mạng. - Mạng nơ-ron kiểu này đƣợc ứng dụng trong lĩnh vực hoàn thiện mẫu, mà một trong những lĩnh vực cụ thể đó là nhận dạng chữ viết. - 2) Nhiệm vụ tổng quát của một mạng nơ-ron là lƣu giữ động các thông tin. - Đó chính là chức năng nhận dạng theo mẫu của mạng nơ-ron. - Để thực hiện chức năng này, mạng nơ-ron đóng vai trò nhƣ một bộ phận tổ chức các nhóm thông tin đầu vào và tƣơng ứng với mỗi nhóm là một đáp ứng đầu ra phù hợp. - Trong lĩnh vực ứng dụng, mạng nơ-ron có khả năng tạo ra các đáp ứng đầu ra dựa trên thông tin thu thập vào mạng, điều đó có nghĩa là ứng với một thông tin xác định ở đầu vào mạng cung cấp một đáp ứng tƣơng ứng xác định ở đầu ra. - Nhìn trên quan điểm lý thuyết hệ thống, mạng nơ-ron đƣợc coi nhƣ một bộ xấp xỉ thông Luận văn Thạc sĩ Chuyên ngành: Điều khiển & Tự Động Hóa 17 Ngô Ngọc Hoàng ĐK-TĐH2015B tin, thiết bị này có khả năng cung cấp một quá trình xử lý mong muốn một cách chính xác. - Nguyên tắc học đƣợc thực hiện cho một mạng mà cấu trúc của mạng cũng nhƣ các phần tử nơ-ron cố định, chính là thay đổi giá trị của các phần tử trong vector hàm trọng lƣợng, vector ghép nối giữa các phần tử nơ-ron trong mạng. - Các luật học Nhƣ phần trên đã trình bày, học là vấn đề quan trọng trong mạng nơ-ron. - Luận văn Thạc sĩ Chuyên ngành: Điều khiển & Tự Động Hóa 21 Ngô Ngọc Hoàng ĐK-TĐH2015B 1.8. - Mạng nơron truyền thẳng 1.8.1.1. - Mạng nơ-ron truyền thẳng một lớp Một lớp nơron là một nhóm các nơron mà chúng cùng nhận một số tín hiệu vào đồng thời (hình 1.9). - Luận văn Thạc sĩ Chuyên ngành: Điều khiển & Tự Động Hóa 22 Ngô Ngọc Hoàng ĐK-TĐH2015B 1.8.1.2. - Mạng nơ-ron truyền thẳng nhiều lớp Trong mạng nơron truyền thẳng nhiều lớp (Hình 1.10) trong đó các lớp đƣợc phân chia thành 3 loại sau đây: -Lớp vào: Là lớp nơron đầu tiên nhận các tín hiệu vào xi của véc tơ tín hiệu vào X. - Nghiên cứu mạng nơron hồi quy có trọng số liên kết không đối xứng sẽ gặp nhiều phức tạp Luận văn Thạc sĩ Chuyên ngành: Điều khiển & Tự Động Hóa 23 Ngô Ngọc Hoàng ĐK-TĐH2015B hơn so với mạng truyền thẳng (Feedforward Networks) và mạng hồi quy đối xứng (Symmetrich Recurrent Neural Networks). - Luận văn Thạc sĩ Chuyên ngành: Điều khiển & Tự Động Hóa 24 Ngô Ngọc Hoàng ĐK-TĐH2015B Hình 1
Xem thử không khả dụng, vui lòng xem tại trang nguồn hoặc xem
Tóm tắt