- Giới thiệu về mạng nơron nhân tạo. - 81.1 Cấu trúc và mô hình mạng nơron. - 121.2 Cấu tạo và phương thức làm việc của mạng nơron. - 141.2.1 Mạng nơron một lớp. - 151.2.2 Mạng nơron truyền thẳng nhiều lớp. - 161.2.3 Mạng nơron phản hồi. - 161.2.4 Mạng nơron hồi quy. - Tìm hiểu mạng nơron Kohonen. - 322.2 Mạng nơron Kohonen. - 342.2.1 Mạng nơron Kohonen nhận dạng. - 342.2.2 Cấu trúc của mạng nơron Kohonen. - 352.2.3 Chuẩn hóa dữ liệu đầu vào. - Thực thi mạng nơron Kohonen. - 412.3.1 Thực thi mạng nơron truyền thẳng. - Nhận dạng ký tự quang sử dụng mạng nơron Kohonen. - 623.3 Thử nghiệm sử dụng mạng nơron Kohonen để nhận dạng ký tự quang. - 13Hình 1.5 Mạng nơron ba lớp. - 15Hình 1.6 Một số dạng mạng nơron. - 20Hình 1.9: Cấu trúc huấn luyện mạng nơron. - 36Hình 2.1: Một dạng mạng nơron Kohonen. - 40Hình 2.2: Sơ đồ khối biểu diễn huấn luyện mạng nơron Kohonen.. - 64Hình3.6: Biểu diễn ký tự e ở vector đầu vào. - 65Hình 3.8 Kết quả mạng nơron Kohonen nhận dạng ký tự e và ký tự c. - 66Hình 3.10 Kết quả mạng nơron Kohonen nhận dạng chữ ký. - Mạng nơron cần huấn luyện BAM. - Mạng nơron tự tổ chức (Self Organizing Maps) PE. - Để tiếp cận khả năng học, người ta đưa ra mô hình mạng nơron gồm các nơron liên kết với nhau thành mạng phỏng theo cấu trúc mạng thần kinh của con người. - Một mạng nơron nhân tạo là tập hợp một số lớn các phần tử xử lý (các nút hay các khối), thường được tổ chức song song và được cấu hình theo kiến trúc đệ quy. - Cách ứng sử trên mạng nơron nhân tạo giống như bộ não con người, nó chứng tỏ khả năng học, nhớ lại, và tổng quát hóa từ dữ liệu huấn luyện. - Mạng nơron nhân tạo là công cụ tốt trong việc giải quyết các bài toán như: hợp và phân lớp đối tượng, xấp xỉ hàm, tối ưu hóa, định lượng vector, phân cụm dữ liệu,...Nó thay thế hiệu quả các công cụ tính toán truyền thống để giải quyết các bài toán này.. - Phương pháp ứng dụng mạng nơron trong nhận dạng là một cách tiếp cận mới và hiện đại. - Nội dung của đề tài đi vào tìm hiểu và xây dựng các phần tử nơron cơ bản, xem xét và nghiên cứu cấu trúc một mạng nơron, giới thiệu về mạng nơron nhiều lớp với thuật toán lan truyền ngược. - Trọng tâm của đề tài đi vào tìm hiểu về mạng nơron Kohonen (hay mạng nơron tự tổ chức – SOM). - Chương 1, trình bày cấu trúc một phần tử nơron cơ bản, các cấu trúc mạng nơron nhân tạo thường gặp, thuật toán học, phân tích ưu nhược điểm của chúng, và giới thiệu về thuật toán lan truyền ngược.. - Chương 2, tìm hiểu mạng nơron Kohonen. - Chương 3, nhận dạng ký tự quang sử dụng mạng nơron Kohonen. - 1.1 Cấu trúc và mô hình mạng nơron 1.1.1 Mô hình một nơron sinh học Phần tử xử lý cơ bản của một mạng nơron sinh học là một nơron, phần tử này có thể chia làm bốn thành phần cơ bản như sau: dendrites, soma, axon, và synapses. - Dendrites: là phần nhận tín hiệu đầu vào. - 1.1.2 Cấu trúc và mô hình của một nơron nhân tạo Mô hình toán học của mạng nơron sinh học được đề xuất bởi McCulloch và Pitts, thường được gọi là nơron M-P, ngoài ra nó còn được gọi là phần tử xử lý và được ký hiệu là PE (Processing Element). - Mô hình nơron có m đầu vào x1, x2. - Bộ tổng (Hàm tổng): Thường dùng để tính tổng của tích các đầu vào với trọng số liên kết của nó. - là một ngưỡng, yi là tín hiệu đầu ra của nơron. - 1.2 Cấu tạo và phương thức làm việc của mạng nơron Dựa trên những phương pháp xây dựng nơron đã trình bày ở mục trên, ta có thể hình dung mạng nơron như là một hệ truyền đạt và xử lý tín hiệu. - Vì mạng nơron là một hệ truyền đạt và xử lý tín hiệu, nên có thể phân biệt các loại nơron khác nhau, các nơron có đầu vào nhận thông tin từ môi trường bên ngoài khác với các nơron có đầu vào được nối với các nơron khác trong mạng, chúng được phân biệt với nhau qua vector hàm trọng số ở đầu vào w.. - Nguyên lý cấu tạo của mạng nơron bao gồm nhiều lớp, mỗi lớp bao gồm nhiều nơron có cùng chức năng trong mạng. - Hình 1.5 là mô hình hoạt động của một mạng nơron 3 lớp với 8 phần tử nơron. - Mạng có ba đầu vào là x1, x2, x3 và hai đầu ra y1, y2. - Các tín hiệu đầu vào được đưa đến 3 nơron đầu vào, 3 nơron này làm thành lớp đầu vào của mạng. - Các nơron trong lớp này được gọi là nơron đầu vào. - Đầu ra của các nơron này được đưa đến 2 nơron đưa tín hiệu ra môi trường bên ngoài. - Hình 1.5 Mạng nơron ba lớp. - Mạng nơron được xây dựng như trên là mạng gồm 3 lớp mắc nối tiếp nhau đi từ đầu vào đến đầu ra. - Một mạng nơron có cấu trúc như vậy gọi là mạng một hướng hay mạng truyền thẳng một hướng (Feed forward network), và có cấu trúc mạng ghép nối hoàn toàn (vì bất cứ một nơron nào trong mạng cũng được nối với một hoặc vài nơron khác). - Mạng nơron bao gồm một hay nhiều lớp trung gian được gọi là mạng Multilayer Perceptrons) (MLP-Network). - Mạng nơron khi mới được hình thành thì chưa có tri thức, tri thức của mạng sẽ được hình thành dần dần sau một quá trình học. - Mạng nơron được học bằng cách đưa vào những kích thích, và mạng hình thành những đáp ứng tương ứng, những đáp ứng tương ứng phù hợp với từng loại kích thích sẽ được lưu trữ. - Mạng nơron kiểu này được ứng dụng trong lĩnh vực hoàn thiện mẫu, trong đó có một ứng dụng cụ thể là nhận dạng chữ viết. - Nhiệm vụ tổng quát của một mạng nơron là lưu giữ động các thông tin. - Đây chính là chức năng nhận dạng theo mẫu của mạng nơron. - Để thực hiện chức năng này, mạng nơron đóng vai trò như một bộ phận tổ chức các nhóm thông tin đầu vào, và tương ứng với mỗi nhóm là một đáp ứng đầu ra phù hợp. - Như vậy, một nhóm bao gồm một loại thông tin đầu vào và một đáp ứng đầu ra. - Hình 1.6 là một số liên kết đặc thù của mạng nơron. - 1.2.1 Mạng nơron một lớp Mỗi một nơron có thể phối hợp với các nơron khác tạo thành một lớp các trọng số. - Một lớp nơron là một nhóm các nơron mà chúng đều có cùng trọng số, nhận cùng một tín hiệu đầu vào đồng thời. - Các trọng số trong cùng một cột thứ j (j=1,2,...,n) đồng thời cùng nhận một tín hiệu đầu vào xj. - (c) Mạng truyền thẳng nhiều lớp (d) Mạng nơron hồi quy Hình 1.6 Một số dạng mạng nơron. - 1.2.2 Mạng nơron truyền thẳng nhiều lớp Mạng nơron nhiều lớp (Hình 1.6.c) có các lớp được phân chia thành 3 loại sau đây. - Mỗi tín hiệu xi được đưa đến tất cả các nơron của lớp đầu vào. - 1.2.3 Mạng nơron phản hồi. - Mạng nơron phản hồi là mạng mà đầu ra của mỗi nơron được quay trở lại nối với đầu vào của các nơron cùng lớp được gọi là mạng Laeral như hình 1.6b 1.2.4 Mạng nơron hồi quy Mạng nơron phản hồi có thể thực hiện đóng vòng được gọi là mạng nơron hồi quy như hình 1.6d. - Mạng nơron hồi quy có trọng số liên kết đối xứng như mạng Hopfield, mạng luôn hội tụ về trạng thái ổn định (Hình 1.6.b). - Mạng BAM thuộc nhóm mạng nơron hồi quy, gồm 2 lớp liên kết 2 chiều, không được gắn với tín hiệu vào/ra. - Nghiên cứu mạng nơron hồi quy mà có trọng số liên kết không đối xứng, thì sẽ gặp phải vấn đề phức tạp nhiều hơn so với mạng truyền thẳng và mạng hồi quy có trọng số liên kết đối xứng.. - Nút đầu ra thứ j được nối tới mỗi đầu vào của nút khác qua trọng số wij, với i. - Hình 1.8 Cấu trúc của BAM Khi mạng nơron được tích cực với giá trị đầu vào của vector tại đầu vào của một lớp, mạng sẽ có hai mẫu trạng thái ổn định, với mỗi mẫu tại đầu ra của nó là một lớp. - Đầu vào được xử lý và truyền tới đầu ra của lớp y như sau:. - 1.3 Các luật học Thông thường, mạng nơron được điều chỉnh hoặc được huấn luyện để hướng các đầu vào riêng biệt đến đích ở đầu ra. - Hình 1.9: Cấu trúc huấn luyện mạng nơron. - Học cấu trúc: trọng tâm là sự biến đổi cấu trúc của các mạng nơron gồm số lượng nút và các loại liên kết. - Giả sử ma trận trọng số bao gồm tất cả các phần tử thích ứng của mạng nơron. - Để làm được điều này thì mạng nơron phải sử dụng các trọng số điều chỉnh, với nhiều phương pháp học khác nhau để có thể tính toán gần đúng ma trận W cần tìm đặc trưng cho mạng. - Ở hình (1.10), khi mỗi đầu vào x(k) được đặt vào mạng, đầu ra mong muốn tương ứng d(k) cũng được cung cấp tới mạng. - Trọng số của nơron thứ i được thay đổi tùy theo tín hiệu ở đầu vào mà nó thu nhận giá trị đầu ra của nó.. - Dạng tổng quát của luật học trọng số của mạng nơron cho biết số gia của vector wi là. - tỉ lệ với tín hiệu học r và tín hiệu đầu vào x(t). - (1.17) Phương trình liên quan đến sự biến đổi trọng số trong mạng nơron rời rạc, và tương ứng với sự thay đổi trọng số trong mạng nơron liên tục theo biểu thức sau:. - Như vậy, đối với tín hiệu học r thì nó làm thế nào để thay đổi hoặc cập nhật trọng số trong mạng nơron. - Mạng nơron nhân tạo có các tính chất sau. - k = 1,2,...,p Thuật toán cung cấp một thủ tục cho việc thay đổi các vector trọng số trong mạng, đầu ra của mạng được lan truyền ngược trở lại lớp đầu vào cho đúng các mẫu. - Sau đó, sai số giữa y(k) và d(k) được lan truyền ngược trở lại từ lớp đầu ra tới lớp đầu vào để cập nhật trọng số. - Kết quả có thể mở rộng sang mạng nơron nhiều lớp.. - Phương trình đầu ra của q sẽ là:. - Đầu vào phần tử thứ i của lớp đầu ra sẽ là:. - (1.22) Các chỉ số trên được tính toán cho sự lan truyền tiến của các tín hiệu đầu vào xuyên suốt qua các lớp mạng nơron. - Sai số tín hiệu được định nghĩa bởi:. - (1.26) Trong đó, neti là đầu vào của phần tử nơron thứ i trong lớp đầu ra và. - (1.30) Trong đó, netq là đầu vào phần tử thứ q của lớp ẩn. - với qneti và qyi lần lượt là đầu vào và đầu ra của khối trong lớp thứ q. - Đầu vào: các cặp huấn luyện {x(k), d(k. - k=1,2,...,p}, ở đó giá trị đầu vào của phần tử cuối cùng bằng -1, tức là