Kỹ thuật mạng nơron và giải thuật di truyền trong khai phá dữ liệu và thử nghiệm ứng dụng

- khai phá dữ liệu và phát hiện tri thức trong csdl .
- tổng quan về khai phá dữ liệu và phát hiện tri thức trong CSDL .
- Khai phá dữ liệu và phát hiện tri thức trong cơ sở dữ liệu .
- Quá trình pháT HIệN TRI THứC trong CƠ Sở Dữ LIệU .
- Thu thập và tiền xử lý dữ liệu .
- Khai phá dữ liệu .
- các kỹ thuật Khai phá dữ liệu .
- Kiến trúc của hệ thống khai phá dữ liệu .
- Nhiệm vụ chính của khai phá dữ liệu .
- Một số ph−ơng pháp khai phá dữ liệu phổ biến .
- Những −u thế và khó khăn thách thức trong nghiên cứu và ứng dụng kỹ thuật khai phá dữ liệu Kết luận ch−ơng Ch−ơng 2.
- kỹ thuật khai phá dữ liệu sử dụng mạng nơron và giải thuật di truyền .
- Mạng nơron trong khai phá dữ liệu .
- Đánh giá về mạng nơron Kỹ thuật mạng nơron và giải thuật di truyền trong khai phá dữ liệu và thử nghiệm ứng dụng D−ơng Thị Hiền Thanh – CNTT 2006 22.2.
- Giải thuật di truyền trong khaI PHá Dữ LIệU .
- ứng dụng trong bài toán dự báo dữ liệu .
- mô hình hoá bài toán, thiết kế dữ liệu và giải thuật .
- Thiết kế dữ liệu .
- ch−ơng trình dự báo dữ liệu Kết luận ch−ơng Kết luận.
- 69 Bảng 4.1: Số liệu thử nghiệm của bài toán dự báo Kỹ thuật mạng nơron và giải thuật di truyền trong khai phá dữ liệu và thử nghiệm ứng dụng D−ơng Thị Hiền Thanh – CNTT 2006 5Danh mục các hình vẽ và đồ thị Hình 1.1: Quá trình phát hiện tri thức trong CSDL.
- 10 Hình 1.2: Kiến trúc của hệ thống khai phá dữ liệu.
- 14 Hình 1.3: Quá trình khai phá dữ liệu.
- 93 Hình 4.6: Dữ liệu tệp huấn luyện.
- 98 Kỹ thuật mạng nơron và giải thuật di truyền trong khai phá dữ liệu và thử nghiệm ứng dụng D−ơng Thị Hiền Thanh – CNTT 2006 6Lời nói đầu Trong những năm gần đây, vai trò của máy tính trong việc l−u trữ và xử lý thông tin ngày càng trở nên quan trọng.
- Trong số đó, khai phá dữ liệu và phát hiện tri thức đã trở thành một lĩnh vực nghiên cứu rất sôi động.
- Luận văn đ−ợc trình bầy gồm 4 ch−ơng với nội dung chính nh− sau : Ch−ơng 1: Trình bầy một cách tổng quan về khai phá dữ liệu và phát hiện tri thức trong CSDL.
- Kỹ thuật mạng nơron và giải thuật di truyền trong khai phá dữ liệu và thử nghiệm ứng dụng D−ơng Thị Hiền Thanh – CNTT 2006 8Ch−ơng 1: khai phá dữ liệu và phát hiện tri thức trong CSDL 1.1.
- tổng quan về khai phá dữ liệu và phát hiện tri thức trong Cơ Sở Dữ Liệu 1.1.1.
- Việc tích luỹ dữ liệu diễn ra với một tốc độ bùng nổ.
- Các kỹ thuật xử lý cơ bản chính là kỹ thuật khai phá dữ liệu (Data Mining_DM).
- Kỹ thuật mạng nơron và giải thuật di truyền trong khai phá dữ liệu và thử nghiệm ứng dụng D−ơng Thị Hiền Thanh – CNTT 2006 9Cho đến nay, KDD đã đ−ợc ứng dụng rộng rãi trong các lĩnh vực khác nh− viễn thông, giáo dục, điều trị y học.
- Phát hiện tri thức trong cơ sở dữ liệu đ−ợc định nghĩa nh− là quá trình chắt lọc tri thức từ một l−ợng lớn dữ liệu.
- Khai phá dữ liệu sử dụng các giải thuật đặc biệt để chiết xuất ra các mẫu, các mô hình từ dữ liệu và chỉ là một giai đoạn trong quá trình phát hiện tri thức trong CSDL.
- Phát hiện tri thức trong CSDL và khai phá dữ liệu là một kỹ thuật mới xuất hiện và có tốc độ phát triển rất nhanh.
- Kỹ thuật mạng nơron và giải thuật di truyền trong khai phá dữ liệu và thử nghiệm ứng dụng D−ơng Thị Hiền Thanh – CNTT 2006 101.2.
- Quá trình pháT HIệN TRI THứC trong CƠ Sở Dữ LIệU Hình 1.1 mô tả 5 giai đoạn trong quá trình phát hiện tri thức từ cơ sở dữ liệu.
- Khai phá dữ liệu –Trích ra các mẫu/ các mô hình 4.
- Đ−a kết quả vào thực tế Hình 1.1: Quá trình phát hiện tri thức trong CSDL Kỹ thuật mạng nơron và giải thuật di truyền trong khai phá dữ liệu và thử nghiệm ứng dụng D−ơng Thị Hiền Thanh – CNTT 2006 11nhiều lỗi và có các giá trị đặc biệt.
- Do đó, cần có biện pháp xử lý để thống nhất các dữ liệu thu đ−ợc phục vụ cho khai phá.
- Việc làm giàu dữ liệu chính là tìm cách bổ sung các thông tin có ý nghĩa và quan trọng cho quá trình khai phá dữ liệu sau này.
- Kỹ thuật mạng nơron và giải thuật di truyền trong khai phá dữ liệu và thử nghiệm ứng dụng D−ơng Thị Hiền Thanh – CNTT .
- Khai phá dữ liệu Giai đoạn khai phá dữ liệu đ−ợc bắt đầu sau khi dữ liệu đã đ−ợc thu thập và xử lý.
- Tuỳ theo từng bài toán xác định đ−ợc mà ta lựa chọn các ph−ơng pháp khai phá dữ liệu cho phù hợp.
- Nh− vậy, quá trình phát hiện tri thức từ cơ sở dữ liệu th−ờng đ−ợc thực hiện theo năm b−ớc nêu trên.
- Việc lựa chọn các ph−ơng pháp thực hiện cụ thể cho quá trình tiền xử lý và khai phá dữ liệu phụ thuộc rất nhiều vào đặc điểm dữ liệu và yêu cầu của bài toán.
- Sau đây, ta sẽ xem xét cụ thể hơn quá trình khai phá dữ liệu.
- Kiến trúc của hệ thống khai phá dữ liệu có thể có các thành phần chính sau: Kỹ thuật mạng nơron và giải thuật di truyền trong khai phá dữ liệu và thử nghiệm ứng dụng D−ơng Thị Hiền Thanh – CNTT 2006 14 - CSDL, kho dữ liệu hay các kho l−u trữ khác: là một hoặc một tập các CSDL, kho dữ liệu.
- Các kỹ thuật làm sạch dữ liệu, tích hợp, lọc dữ liệu có thể thực hiện trên dữ liệu.
- Quá trình khai phá dữ liệu và giải thuật khai phá dữ liệu 1.3.2.1.
- Quá trình khai phá dữ liệu Các giải thuật khai phá dữ liệu th−ờng đ−ợc mô tả nh− những ch−ơng trình hoạt động trực tiếp trên tệp dữ liệu.
- Quá trình khai phá dữ liệu đ−ợc thể hiện bởi mô hình sau.
- Thu thập và tiền xử lỹ dữ liệu: Thu thập các dữ liệu có liên quan và xử lý chúng đ−a về dạng sao cho giải thuật khai phá dữ liệu có thể hiểu đ−ợc.
- Thống kê và tóm tắt dữ liệu, đồng thời kết hợp với các dữ liệu trực tiếp để làm đầu vào cho b−ớc thực hiện giải thuật khai phá dữ liệu.
- Chọn thuật toán khai phá dữ liệu thích hợp và thực hiện việc khai phá dữ liệu để tìm đ−ợc các mẫu có ý nghĩa.
- Các thành phần của giải thuật khai phá dữ liệu Giải thuật khai phá dữ liệu gồm ba thành phần chính.
- Kỹ thuật mạng nơron và giải thuật di truyền trong khai phá dữ liệu và thử nghiệm ứng dụng D−ơng Thị Hiền Thanh – CNTT 2006 17- Tìm kiếm mô hình thực hiện giống nh− một vòng lặp qua ph−ơng pháp tìm kiếm tham số, miêu tả mô hình bị thay đổi tạo nên một họ các mô hình.
- Nhiệm vụ chính của khai phá dữ liệu Đối với khai phá dữ liệu, có hai bài toán chính là.
- Bài toán khai phá dự báo (prediction): Suy diễn dựa trên dữ liệu mẫu hiện có để đ−a ra một kết quả nào đó.
- Nh− vậy, có thể coi mục đích chính của khai phá dữ liệu là mô tả và dự báo.
- Để đạt đ−ợc hai mục đích này, nhiệm vụ chính của khai phá dữ liệu bao gồm các vấn đề sau.
- Phân lớp (clasification): Phân lớp t−ơng ứng với việc xác lập một ánh xạ (hay phân loại) một tập dữ liệu vào một trong số các lớp đã xác định.
- Phân cụm (Clustering): Phân cụm nhằm ghép nhóm các đối t−ợng dữ liệu.
- Nghĩa là một đối t−ợng dữ liệu có thể vừa thuộc cụm này, vừa thuộc cụm kia.
- Quá trình nhóm các đối t−ợng thành các cụm đ−ợc gọi là Kỹ thuật mạng nơron và giải thuật di truyền trong khai phá dữ liệu và thử nghiệm ứng dụng D−ơng Thị Hiền Thanh – CNTT 2006 18phân cụm hay phân nhóm.
- Một ví dụ ứng dụng của khai phá dữ liệu có nhiệm vụ phân cụm là phát hiện tập những khách hàng có hành vi giống nhau trong cơ sở dữ liệu tiếp thị.
- Hình 1.4 mô tả các mẫu của quá trình khai phá dữ liệu với nhiệm vụ phân cụm.
- Do đó, tuỳ theo từng nhiệm vụ cụ thể, sẽ có những ảnh h−ởng đến việc thiết kế và lựa chọn giải thuật khai phá dữ liệu.
- Hình 1.4: Kết quả của phân cụmCụm 3Cụm 1Cụm 2 Kỹ thuật mạng nơron và giải thuật di truyền trong khai phá dữ liệu và thử nghiệm ứng dụng D−ơng Thị Hiền Thanh – CNTT .
- Một số ph−ơng pháp khai phá dữ liệu phổ biến 1.3.4.1.
- Quang cảnhGió Độ ẩm Không CóKhôngCó CóBình th−ờngCao MạnhYếuM−aâm uNắng Kỹ thuật mạng nơron và giải thuật di truyền trong khai phá dữ liệu và thử nghiệm ứng dụng D−ơng Thị Hiền Thanh – CNTT .
- Đầu ra của thuật toán khai phá dữ liệu là một tập luật kết mà mỗi luật có dạng: X.
- Khi các mẫu đ−ợc thiết lập, chúng có thể đ−ợc sử dụng để tái tạo các tập dữ liệu ở dạng dễ Kỹ thuật mạng nơron và giải thuật di truyền trong khai phá dữ liệu và thử nghiệm ứng dụng D−ơng Thị Hiền Thanh – CNTT 2006 22hiểu hơn, đồng thời cũng cung cấp các nhóm dữ liệu cho các hoạt động cũng nh− công việc phân tích.
- Các lĩnh vực ứng dụng của khai phá dữ liệu văn bản nh− nghiên cứu thị tr−ờng, thu nhập, tình báo.
- Giải thuật di truyền là một giải thuật tối −u hoá, đ−ợc sử dụng rộng rãi trong việc tối −u hoá các kỹ thuật khai phá dữ liệu trong đó có kỹ thuật mạng nơron.
- Vấn đề lựa chọn ph−ơng pháp: Qua phần trình bầy trên, ta nhận thấy có rất nhiều ph−ơng pháp khai phá dữ liệu.
- Mỗi ph−ơng pháp có những đặc điểm riêng phù hợp với một lớp các bài toán, Kỹ thuật mạng nơron và giải thuật di truyền trong khai phá dữ liệu và thử nghiệm ứng dụng D−ơng Thị Hiền Thanh – CNTT 2006 24với các dạng dữ liệu và miền dữ liệu nhất định.
- Hầu hết các kỹ thuật khai phá dữ liệu đều còn mới mẻ với lĩnh vực kinh doanh.
- Những −u thế và khó khăn thách thức trong nghiên cứu và ứng dụng kỹ thuật khai phá dữ liệu 1.3.5.1.
- Hơn nữa, tuỳ vào cách tiếp cận, khai phá dữ liệu còn có thể áp dụng một số kỹ thuật nh− mạng nơron, lỹ thuyết tập thô hoặc tập mờ, biểu diễn tri thức.
- Tuy nhiên, khai phá dữ liệu có một số −u điểm rõ rệt so với các ph−ơng pháp cơ bản khác, cụ thể nh− sau.
- So với ph−ơng pháp học máy, khai phá dữ liệu có lợi thế hơn ở chỗ nó có thể sử dụng các CSDL chứa nhiễu, dữ liệu không đầy đủ hoặc biến đổi liên tục.
- Những vấn đề khó khăn thách thức Mặc dù khai phá dữ liệu là một kỹ thuật khai phá tri thức hiệu quả, nh−ng cũng bộc lộ nhiều khó khăn.
- Những khó khăn đó chính là những thách thức lớn trong quá trình nghiên cứu và ứng dụng các kỹ thuật khai phá dữ liệu vào thực tế.
- ắ Các vấn đề về cơ sở dữ liệu: Đầu vào của hệ thống phát hiện tri thức chủ yếu là các dữ liệu thô trong CSDL.
- Do đó, làm tăng không gian tìm kiếm, tăng quá trình suy diễn, đồng thời cũng làm tăng khả năng giải thuật khai phá dữ liệu tìm đ−ợc các mẫu giả.
- Việc thay đổi dữ liệu nhanh chóng có thể làm cho các mẫu khai phá đ−ợc tr−ớc đó mất giá trị.
- Hơn Kỹ thuật mạng nơron và giải thuật di truyền trong khai phá dữ liệu và thử nghiệm ứng dụng D−ơng Thị Hiền Thanh – CNTT 2006 26nữa, các biến trong CSDL của ứng dụng có thể bị thay đổi, bị xoá hoặc tăng lên theo thời gian.
- Việc quan sát CSDL phải phát hiện đ−ợc toàn bộ các thuộc tính có thể dùng để khai phá dữ liệu trong bài toán.
- Đây cũng là vấn đề th−ờng xảy ra trong CSDL kinh doanh, các thuộc tính quan trọng có thể bị thiếu dữ liệu, không sẵn sàng cho việc khai phá dữ liệu.
- cũng là một nhân tố ảnh h−ởng đến quá trình khai phá dữ liệu.
- Điều đó làm cho mô hình hoạt động rất kém với các dữ liệu thử.
- Vì vậy, các giải Kỹ thuật mạng nơron và giải thuật di truyền trong khai phá dữ liệu và thử nghiệm ứng dụng D−ơng Thị Hiền Thanh – CNTT 2006 27pháp th−ờng là diễn tả d−ới dạng đồ hoạ, xây dựng cấu trúc luật với các đồ thị có h−ớng, biểu diễn bằng ngôn ngữ tự nhiên và các kỹ thuật khác nhằm biểu diễn tri thức và dữ liệu.
- Việc sử dụng tri thức miền là rất quan trọng trong khai phá dữ liệu.
- Nhiệm vụ của khai phá dữ liệu là khám phá các mẫu có ích từ nguồn dữ liệu, trong đó, dữ liệu có thể đ−ợc l−u trữ trong các CSDL, kho dữ liệu.
- Trong các ph−ơng pháp khai phá dữ liệu đã giới thiệu, mạng nơron và giải thuật di truyền là các kỹ thuật khai phá đang đ−ợc quan tâm nghiên cứu mạnh mẽ.
- Ch−ơng sau sẽ trình bầy chi tiết hơn về kỹ thuật khai phá dữ liệu dùng mạng nơron và giải thuật di truyền.
- Kỹ thuật mạng nơron và giải thuật di truyền trong khai phá dữ liệu và thử nghiệm ứng dụng D−ơng Thị Hiền Thanh – CNTT 2006 28Ch−ơng 2: Kỹ thuật khai phá dữ liệu sử dụng mạng nơron và giải thuật di truyền 2.1.
- Mạng nơron trong khai phá dữ liệu Khi đề cập đến khai thác dữ liệu, ng−ời ta th−ờng đề cập nhiều đến mạng nơron.
- Tính năng hoạt động của mạng phụ thuộc vào cấu trúc mạng, trọng số liên kết giữa các nơron và quá trình xử Kỹ thuật mạng nơron và giải thuật di truyền trong khai phá dữ liệu và thử nghiệm ứng dụng D−ơng Thị Hiền Thanh – CNTT 2006 29lý bên trong các nơron.
- Độ lệch Bias bk ().f Hàm truyền (Activation function) Tín hiệu ra (Output) Hình 2.3: Mô hình của một nơron nhân tạo Kỹ thuật mạng nơron và giải thuật di truyền trong khai phá dữ liệu và thử nghiệm ứng dụng D−ơng Thị Hiền Thanh – CNTT

Xem thử không khả dụng, vui lòng xem tại trang nguồn
hoặc xem Tóm tắt