- H h tr ra quy t đ nh và mô hình h tr quy t đ nh III. - D đoán k t qu h c t p d a vƠo lỦ thuy t phơn l p Naive Bayes 2 T NG QUAN KHAI PHÁ D LI U VÀ PHÁT HI N TRI TH C 3 Gi i thi u v khai phá d li u (KPDL. - Khai phá tri thức từ một lượng lớn dữ liệu Sử dụng dữ liệu lịch sử để khám phá những qui tắc và cải thiện những quyết định trong tương lai 4 Quy trình phát hi n tri th c Bước 1: Hình thành, xác định, định nghĩa bài toán Bước 2: Thu thập, tiền xử lý dữ liệu Bước 3: Khai phá dữ liệu rút ra tri thức Bước 4: Phân tích và kiểm định kết quả Bước 5: Sử dụng tri thức phát hiện được Hình 1: Quy trình phát hiện tri thức 5 H H TR RA QUY T Đ NH VÀ MÔ HỊNH H TR QUY T Đ NH 6 H h tr ra quy t đ nh HHTQĐ là những hệ thống máy tính tương tác nhằm giúp những người ra quyết định sử dụng dữ liệu và mô hình để giải quyết các vấn đề không có cấu trúc. - Các thƠnh ph n c a h h tr ra quy t đ nh Phân hệ Quản lý dữ liệu Phân hệ Quản lý mô hình Phân hệ Quản lý dựa vào kiến thức Phân hệ Quản lý giao diện người dùng 7 V n d ng ph ng pháp toán h c để phơn l p d li u Khái ni m v phân l p – Tiến trình xử lý nhằm xếp các mẫu dữ liệu hay các đối tượng vào một trong các lớp đã được định nghĩa trước. - Kỹ thuật phổ biến nhất của học máy và khai phá dữ liệu. - 8 Các b c chính để gi i quy t bƠi toán phơn l p Bước 1: Học (Training): xây dựng mô hình phân lớp Bước 2: Phân lớp (classification): Bước này sử dụng mô hình phân lớp đã được xây dựng ở bước 1 để kiểm tra, đánh giá và thực hiện phân lớp. - Các kỹ thu t phân l p – Phương pháp dựa cây quyết định – Phương pháp dựa trên luật – Phương pháp Naive Bayes – Mạng Neuron. - 9 Ph ng pháp phơn l p Naive Bayes Đ nh lý Bayes Tính xác suất xảy ra của một sự kiện ngẫu nhiên A khi biết sự kiện liên quan B đã xảy ra. - Xác suất này được ký hiệu là P(A|B. - Đọc là "xác suất của A nếu có B". - P(A): Xác suất xảy ra A của riêng nó P(B): Xác suất xảy ra B của riêng nó. - P(B|A): Xác suất xảy ra B khi biết A xảy ra Khi bi t ba đ i l ng trên, xác su t c a A khi bi t B cho bởi công th c: P BA P A P AB = P B 11 Mô hình phân l p Naive Bayes (NBC. - Để phân lớp mẫu chưa biết X, ta tính P(X|Ci)P(Ci) cho từng Ci. - 12 Thu t toán Naive Bayes Áp dụng trong bài toán phân loại, các dữ kiện gồm có. - D: tập dữ liệu huấn luyện đã được vector hóa. - Ci: phân lớp i, với i = {1,2,…,m. - xác suất thuộc tính thứ k mang giá trị xk khi đã biết X thuộc phân lớp i. - 13 Các b c th c hi n thu t toán phân l p Naive Bayes Bước 1: Huấn luyện Naive Bayes (dựa vào tập dữ liệu), tính P(Ci)và P(Xk|Ci. - Bước 2: Phân lớp Xnew=(x1,x2,…xn). - Xnew ta cần tính xác suất thuộc từng phân lớp khi đã biết trước Xnew. - Xnew được gán vào lớp có xác suất lớn nhất theo công thức. - 14 Ví d : T p d li u m u v k t qu h c t p c a sinh viên TT N i ở Điểm vƠo Kinh t Gtinh K t qu 1 Nông thôn Trung bình Thấp Nữ Rớt 2 Thành thị Cao Trung bình Nam Đậu 3 Nông thôn Thấp Trung bình Nam Rớt 4 Thành thị Trung bình Trung bình Nữ Đậu 5 Thành thị Trungbình Cao Nữ Đậu 6 Nông thôn Cao Cao Nam Đậu 7 Nông thôn Trungbình Cao Nữ Đậu 8 Thành thị Thấp Thấp Nam Rớt Yêu c u: Phân lớp cho một thể hiện mới sau đây X= (kết quả là Đậu (Đ) hay Rớt (R. - 15 Th c hi n: Bước 1: Ta có 2 lớp Đ=“Đậu”, R= “Rớt”, tổng số mẫu =8 Số mẫu được phân lớp Đ là 5 Xác suất Đậu: P(Đ)=5/8 Số mẫu được phân lớp R là 3 Xác suất Rớt: P(R) =3/8 Đặt X1(lớp Đ. - P(Gioitinh = Nam|R) 16 Ta lần lượt tính xác suất của các thuộc tính sau: N iở P(Thành thị| Đ) =3/5 P(Thành thị| R) =1/3 P(Nông thôn| Đ) =2/5 P(Nông thôn| R) =2/3 Điểm vƠo P(Cao| Đ) =2/5 P(Cao| R) =0/3 P(Trung bình| Đ)=3/5 P(Trung bình| R)=1/3 P(Thấp| Đ) =0/5 P(Thấp| R) =2/3 Kinh t P(Cao| Đ) =3/5 P(Cao| R) =0/3 P(Trung bình| Đ)=2/5 P(Trung bình| R)=1/3 P(Thấp| Đ) =0/5 P(Thấp| R) =2/3 Gtinh P(Nam| Đ) =2/5 P(Nam| R) =2/3 P(Nữ| Đ) =3/5 P(Nữ| R) =1/3 17 Bước 2: Phân lớp cho mẫu mới X Vậy X1(lớp Đ. - 18 M ts u điểm c a ph ng pháp Naive Bayes – Tính xác suất rõ ràng cho các giả định. - Kết hợp nhiều dự đoán của nhiều giả định. - Độ chính xác thuật toán phân lớp phụ thuộc nhiều vào tập dữ liệu học ban đầu. - U là sai số 23 D ĐOÁN K T QU H C T P D A VÀO Lụ THUY T PHÂN L P NAIVE BAYES 24 Bài toán Dựa vào thông tin dữ liệu đầu vào là. - 25 Xây d ng ch ng trình d đoán Phần 1: Thu thập thông tin cần thiết của sinh viên Phần 2: Thực hiện dự đoán kết quả học tập Bước 1. - Kiểm tra thông tin đầu vào – Trùng bộ huấn luyện thì sẽ cho ra ngay kết quả dự đoán. - Dùng thuật toán phân lớp Naive Bayes để dự đoán. - 26 Ch ng trình th c nghi m Trang 1: Trang chủ, thể hiện thông tin hình ảnh của trường 27 Trang 2: Dự đoán kết quả học tập 28 Trang 3: Nhập luật 29 K t qu th c nghi m – Dự đoán kết quả học tập cuối cùng của mình trong suốt quá trình học từ sẽ đó có lộ trình học tốt hơn. - Bộ huấn luyện mẫu còn ít do đó xác suất dự đoán kết quả cũng bị ảnh hưởng. - H ng phát triển – Thử nghiệm chương trình và xây dựng bộ huấn luyện mẫu với dữ liệu đầu là điểm các môn học của học kì trước để dự đoán kết quả của học kì sau. - Nghiên cứu ứng dụng thuật toán phân lớp vào bài toán dự đoán rủi ro tín dụng trong ngân hàng và các tổ chức tín dụng - Một số vấn đề chọn lọc của Công nghệ thông tin và truyền thông, Cần Thơ, 7-8 tháng 10 năm 2011. - [3] Hệ hỗ trợ ra quyết định http://idoc.vn/tai-lieu/he-ho-tro-ra-quyet-dinh.html [4] Bài giảng Khai phá dữ liệu, trường đại học Hàng Hải (2011) http://www.ebook.edu.vn/?page=1.37&view=22169 [5] Tìm hiểu về luật kết hợp trong khai phá dữ liệu http://baigiang.violet.vn/present/same/entry_id XIN CHÂN THÀNH C M N QUụ TH Y CỌ VÀ CÁC B N 32