- NGHIÊN CỨU MỘT SỐ PHƢƠNG PHÁP PHÂN TÍCH DỮ LIỆU TRÊN BẢNG QUYẾT ĐỊNH TRONG HỆ THỐNG. - DỮ LIỆU LỚN. - CHƢƠNG 1: NGHIÊN CỨU CÁC NỀN TẢNG CỦA HỆ THỐNG DỮ LIỆU LỚN 5 1. - Nghiên cứu một số nền tảng của hệ thống dữ liệu lớn (BigData. - 1.1 Định nghĩa mô tả và các đặc trưng của Dữ liệu lớn(BigData. - 1.4 Các phương pháp tiền xử lý dữ liệu cho BigData. - CHƢƠNG 2: NGHIÊN CỨU MỘT SỐ CÁC PHƢƠNG PHÁP PHÂN TÍCH DỮ LIỆU TRÊN BẢNG QUYẾT ĐỊNH. - 2.1 Nghiên cứu khái quát hƣớng khai phá dữ liệu sử dụng lý thuyết tập thô. - 3.4 Thực hiện thuật toán với bộ dữ liệu Flu, EXAMPLE1, EXAMPLE. - 3.4.1 Bộ dữ liệu Flu. - 3.4.2 Bộ dữ liệu “EXAMPLE1. - 3.4.3 Bộ dữ liệu “EXAMPLE. - Bảng 2.3 Bảng dữ liệu tính bao đóng. - Bảng 2.4 Bảng dữ liệu đầu vào tìm một tập rút gọn. - Bảng 2.5 Bảng dữ liệu đầu vào tìm họ tất cả các tập rút gọn. - Bảng 2.6 Bảng dữ liệu đầu vào tìm bảng quyết định không dƣ thừa. - Bảng 3.3 Bảng quyết định bộ dữ liệu Example1. - Bảng 3.4 Bảng quyết định bộ dữ liệu Example. - Hình 1.5 Hệ thống trung tâm dữ liệu. - Hình 3.2 Chọn file dữ liệu đầu vào cho chƣơng trình. - Hình 3.3 Giao diện chƣơng trình hiển thị dữ liệu đầu vào. - Hình 3.5 Kết quả của bộ dữ liệu Flu. - Hình 3.6 Kết quả khi thực hiện thuật toán với bộ dữ liệu Example1. - Hình 3.7 Kết quả tìm các tập rút gọn với bộ dữ liệu Example. - Hệ quản trị cơ sở dữ liệu quan hệ. - Corporation Tập đoàn dữ liệu quốc tế IBM International Business. - Các hệ thống dữ liệu lớn cũng nhƣ các phƣơng pháp phân tích dữ liệu lớn đã đƣợc nhiều nhà khoa học quan tâm nghiên cứu. - Hƣớng phân tích dữ liệu trên các bảng quyết định mà cụ thể là nghiên cứu các bài toán liên quan đến tập rút gọn trên bảng quyết định phát triển rất sôi động có nhiều ứng dụng trong thực tiễn.. - Trong lý thuyết tập thô, dữ liệu đƣợc biểu diễn thông qua một hệ thông tin IS=(U,A) với U là tập các đối tƣợng và A là tập thuộc tính. - Các tập xấp xỉ là cơ sở để đƣa ra các kết luận từ tập dữ liệu.. - Mục tiêu của rút gọn thuộc tính là loại bỏ các thuộc tính dƣ thừa để tìm ra các thuộc tính cốt yếu và cần thiết trong cơ sở dữ liệu. - Trên bảng quyết định nhất quán, vấn đề nhiên cứu đặt ra là xây dựng các thuật toán có ý nghĩa liên quan đến tập rút gọn sử dụng một số kết quả liên quan đến tập tối thiểu của một thuộc tính trong một cơ sở dữ liệu quan hệ.. - Nhiều chính phủ quốc gia nhƣ Hoa Kỳ cũng đã rất quan tâm đến dữ liệu lớn.. - Luận văn này nghiên cứu tìm hiểu một số phƣơng pháp phân tích dữ liệu liên quan đến các tập rút gọn trên cấu trúc bảng quyết định sử dụng lí thuyết tập thô.. - Nghiên cứu và tìm hiểu một số nền tảng của hệ thống dữ liệu lớn. - Tìm hiểu một số lĩnh vực phân tích tìm các giá trị của hệ thống dữ liệu lớn (thực chất là khai phá dữ liệu tìm các tri thức).. - Nghiên cứu và tìm hiểu các tài liệu liên quan đến hệ thống dữ liệu lớn. - Các phƣơng pháp phân tích dữ liệu nói chung và phân tích dữ liệu. - trên các bảng quyết định liên quan đến các tập rút gọn dùng để phân lớp dữ liệu.. - nghiên cứu tìm hiểu các nền tảng của hệ thống dữ liệu lớn, đặc biệt các phƣơng pháp phân tích dữ liệu trên các bảng quyết định. - CHƢƠNG 1: NGHIÊN CỨU CÁC NỀN TẢNG CỦA HỆ THỐNG DỮ LIỆU LỚN. - Nghiên cứu một số nền tảng của hệ thống dữ liệu lớn (BigData) 1.1 Định nghĩa mô tả và các đặc trưng của Dữ liệu lớn(BigData). - Kích thƣớc dữ liệu lớn là một mục tiêu liên tục thay đổi. - Volume: Khối lƣợng - dữ liệu lớn không có mẫu. - Velocity: Tốc độ - dữ liệu lớn thƣờng đƣợc xử lý thời gian thực;. - Dung lƣợng lớn: Có nghĩa là khối lƣợng dữ liệu cần xử lý cực kỳ lớn. - Đây chính là mục tiêu của các hệ thống dữ liệu lớn.. - Company, có thể thấy rằng dung lƣợng của một tập dữ liệu không phải là tiêu chí duy nhất cho Big Data. - Dữ liệu lớn đã đƣợc định nghĩa từ sớm những năm 2001. - Tính chính xác (Veracity): Tính hỗn độn hoặc tin cậy của dữ liệu. - Khối lƣợng dữ liệu lớn sẽ đi kèm với tính xác thực của dữ liệu.. - Giá trị (Value): Đây đƣợc coi là đặc điểm quan trọng nhất của dữ liệu lớn.. - Giá trị của dữ liệu là đặc điểm quan trọng nhất trong mô hình “5Vs”. - Nó chỉ ra rằng phƣơng pháp hay công nghệ hiệu quả cần phải đƣợc phát triển và đƣợc sử dụng để phân tích và xử lý dữ liệu lớn.. - Hệ thống Teradata là hệ thống cơ sở dữ liệu song song thƣơng mại thành công đầu tiên. - Năm 2011, Science cũng đƣa ra một vấn đề đặc biệt về công nghệ chủ chốt “xử lý dữ liệu” trong Big Data. - Nhiều chính phủ quốc gia nhƣ Mỹ cũng đã rất quan tâm tới dữ liệu lớn.. - (iii) dữ liệu của IoT chỉ có ích khi nó đƣợc phân tích.. - Trung tâm dữ liệu(Data centre) và Big data:. - Các trung tâm dữ liệu chủ yếu tập trung vào dữ liệu. - Sự xuất hiện của Big Data mang lại những cơ hội phát triển và thách thức lớn cho các trung tâm dữ liệu. - Big Data đòi hỏi trung tâm dữ liệu cung cấp nền tảng hỗ trợ mạnh mẽ. - Big Data tạo ra cho các trung tâm dữ liệu nhiều chức năng hơn. - Hadoop MapReduce: Đây là hệ thống dựa trên YARN dùng để xử lý song song các tập dữ liệu lớn.. - Hệ thống quản lý và phân tích dữ liệu truyền thống đƣợc dựa trên hệ thống quản lý cơ sở dữ liệu quan hệ (RDBMS). - Nhiều ứng dụng dữ liệu lớn có thể đƣợc phát triển dựa trên những công nghệ hoặc nền tảng cách mạng này.. - dữ liệu. - Cơ chế phân tích: Hệ thống phân tích Big Data sẽ xử lý khối lƣợng dữ liệu không đồng nhất trong mọt thời gian giới hạn. - Khả năng mở rộng và thay đổi: Hệ thống phân tích Big Data phải hỗ trợ tập dữ liệu hiện tại và tƣơng lai. - Thuật toán phân tích phải có khả năng xử lý các tập dữ liệu ngày càng mở rộng và phức tạp hơn.. - Nhiệm vụ làm sạch dữ liệu thƣờng bao gồm:. - Các hệ thống con đó có thể đƣợc thực thi định kỳ làm tƣơi dữ liệu phục vụ cho việc phân tích.. - Thành phố thông minh là 1 lĩnh vực nghiên cứu hot dựa trên các ứng dụng của dữ liệu IoT.. - Ứng dụng của mạng xã hội trực tuyến theo định hƣớng dữ liệu lớn:. - Các ứng dụng của dữ liệu lớn y tế sẽ ảnh hƣởng lớn đến các hoạt động chăm sóc sức khỏe.. - Phân tích dữ liệu lớn có thể đƣợc coi nhƣ các kỹ thuật phân tích cho một dạng đặc biệt của dữ liệu. - Tạo một chỉ mục không thay đổi dữ liệu của các bảng. - CHƢƠNG 2: NGHIÊN CỨU MỘT SỐ CÁC PHƢƠNG PHÁP PHÂN TÍCH DỮ LIỆU TRÊN BẢNG QUYẾT ĐỊNH 2.1 Nghiên cứu khái quát hƣớng khai phá dữ liệu sử dụng lý thuyết tập thô. - Thuộc tính lõi là thuộc tính không thể thiếu trong việc phân lớp chính xác tập dữ liệu. - Tuy nhiên, cách tiếp cận này không khả thi với các bảng dữ liệu kích thƣớc lớn vì độ phức tạp thời gian của thuật toán tìm họ tất cả các tập rút gọn của bảng quyết định là hàm mũ đối với số thuộc tính điều kiện.. - Trong cơ sở dữ liệu quan hệ, Demetrovics J. - Bảng 2.3 Bảng dữ liệu tính bao đóng Hãy tính {a, b. - Bảng 2.5 Bảng dữ liệu đầu vào tìm họ tất cả các tập rút gọn Có thể thấy, E 12 = acef, E 13 = bef, E 14 = bcf, E 15 = bce,. - Chƣơng trình “Tìm tập thuộc tính rút gọn” đƣợc viết bằng ngôn ngữ C#, sử dụng file txt chứa dữ liệu đầu vào theo định dạng định sẵn. - Đọc dữ liệu từ file đầu vào, hiển thị dữ liệu ra giao diện chƣơng trình. - Kiểm tra bảng dữ liệu đầu là nhất quán hay không. - Phần 2: Đầu vào chƣơng trình (Tab Dữ liệu. - Chƣơng trình sẽ yêu cầu chọn file dữ liệu đầu vào để thực hiện cho bƣớc tính toán tìm tập thuộc tính rút gọn ở bƣớc sau.. - Tìm các thuộc tính rút gọn từ bộ dữ liệu đầu vào đƣợc hiển thị trên giao diện chƣơng trình. - 3.4 Thực hiện thuật toán với bộ dữ liệu Flu, EXAMPLE1, EXAMPLE 3.4.1 Bộ dữ liệu Flu. - Dữ liệu đầu vào:. - 3.4.2 Bộ dữ liệu “EXAMPLE1”. - 3.4.3 Bộ dữ liệu “EXAMPLE”. - Bảng 3.4 Bảng quyết định bộ dữ liệu Example Dữ liệu đầu vào:. - Hình 3.7 Kết quả tìm các tập rút gọn với bộ dữ liệu Example 3.5 Kết luận chƣơng. - Một trong những phƣơng pháp quan trọng của kỹ thuật khai phá dữ liệu mà đề tài đi tìm hiểu để làm cơ sở dữ liệu cho một số thuật toán rút gọn trên bảng quyết định nhất quán. - Thông qua đó đã cài đặt thuật toán ”Tìm tập tất cả các thuộc tính rút gọn trên bảng quyết định nhất quán” và chạy thử chƣơng trình trên máy PC nhiều lƣợt với các bộ dữ liệu khác nhau.. - Cơ sở dữ liệu – Kiến thức và thực hành, Nhà xuất bản Thống kê, Hà Nôi.. - MessageBox.Show("Chƣa nhập dữ liệu đầu vào. - Chọn 'Dữ liệu' từ Menu để nhập! ");
Xem thử không khả dụng, vui lòng xem tại trang nguồn hoặc xem
Tóm tắt