Baidichcuaquan

- Tuynhiên, dữ liệu đó không hữu ích nếu không có sức mạnh phân tích.
- Nhiều giải phápdữ liệu lớn, IoT và phân tích đã cho phép mọi người có được cái nhìn sâu sắc cógiá trị vào dữ liệu lớn được tạo bởi các thiết bị IoT.
- Bài viết này nghiên cứu các nỗ lực nghiên cứu tiên tiến hướngtới phân tích dữ liệu lớn và IoT.
- Mối quan hệ giữa phân tích dữ liệu lớn và IoTđược giải thích.
- Hơn nữa, bài viết này cho biết thêm giá trị bằng cách đề xuất mộtkiến trúc mới cho các phân tích dữ liệu lớn và IoT .
- Các loại phân tích , phươngpháp và công nghệ khai thác dữ liệu lớn được thảo luận.
- Một số cơ hội do phân tích dữ liệu mang lại trongmô hình IoT sau đó sẽ được thảo luận.
- Cuối cùng, nghiên cứu mở những tháchthức, như quyền riêng tư, khai thác dữ liệu lớn, trực quan hóa và tích hợp, đượctrình bày như một nghiên cứu trong tương lai.INDEX TERM : Dữ liệu lớn, Internet of Things, phân tích dữ liệu, thành phốthông minh.I.
- INTRODUCTIONSự phát triển nhanh chóng của dữ liệu lớn và IoT ảnh hưởng đến tất cả các lĩnh vựccông nghệ và doanh nghiệp bằng cách tăng lợi ích cho các tổ chức và cá nhân.
- Sựtăng trưởng của dữ liệu thông qua IoT có đóng một vai trò quan trọng trong bốicảnh dữ liệu lớn.
- Dữ liệu lớn có thể được phân loại theo ba khía cạnh.
- Sự phổ biến rộng rãi của IoT đã khiếncho việc phân tích dữ liệu lớn trở nên khó khăn vì quá trình xử lý và thu thập dữliệu thông qua các cảm biến khác nhau trong môi trường IoT.
- Báo cáo củaInternational Data Corporation (IDC) chỉ ra thị trường dữ liệu lớn sẽ đạt hơn 125 tỷUSD vào năm 2019 [3.
- Phân tích dữ liệu lớn và IoT có thể được định nghĩa là cácbước trong đó một loạt dữ liệu IoT được kiểm tra [4] để tiết lộ xu hướng, mô hình,và thông tin mới [5.
- Các công ty và cá nhân có thể hưởng lợi từ phân tích lượnglớn dữ liệu và quản lý số lượng lớn thông tin có thể ảnh hưởng đến doanh nghiệp[6].
- Do đó, phân tích dữ liệu lớn và IoT nhằm mục đích hỗ trợ các hiệp hội kinhdoanh và các tổ chức khác để đạt được sự hiểu biết, được cải thiện vềdữ liệu, do đósẽ đưa ra quyết định hiệu quả và đầy đủ thông tin.
- Phân tích dữ liệu lớn cho phépcác nhà khai thác dữ liệu và nhà khoa học phân tích lượng lớn dữ liệu phi cấu trúccó thể được khai thác, sử dụng các công cụ truyền thống [5].
- Hơn nữa, phân tíchdữ liệu lớn nhằm mục đích để ngay lập tức trích xuất thông tin có ý nghĩa bằngcách sử dụng kỹ thuật khai thác dữ liệu giúp đưa ra dự đoán, xác định xu hướnggần đây, tìm thông tin ẩn và thực hiện quyết định [7].
- Mức tăng nàysẽ ảnh hưởng đến tăng trưởng dữ liệu lớn.
- Giới thiệu phân tích dữ liệu và IoT vàodữ liệu lớn đòi hỏi nguồn lực lớn và IoT có khả năng cung cấp một giải pháp tuyệtvời.
- Quá trình này phù hợp để thực hiện các yêu cầu về các ứng dụng IoT và có thểgiảm một số thách thức trong tương lai của phân tích dữ liệu lớn.
- Hơn nữa, việc triển khaiIoT và các giải pháp tích hợp dữ liệu lớn có thể giúp giải quyết các vấn đề về lưutrữ, xử lý, phân tích dữ liệu và các công cụ trực quan.
- Nhiều nghiên cứu về dữliệu lớn đã tập trung vào quản lý dữ liệu lớn.
- đặc biệt, phân tích dữ liệu lớn đãđược khảo sát [10] [11.
- Tuy nhiên, khảo sát này tập trung vào dữ liệu lớn của IoTtrong bối cảnh phân tích một lượng lớn dữ liệu.
- Những nỗ lực nghiên cứu tiên tiến được thực hiện trên phương diện  phân tích dữ liệu lớn được xem xét.
- Một kiến trúc cho các phân tích dữ liệu lớn và IoT được đề xuất.
- Một số cơ hội chưa từng có do dữ liệu mang lại  phân tích trong miền IoT được giới thiệu.
- Thiết bị thu thập dữ liệu cảm nhận dữ liệu vàtruyền các dữ liệu này bằng cách sử dụng các thiết bị truyền thông nhúng.
- Quá trình tạo dữ liệu khổng lồnày dẫn đến ‘dữ liệu lớn’[17.
- Hệ thống cơ sở dữ liệu truyền thống không hiệuquả khi lưu trữ, xử lý và phân tích lượng dữ liệu tăng nhanh [18.
- Nghiên cứu trước đây cũng đặc trưng dữ liệu lớn thành bakhía cạnh.
- nguồn dữ liệu  phân tích dữ liệu.
- Một số nghiên cứu khai báo khối lượng là một đặc điểm chínhcủa dữ liệu lớn mà không có cung cấp một định nghĩa thuần túy [22].
- Các mô hình3V, hay các dẫn xuất của nó mô tả phổ biến nhất thuật ngữ “dữ liệu lớn”.III.
- BIG DATA ANALYTICS Phân tích dữ liệu lớn liên quan đến các quá trình tìm kiếm cơ sở dữ liệu, khaithác và phân tích dữ liệu để cải thiện hiệu suất công ty [25.
- Phân tích dữ liệu lớnlà quá trình kiểm tra bộ dữ liệu lớn [4] có chứa nhiều loại dữ liệu để biết mô hình,tương quan ẩn, xu hướng thị trường, sở thích khách hàng và thông tin kinh doanhhữu ích khác.
- [5] Các khả năng phân tích dữ liệu lớn giúp tổ chức xử lý thông tin quan trọng cóthể ảnh hưởng đến doanh nghiệp [6.
- Phân tích dữ liệu lớn đòi hỏi các công Phântích dữ liệu lớn cho phép các công cụ khai thác dữ liệu và các nhà khoa học phântích một khối lượng dữ liệu lớn, một khối lượng dữ liệu có thể không được khaithác bằng các công cụ truyền thống [5.
- Công cụ có thể biến đổi một lượng cấutrúc lớn, phi cấu trúc và dữ liệu bán cấu trúc thành dữ liệu dễ hiểu hơn và địnhdạng siêu dữ liệu cho các quá trình phân tích.
- Các thuật toán được sử dụng trong các công cụ phân tích này phải khám phácác mô hình, xu hướng, và mối tương quan qua nhiều thời gian trong dữ liệu [26].Sau khi phân tích dữ liệu, các công cụ này trực quan hóa những dữ liệu cho việcquyết định hiệu quả.
- Do đó, phân tích dữ liệu lớn là một thách thức đối với nhiềuứng dụng vì độ phức tạp của dữ liệu và khả năng mở rộng của các thuật toán cơbản để hỗ trợ các quá trình [27].
- Dođó, cơ sở hạ tầng lớn và các ứng dụng bổ sung là cần thiết để hỗ trợ dữ liệu songsong.
- Do đó, thách thức tập trung vào hiệu suất của các thuật toánhiện tại được sử dụng trong phân tích dữ liệu lớn [19].
- Ngược lại, hầu hết các công cụ còn lại sử dụng phương pháp thử nghiệm vàbáo lỗi phức tạp để đối phó với số lượng lớn các tập dữ liệu và tính không đồngnhất dữ liệu [30].
- Hệ thống phân tích dữ liệu lớn tồn tại.
- Ví dụ phân tích thăm dò[31] dữ liệu môi trường là một hệ thống phân tích trực quan dữ liệu lớn được sửdụng để mô phỏng phân tích hệ thống trái đất với số lượng lớn các bộ dữ liệu.A.
- Những loại phân tích này là phân tích theo thời gian thực, ngoại tuyến,cấp bộ nhớ, mức độ thông minh trong kinh doanh (BI) và phân loại cấp độ lớn.Real-time analytics: Thường được thực hiện trên dữ liệu được thu thập từ các cảmbiến.
- Trong trường hợp này, dữ liệu thay đổi liên tục, các kỹ thuật phân tích dữ liệunhanh chóng được yêu cầu để có được một kết quả phân tích trong thời gian ngắn.
- Ví dụ, nhiềudoanh nghiệp Internet sử dụng kiến trúc phân tích ngoại tuyến dựa trên Hadoop đểgiảm chi phí chuyển đổi định dạng dữ liệu [36].
- Phân tích như vậy cải thiện hiệuquả thu thập dữ liệu.
- TimeTunnel [39] và Chukwa [40] lànhững ví dụ về kiến trúc thực hiện phân tích ngoại tuyến và có thể đáp ứng nhu cầucủa thu thập dữ liệu.Memory-level analytics: Được áp dụng khi kích thước của dữ liệu nhỏ hơn bộnhớ của cụm [32].
- Phân tích BI hiện tại hỗ trợ dữ liệu cấp độ TB (tera byte).
- [32] Hơn nữa, BI có thể giúp khám phá cơ hội kinh doanh chiến lược từ dữ liệu.Ngoài ra, phân tích BI cho phép dễ dàng giải thích khối lượng dữ liệu.
- Phân tíchcấp độ lớn sử dụng hệ thống tệp phân tán Hadoop để lưu trữ dữ liệu và ánh xạ / thunhỏ cho dữ liệu phân tích.
- Hơn nữa, các phân tích cấp độ lớn thu được dữ liệu chính xác thúc đẩy việcđưa ra bất kỳ quyết định kinh doanh nào.
- RELATIONSHIP BETWEEN IOT AND BIG DATA ANALYTICS Phân tích dữ liệu lớn đang nhanh chóng nổi lên như một sáng kiến quan trọngcủa IoT để cải thiện việc ra quyết định.
- Thông tin Phân tích dữ liệu lớntrong IoT yêu cầu xử lý lượng dữ liệu lớn nhanh chóng và lưu trữ dữ liệu trongnhiều công nghệ lưu trữ khác nhau.
- Nói chung, việc triển khai IoT làm tăng số lượng dữ liệu và chủng loại.
- dođó, cung cấp cơ hội cho các ứng dụng và phát triển các phân tích dữ liệu lớn.
- Hơnnữa, việc áp dụng các công nghệ dữ liệu lớn trong IoT đẩy nhanh tiến bộ nghiêncứu và mô hình kinh doanh của IoT.
- Mối quan hệ giữa IoT và dữ liệu lớn đượchiển thị trong Hình 1, có thể được chia thành ba bước để kích hoạt quản lý dữ liệuIoT.
- Bước đầu tiên bao gồm quản lý nguồn dữ liệu IoT, nơi các thiết bị cảm biếnđược kết nối sử dụng các ứng dụng để tương tác với nhau.
- Trong bước thứ hai, dữ liệu được tạo ragọi là “dữ liệu lớn”, dựa trên khối lượng, vận tốc và sự đa dạng của chúng.
- Nhữnglượng dữ liệu khổng lồ này được lưu trữ ở các tệp dữ liệu lớn.
- Bước cuối cùng áp dụng các công cụ phân tích như MapReduce, Spark,Splunk và Skytree có thể phân tích bộ dữ liệu lớn IoT được lưu trữ.
- Bốn cấp độphân tích bắt đầu từ dữ liệu huấn luyện, sau đó chuyển sang các công cụ phân tích,truy vấn, và báo cáo.
- Mối quan hệ giữa IoT và phân tích dữ liệu lớn.
- BIG DATA ANALYTICS METHODS Phân tích dữ liệu lớn nhằm mục đích trích xuất thông tin ngay lập tức giúp đưa ra dự đoán, xác định xu hướng gần đây, tìm kiếm thông tin ẩn, và cuối cùng đưa ra quyết định [7.
- Kỹ thuật khai thác dữ liệu được phổ biến rộng rãi, triển khai cho cả hai phương pháp phân tích dữ liệu cụ thể và tổng quát.
- Hình 1: Tổng quan về các phương pháp phân tích dữ liệu Theo đó, phương pháp thống kê và máy học được sử dụng [30].
- Sựphát triển của dữ liệu lớn cũng thay đổi yêu cầu phân tích.
- Để phân tích thì phân tích dữ liệu lớn yêu cầu tốcđộ xử lý tương đương hoặc nhanh hơn phân tích dữ liệu truyền thống với chi phítối thiểu cho dữ liệu lớn, tốc độ cao và dữ liệu cao [45.
- Các giải pháp khác nhaucó sẵn cho các phân tích dữ liệu lớn, và những tiến bộ trong việc phát triển và cảithiện các giải pháp này đang liên tục đạt được để làm cho chúng phù hợp với xuhướng dữ liệu lớn mới.
- Khai thác dữ liệu đóng một vai trò quan trọng trong phântích và hầu hết các kỹ thuật được phát triển bằng cách sử dụng thuật toán khai thácdữ liệu theo một kịch bản cụ thể.
- Kiến thức về các tùy chọn phân tích dữ liệu lớn có sẵn là rất quan trọng khiđánh giá và lựa chọn một phương pháp phù hợp để quyết định.
- Trong phần này,chúng tôi trình bày một số phương pháp có thể được thực hiện cho một số trườnghợp nghiên cứu dữ liệu lớn.
- Một số phương pháp phân tích này có hiệu quả đối vớiphân tích dữ liệu lớn IoT [7].
- Phân loại là một phương pháp học tập có giám sát sử dụng dữ liệuhuấn luyện để phân loại các đối tượng dữ liệu thành các nhóm [46.
- Tìm ẩn số là thách thứcđối với dữ liệu lớn và IoT.
- Hơn nữa, trích xuất thông tin có giá trị từ dữ liệu lớnđược thiết lập để cải thiện việc ra quyết định là một nhiệm vụ quan trọng.
- MạngBayes [47] là một phương pháp phân loại cung cấp khả năng diễn giải mô hình.Mạng Bayes có hiệu quả để phân tích cấu trúc dữ liệu phức tạp thông qua dữ liệulớn hơn các định dạng dữ liệu có cấu trúc truyền thống [48].
- Phân tích các mẫu dữliệu và tạo các nhóm có hiệu quả được thực hiện bằng cách sử dụng SVM, đâycũng là cách tiếp cận phân loại cho các phân tích dữ liệu lớn.
- SVM sử dụng lýthuyết thống kê để phân tích các mẫu dữ liệu và tạo các nhóm.
- Một số ứng dụngphân loại SVM trong phân tích dữ liệu lớn bao gồm phân loại văn bản [49], môhình kết hợp [50] chuẩn đoán sức khỏe [51] và thương mại [52.
- Phân loại có các phần mở rộng khác khi ápdụng một số lượng lớn trí tuệ và dữ liệu nhân tạo vào kỹ thuật khai thác [54].
- Dođó, phân loại là một trong những kỹ thuật khai thác dữ liệu rộng rãi cho các phântích dữ liệu lớn.
- Phân cụm là một kỹ thuật khai thác dữ liệu khác được sử dụng nhưlà một phương pháp phân tích dữ liệu [55].
- Cácquy tắc khai thác tập trung vào việc xác định và tạo quy tắc dựa trên tần suất xuấthiện của dữ liệu số và phi số.
- Xử lý dữ liệu được thực hiện trong hai cách theo quytắc kết hợp.
- Đầu tiên, xử lý dữ liệu tuần tự sử dụng các thuật toán như MSPS [59]và LAPINSPAM [60.
- Một cách tiếp cận xử lýdữ liệu quan trọng khác theo quy tắc kết hợp là phân tích trình tự thời gian, trongđó sử dụng các thuật toán để phân tích mô hình sự kiện trong dữ liệu liên tục.
- Phân tích dự đoán sử dụng dữ liệu lịch sử, được biết đến như dữ liệu đào tạo,để xác định xu hướng hoặc hành vi trong dữ liệu.
- Trong trường hợp phân tích dữ liệu lớn, yêu cầu xử lý được sửađổi theo tính chất và khối lượng dữ liệu.
- Phương pháp truy cập và khai thác dữ liệunhanh cho dữ liệu có cấu trúc và không cấu trúc là những mối quan tâm chính liênquan đến phân tích dữ liệu lớn.
- Hơn nữa, biểu diễn dữ liệu là một yêu cầu quantrọng trong phân tích dữ liệu lớn.
- Các phương pháp phân tích dữ liệu lớnđược thảo luận trong phần này được áp dụng rộng rãi trong nhiều lĩnh vực của dữliệu lớn, như quản lý thảm họa, y tế, kinh doanh, công nghiệp, và quản trị điện tử.
- Trong Bảng 2, nội dụng đã trình bày ứng dụng lĩnh vực khai thác dữ liệu lớnđược xây dựng trong phần này.
- Phương pháp phân tích dữ liệu dựa trên quy tắc phâncụm và liên kết được áp dụng cho công nghiệp , quản trị điện tử và được áp dụngtốt trong y tế, thương mại điện tử và tin học.
- Phân tích dự đoán rất hữu ích chothảm họa và dự đoán thị trường, trong khi phân tích chuỗi thời gian được sử dụngtrong dự báo thảm họa, y tế hình ảnh, nhận dạng giọng nói, phân tích mạng xã hộivà quản trị điện tử.Hình 2: Các ứng dụng khai thác dữ liệu lớn cho IoT

Xem thử không khả dụng, vui lòng xem tại trang nguồn
hoặc xem Tóm tắt