- Bài viết này nghiên cứu các nỗ lực nghiên cứu tiên tiến hướngtới IoT lớnphân tích dữ liệu. - Mối quan hệ giữa phân tích dữ liệu lớn và IoT được giải thích.Hơn nữa, bài viết này cho biết thêmgiá trị bằng cách đề xuất một kiến trúc mới cho các phân tích dữ liệu IoT lớn. - Hơnnữa, các loại phân tích dữ liệu IoT lớn,phương pháp và công nghệ khai thác dữ liệu lớn được thảo luận. - Nhiều trường hợpsử dụng đáng chú ý cũng được trình bày.Một số cơ hội do phân tích dữ liệu mang lại trong mô hình IoT sau đó sẽ được thảoluận. - Sự tăng trưởng của dữ liệu được sản xuất thông qua IoT cóđóng một vai trò quan trọng trong bối cảnh dữ liệu lớn. - Dữ liệu lớncó thể được phân loại theo ba khía cạnh: (a) khối lượng,(b) giống và (c) vận tốc [1]. - Những loại này là đầu tiênđược giới thiệu bởiGartner để mô tả các yếu tố của dữ liệu lớnthử thách [2]. - Phân tích dữ liệu lớn IoT có thể được định nghĩa làcác bước trong đó một loạt dữ liệu IoT được kiểm tra [4] đểtiết lộ xu hướng, mô hình vô hình, tương quan ẩn, và mớithông tin [5]. - Các công ty và cá nhân có thể hưởng lợi từphân tích lượng lớn dữ liệu và quản lý số lượng lớnthông tin có thể ảnh hưởng đến doanh nghiệp [6]. - Giới thiệu phân tích dữ liệu và IoT vào dữ liệu lớnđòi hỏi nguồn lực lớn và IoT có khả năng cung cấpmột giải pháp tuyệt vời. - Quá trình này là phù hợp đểthực hiện các yêu cầuvề các ứng dụng IoT và có thể giảm một số thách thức trongtương lai của phân tích dữ liệu lớn. - Hơn nữa, việc triển khai IoT và các giải pháp tích hợp dữ liệu lớncó thể giúp giải quyết các vấn đề về lưu trữ, xử lý,phân tích dữ liệu và các công cụ trực quan. - Nhiều nghiên cứu về lớndữ liệu đã tập trung vào quản lý dữ liệu lớn. - đặc biệt, lớnphân tích dữ liệu đã được khảo sát [10], [11]. - Tuy nhiên, cái nàykhảo sát tập trung vào dữ liệu lớn của IoT trong bối cảnh phân tíchcủa một lượng lớn dữ liệu. - TỔNG QUAN VỀ IoT VÀ DỮ LIỆU LỚNTổng quan về công nghệ IoT và dữ liệu lớn được cung cấptrước khi thảo luận.A. - Một số nghiên cứukhai báo khối lượng là một đặc điểm chính của dữ liệu lớn mà không cócung cấp một định nghĩa thuần túy [22]. - CácMô hình 3V, hay các dẫn xuất của nó, là mô tả phổ biến nhất của thuật ngữ data‘dữ liệu lớn.III. - Cáckhả năng phân tích lượng lớn dữ liệu có thể giúp tổ chức xử lý thông tin quan trọngcó thể ảnh hưởng đếndoanh nghiệp [6]. - Hệ thống phân tích dữ liệu lớn tồn tại. - Dành choví dụ, Môi trường phân tích dữ liệu thăm dò [31]là một hệ thống phân tích trực quan dữ liệu lớn được sử dụng để phân tíchmô phỏng hệ thống trái đất phức tạp với số lượng lớn dữ liệubộ.A. - Hơn nữa, một so sánh dựa trêncác loại phân tích và mức độ của chúng được trình bày trong Bảng 1.Phân tích thời gian thực thường được thực hiện trên dữ liệu được thu thập từ cáccảm biến. - Trong tình huống này, dữ liệu thay đổi liên tục,và các kỹ thuật phân tích dữ liệu nhanh chóng được yêu cầu để có đượcmột kết quả phân tích trong một thời gian ngắn. - Ví dụ, nhiều doanh nghiệp Internet sử dụngKiến trúc phân tích ngoại tuyến dựa trên Hadoop để giảmchi phí chuyển đổi định dạng dữ liệu [36]. - Phân tích như vậy cải thiệnhiệu quả thu thập dữ liệu. - Đến nay,bộ nhớ của các cụm đã đạt đến mức terabyte (TB) [41].Do đó, một số trong công nghệ cơ sở dữ liệu ternal là bắt buộcđể nâng cao hiệu quả phân tích. - MongoDB [42] làmột ví dụ về kiến trúc này.Phân tích BI được thông qua khi kích thước của dữ liệu lớn hơnmức bộ nhớ, nhưng trong trường hợp này, dữ liệu có thể được nhậpđến môi trường phân tích BI [43]. - BI phân tích hiện tạihỗ trợ dữ liệu cấp độ TB [32]. - Hơn nữa, BI có thể giúp khám phácơ hội kinh doanh chiến lược từ lũ dữ liệu. - TrongNgoài ra, phân tích BI cho phép dễ dàng giải thích khối lượng dữ liệu. - Phân tích lớn sử dụng hệ thống tệp phân tán Hadoop để lưu trữ dữ liệu và ánhxạ / thu nhỏ cho dữ liệuphân tích. - Phân tích lớn giúp tạo nền tảng kinh doanh và tăng khả năng cạnh tranhthị trường bằng cách trích xuấtgiá trị ý nghĩa từ dữ liệu. - MỐI QUAN HỆ GIỮA IoT VÀPHÂN TÍCH SỐ LIỆU LỚNPhân tích dữ liệu lớn đang nhanh chóng nổi lên như một sáng kiến quan trọng củaIoTđể cải thiện việc ra quyết định. - Thông tin Phân tích dữ liệu lớn trong IoT yêu cầu xử lý lớnlượng dữ liệu nhanh chóng và lưu trữ dữ liệu khác nhaucông nghệ lưu trữ. - Dữ liệu này có thể được lưu trữ tronglưu trữ hàng hóa chi phí thấp trên đám mây. - Những lượng lớndữ liệu được lưu trữ trong các tệp dữ liệu lớn trong cơ sở dữ liệu lỗi phân tán đượcchia sẻ. - Bước cuối cùng áp dụng các công cụ phân tích nhưnhư MapReduce, Spark, Splunk và Skytree có thể phân tíchbộ dữ liệu IoT lớn được lưu trữ. - Bốn cấp độ phân tích bắt đầutừ dữ liệu đào tạo, sau đó chuyển sang các công cụ phân tích, truy vấn,và báo cáo.C. - Kỹ thuật khai thác dữ liệu được phổ biến rộng rãitriển khai cho cả hai phương pháp cụ thể và tổng quátphân tích dữ liệu. - Sựphát triển của dữ liệu lớn cũngthay đổi yêu cầu phân tích. - Trong phần này, chúng tôi trình bày một số phương phápcó thể được thực hiện cho một số nghiên cứu trường hợp dữ liệu lớn.Một số phương pháp phân tích này có hiệu quả đối với dữ liệu IoT lớnphân tích. - Bộ dữ liệu đa dạng và kích thước to lớn đóng gópnhiều hơn trong những hiểu biết dữ liệu lớn. - Tổng quan về các phương pháp phân tích dữ liệu lớn.máy vectơ hỗ trợ (SVM) và hàng xóm gần nhất (KNN) cung cấp các phương phápphân loại. - SVM sử dụng lý thuyết học thống kêđể phân tích các mẫu dữ liệu và tạo các nhóm. - Phân loại có các phần mở rộng khác trong khiáp dụng một số lượng lớn trí tuệ và dữ liệu nhân tạokỹ thuật khai thác. - Do đó, phân loại là một trong nhữngkỹ thuật khai thác dữ liệu rộng rãi cho các phân tích dữ liệu lớn.Phân cụm là một kỹ thuật khai thác dữ liệu khác được sử dụng như là mộtphương pháp phân tích dữ liệu. - Như chúng ta đã trình bày trong Hình 2, nhómmột số lượng lớn các đối tượng ở dạng cụmThao tác dữ liệu đơn giản. - Xử lý dữ liệu được thựchiện trong hai cáchtheo quy tắc kết hợp. - Trong trường hợp phân tích dữ liệu lớn,yêu cầu xử lý được sửa đổi theo tính chấtvà khối lượng dữ liệu. - Phương pháp truy cập và khai thác dữ liệu nhanh chodữ liệu có cấu trúc và không cấu trúc là những mối quan tâm chính liên quan đếnphân tích dữ liệu lớn. - Hơn nữa, biểu diễn dữ liệu là một yêu cầu quan trọng trongphân tích dữ liệu lớn. - Phân tích chuỗi thời gian làm giảm tính chiều cao liên quanđến dữ liệu lớn vàcung cấp đại diện để cải thiện việc ra quyết định. - Phương pháp phân tích dữ liệu dựa trên quy tắc phân cụm và liên kếtđược áp dụng chocông nghiệp và quản trị điện tử và được áp dụng tốt trong y tế, thương mại điện tửvà tin sinh học. - Kiến trúc cho dữ liệu lớnphân tích cung cấp một thiết kế cho trừu tượng dữ liệu. - Kiến trúc này đạt đượcbằng cảm biến phổ biến khắp nơi, phân tích dữ liệu và biểu diễn thông tin với IoTlà kiến trúc thống nhất.Tuy nhiên, kiến trúc hiện tại tập trung vào IoT liên quan đếnđể liên lạc. - Theo hiểu biết của chúng tôi, kiến trúc được đề xuất của chúng tôi, tíchhợp IoT và phân tích dữ liệu lớn, đã khôngđã được nghiên cứu trong các tài liệu hiện tại. - Hình 3 minh họaKiến trúc IoT và phân tích dữ liệu lớn. - Phần trênlớp liên quan đến phân tích dữ liệu lớn, trong đó một lượng lớndữ liệu nhận được từ các cảm biến được lưu trữ trên đám mây vàtruy cập thông qua các ứng dụng phân tích dữ liệu lớn. - TRƯỜNG HỢP SỬ DỤNGPhần này trình bày một số trường hợp sử dụng cho IoT lớnphân tích dữ liệu. - Mặc dù các trường hợp sử dụng có liên quan đến IoTcác ứng dụng, các lựa chọn đã được hướng dẫn cho những ứng dụngđược sử dụng phổ biến nhất trong các ứng dụng IoT và cholượng dữ liệu có thể được tạo để phân tích.A. - Thu thập và phân tích dữ liệu đồng hồ thông minh trong IoTmôi trường hỗ trợ người ra quyết định trong việc dự đoán mức tiêu thụ điện. - Cuối cùng,phân tích dữ liệu IoT lớn cho phép chuỗi cung ứng thực thiquyết định và kiểm soát môi trường bên ngoài. - Những dữ liệu này sẽ là xương sống củachuỗi cung ứng được hỗ trợ bởi các công nghệ IoT. - NÔNG NGHIỆP THÔNG MINHNông nghiệp thông minh là trường hợp sử dụng có lợi trong dữ liệu IoT lớnphân tích. - Cảm biếntruyền dữ liệu thu được bằng cách sử dụng mạng và truyền thôngthiết bị. - Kiểm soát khíhậu tự độngtheo yêu cầu thu hoạch, kịp thời và kiểm soátthủy lợi và kiểm soát độ ẩm cho nấm phòng ngừa là ví dụ về các hành động đượcthực hiện dựa trên phân tích dữ liệu lớn khuyến nghị.E. - Hơn nữa, thông minhhệ thống đèn giao thông có thể gửi dữ liệu IoT được thu thập của họ lên đám mâylưu trữ để phân tích thêm. - Bảng 3 trình bày các trường hợp sử dụngIoT phân tích dữ liệu lớn.Như thể hiện trong Bảng 3, hầu hết các trường hợp sử dụng đều liên quan đếnCông nghệ truyền thông M2M và giảm vai trò củatương tác của con người. - Dữ liệu văn bản làtrong số các loại dữ liệu phổ biến được tạo bởi các thiết bị IoT,trong đó chủ yếu là cảm biến và máy ảnh. - Dữ liệu dựa trên văn bản làphù hợp để phân tích bởi các hệ thống tệp phân tán, chẳng hạn nhưHadoop.V. - IoT hiện tại cung cấp một số cơ hội phân tích dữ liệu cho các phân tích dữliệu lớn. - THƯƠNG MẠI ĐIỆN TỬPhân tích dữ liệu IoT lớn cung cấp các công cụ được thiết kế tốt để xử lýdữ liệu lớn thời gian thực, tạo ra kết quả kịp thời cho việc ra quyết định. - Dữ liệuIoT lớn thể hiện tính không đồng nhất, ngày càng tăngkhối lượng, và các tính năng xử lý dữ liệu thời gian thực. - Sự hội tụ của dữ liệu lớnvới IoT mang đến những thách thức mới vàcơ hội xây dựng môi trường thông minh. - CÁC KHOẢN THÔNG MINHDữ liệu lớn được thu thập từ các thành phố thông minh mang đến những cơ hộimới trong đó đạt được hiệu quả có thể đạt được thông qua mộtnền tảng / cơ sở hạ tầng phân tích phù hợp để phân tích lớn Dữ liệu IoT. - Hơn nữa, chi phí củalưu trữ dữ liệu đã được giảm đáng kể sau khi phát minhcủa công nghệ điện toán đám mây. - Tuy nhiên, các thiết bị IoT tạo rasố lượng lớn dữ liệu hàng ngày. - Hơn nữa, các công ty bán lẻ có thể kiếmthêm lợi nhuận bằng cách phân tích dữ liệu khách hàng,có thể dự đoán xu hướng và nhu cầu của hàng hóa. - Những thiết bị này tạo ra lượng dữ liệu khổng lồ. - Hơn nữa, phân tích dữ liệu cho phép chăm sóc sức khỏecác chuyên gia để chẩn đoán các bệnh nghiêm trọng trong giai đoạn đầu của họđể giúp cứu sống. - MỞ THÁCH THỨC VÀ HƯỚNG DẪN TƯƠNG LAIIoT và phân tích dữ liệu lớn đã được chấp nhận rộng rãibởi nhiều tổ chức. - Phần này trình bày một sốnhững thách thức trong lĩnh vực phân tích dữ liệu IoT lớn.A. - Vớiphổ biến các công nghệ phân tích dữ liệu lớn được sử dụng trong lớnDữ liệu IoT, vấn đề riêng tư đã trở thành vấn đề cốt lõi trongmiền khai thác dữ liệu. - Vì vậy, triển khai các giải pháp bảo mật này làkhó khăn cho dữ liệu tăng động. - KHAI THÁC DỮ LIỆUPhương pháp khai thác dữ liệu cung cấp các giải pháp dự đoán hoặc mô tả phù hợpvà hiệu quả nhất cho dữ liệu lớn cũng có thể làtổng quát cho dữ liệu mới [45]. - Sự phát triển của dữ liệu IoT lớnvà nền tảng điện toán đám mây đã mang đến những thách thức củathăm dò dữ liệu và khai thác thông tin [79]. - Hơn nữa, vấn đề đồng bộ hóa có thểxảy ra trong điện toán song song, trong khi thông tin được trao đổitrong các phương pháp khai thác dữ liệu khác nhau. - Nút cổ chai dữ liệu nàyphương pháp khai thác đã trở thành một vấn đề mở trong dữ liệu IoT lớnphân tích cần được giải quyết.C. - TẦM NHÌNTrực quan hóa là một thực thể quan trọng trong phân tích dữ liệu lớn,đặc biệt là khi làm việc với các hệ thống IoT nơi có dữ liệutạo ra rất lớn. - Hơn nữa, tiến hành trực quan hóa dữ liệu là khó khăn vì kích thướclớn và kích thước cao của dữ liệu lớn. - Tuy nhiên,hình dung trong trường hợp dữ liệu không đồng nhất và đa dạng(không cấu trúc, cấu trúc và bán cấu trúc) là một nhiệm vụ đầy thách thức. - Thiết kếgiải pháp trực quan tương thíchvới các khung lập chỉ mục dữ liệu lớn tiên tiến là một khó khănbài tập. - Tương tự, thời gian đáp ứng là một yếu tố mong muốn trong IoT lớnphân tích dữ liệu. - Tuy nhiên, các phương pháp này không phù hợp với tất cảcác loại dữ liệu được trình bày. - (b) thông tinmất - áp dụng các phương pháp giảm cho các tập dữ liệu hiển thị có thểgây mất thông tin. - (d) hình ảnhthay đổi thường xuyên - người dùng sẽ không nhận thấythay đổi dữ liệu nhanh chóng trong một đầu ra. - Một số hướng dẫn về trực quan hóa trongdữ liệu lớn được trình bày [93], chẳng hạn như (a) nhận thức dữ liệu, tức là,chuyên môn miền thích hợp, (b) chất lượng dữ liệu - làm sạch dữ liệusử dụng chính sách quản lý thông tin hoặc quản trị dữ liệu,(c) kết quả có ý nghĩa - phân cụm dữ liệu được sử dụng để cung cấptrừu tượng cấp cao sao cho tầm nhìn của nhỏ hơncác nhóm dữ liệu là có thể, và (d) các ngoại lệ nên được loại bỏtừ dữ liệu hoặc được coi là một thực thể riêng biệt. - Chúng tôiđã thực hiện khảo sát này trong bối cảnh phân tích dữ liệu IoT lớn.Đầu tiên, chúng tôi khám phá các giải pháp phân tích gần đây. - Mối quan hệ giữaphân tích dữ liệu lớn và IoT cũng đã được thảo luận.Hơn nữa, chúng tôi đã đề xuất một kiến trúc cho các phân tích dữ liệu IoT lớn.Hơn nữa, các loại phân tích dữ liệu lớn, phương pháp vàcông nghệ khai thác dữ liệu lớn đã được trình bày. - Ngoài ra, chúng tôi đã khám phátên miền bằng cách thảo luận về các cơ hội khác nhau mang lạibởi các phân tích dữ liệu trong mô hình IoT
Xem thử không khả dụng, vui lòng xem tại trang nguồn hoặc xem
Tóm tắt