Ứng dụng bigdata trong việc giám sát và thống kê dữ liệu truy vấn hệ thống DNS quốc gia

- Đề tài: “Ứng dụng BigData trong việc giám sát và thống kê dữ liệu truy vấn hệ thống DNS Quốc gia” 2.
- Nội dung tóm tắt: a) Lý do chọn đề tài Hệ thống máy chủ tên miền quốc gia .VN chịu trách nhiệm phân giải địa chỉ cho toàn bộ các tên miền .VN, được xem là “trái tim” của mạng Internet Việt Nam.
- Đây là hệ thống thông tin trọng yếu hàng đầu của quốc gia theo quyết định số 632/QĐ-TTg ngày 10/5/2017 của Thủ tướng chính phủ.
- Hệ thống DNS Quốc gia hiện tại đang được thiết lập, quản lý và vận hành bởi Trung tâm Internet Việt Nam (VNNIC.
- Để đảm bảo cho hệ thống hoạt động an toàn và ổn định, tính đến thời điểm hiện tại đã có nhiều giải pháp và công nghệ được nghiên cứu và áp dụng, có thể kể đến trong đó như tiêu chuẩn an toàn bảo mật mở rộng hệ thống máy chủ DNS (DNSSEC), công nghệ DNS-Anycast, công nghệ cân bằng tải, IPv6.
- Bên cạnh các công nghệ, giải pháp đã áp dụng, việc theo dõi tình trạng hoạt động của hệ thống và phân tích hành vi truy cập của người dùng cũng góp phần rất quan trọng để đảm bảo hoạt động liên tục cho hệ thống DNS Quốc gia cũng như giúp phát hiện và cảnh báo sớm các bất thường để đưa ra các phương án xử lý, đảm bảo an toàn an ninh cho hệ thống.
- Các dữ liệu về hành vi truy vấn của người dùng cũng như đáp ứng của các máy chủ DNS hiện tại đang được lưu trữ tại các file log truy vấn và đã được VNNIC tiến hành thu thập, phân tích để đưa vào hệ thống giám sát và thống kê số liệu.
- Tuy nhiên với các công nghệ truyền thống đang áp dụng, các thông tin thu được từ việc thu thập, phân tích dữ liệu log truy vấn là đang rất hạn chế do khả năng lưu trữ và xử lý cũng như khả năng mở rộng hệ thống, tiêu chí thống kê, giám sát.
- Theo thống kê, hàng ngày trung bình có khoảng 200~300 triệu lượt truy vấn vào hệ thống máy chủ DNS Quốc gia, với kích thước dữ liệu log ở dạng thô là 60GByte.
- Chính vì vậy, việc nghiên cứu công nghệ, hướng tiếp cận mới để nâng cao năng lực xử lý cũng như khả năng lưu trữ và khai thác số liệu, áp dụng cho vào bài toán phân tích dữ liệu log truy vấn DNS đang là một yêu cầu cấp thiết.
- 2 Hiện nay trên thế giới đã có nhiều nghiên cứu, giải pháp, cũng như sản phẩm phần mềm để phục vụ cho việc phân tích, giám sát và thống kê dữ liệu log.
- Tiêu biểu trong các giải pháp và phần mềm phổ biến, được nhiều tổ chức, đơn vị đã và đang áp dụng để phân tích dữ liệu log có thể kể đến như Elastic Stack, Splunk, và công nghệ Big Data.
- So với Elastic Stack và Splunk, giải pháp công nghệ Big Data ứng dụng cho thu thập, phân tích, giám sát và thống kê log có mô hình phức tạp hơn, khó triển khai và quản lý hơn, đòi hỏi kinh nghiệm của cán bộ kỹ thuật.
- Tuy nhiên giải pháp công nghệ Big Data mang đến khả năng mở rộng hệ thống tốt hơn cả về năng lực xử lý cũng như khả năng lưu trữ.
- Hơn thế nữa, giải pháp Big Data có thể kết hợp với học máy, trí tuệ nhân tạo để khai thác được nhiều hơn thông tin, từ đó hỗ trợ đưa ra các quyết định về chính sách cũng như vận hành hệ thống.
- Hiện tại ứng dụng công nghệ Big Data để khai thác nguồn dữ liệu log, hỗ trợ khai thác và vận hành hệ thống, đảm bảo bản an toàn an ninh đang là xu thế chung của toàn cầu.
- Với hiện trạng và yêu cầu nêu trên, cùng với xu hướng nghiên cứu và áp dụng của thế giới, đề tài được lựa chọn để giải quyết hai vấn đề: 1/ Nghiên cứu công nghệ Big Data, áp dụng vào việc khai thác dữ liệu log.
- 2/ Thiết kế mô hình và triển khai các thành phần công nghệ Big Data để tiến hành thu thập, phân tích, lưu trữ và giám sát thống kê dữ liệu log truy vấn DNS trên hệ thống DNS Quốc gia, hỗ trợ đảm bảo an toàn an ninh cho hệ thống DNS Quốc gia.
- b) Mục đích nghiên cứu của luận văn, đối tượng, phạm vi nghiên cứu.
- Trong phạm vi của đề tài, không thể tham vọng sẽ tìm hiểu được toàn bộ công nghệ Big Data và các thành phần để khai thác các nguồn dữ liệu cũng như việc nghiên cứu về học máy và trí tuệ nhân tạo áp dụng để phân tích hành vi người dùng thông qua dữ liệu truy vấn DNS từ đó đưa ra các hỗ trợ quyết định về vận hành đảm bảo an toàn an ninh cho hệ thống DNS Quốc gia.
- Đối tượng và phạm vi nghiên cứu của đề tài sẽ tập trung vào tìm hiểu các thành phần cơ bản của hệ thống Big Data để phục vụ cho bài toán thu thập và phân tích, giám sát và thống kê dữ liệu log truy vấn DNS trên hệ thống DNS Quốc gia.
- Nghiên cứu tổng quan về công nghệ Big Data và các thành phần cơ bản để thực hiện khai thác nguồn dữ liệu log.
- Thiết kế mô hình và triển khai các thành phần để thu thập, phân tích và lưu trữ dữ liệu log truy vấn DNS dưới dạng kho dữ liệu (Data Warehouse) trong hệ thống Big Data.
- Cấu hình để đảm bảo hệ thống có tính sẵn sàng (high availability) cao.
- Xây dựng các tiêu chí giám sát, thống kê dữ liệu truy vấn DNS và triển khai hệ thống phân tích và giám sát log truy vấn DNS vào hệ thống máy chủ DNS Quôc gia theo các tiêu chí đã xây dựng.
- Phân tích để làm rõ yêu cầu về hướng tiếp cận mới áp dụng cho việc xây dựng hệ thống giám sát và thống kê dữ liệu log truy vấn hệ thống DNS Quốc gia với kích thước rất lớn.
- Tìm hiểu các giải pháp tương tự đang được áp dụng và triển khai trên thế giới, so sánh và lựa chọn ra giải pháp phù hợp nhất.
- Tìm hiểu và lựa chọn các thành phần của hệ thống quản lý dữ liệu lớn Big Data Hadoop phù hợp với bài toán phân tích dữ liệu log.
- Thực hiện thiết kế hệ thống đảm bảo khả năng chịu lỗi (Failover) và tính sẵn sàng cao (High Availability).
- Tính toán chi tiết quy mô hệ thống (sizing) và thực hiện triển khai hệ thống quản lý dữ liệu lớn Big Data Hadoop sử dụng công nghệ Cloudera Manager để tối ưu hóa năng lực hệ thống cũng như tiết kiệm nhân công quản trị và vận hành hệ thống.
- Tiến hành tìm hiểu các thông tin trong dữ liệu bản ghi log truy vấn DNS, từ đó thực hiện phân tích và làm giàu thông tin dữ liệu bằng công nghệ Big Data.
- Tổ chức lưu trữ dữ liệu và xây dựng hệ thống giám sát thống kê mới đảm bảo năng lực và mở rộng chức năng, tiêu chí giám sát thống kê so với hệ thống hiện tại.
- d) Phương pháp nghiên cứu.
- Phương pháp nghiên cứu được sử dụng là phân tích và thử nghiệm đánh giá kết quả.
- Từ việc phân tích, tổng hợp tình hình thực tế về khai thác dữ liệu log truy vấn hệ thống DNS Quốc gia để hỗ trợ giám sát, đảm bảo an toàn an ninh cho hệ thống, để rút ra, kết luận được giải pháp hiện tại không phù hợp với kích thước dữ liệu và chỉ ra các yêu cầu và nghiên cứu tìm giải pháp phù hợp.
- Nghiên cứu công nghệ, thiết kế mô hình và triển khai thử nghiệm thu thập, xử lý, phân tích dữ liệu và đưa ra hệ thống giám sát thống kê dữ liệu log truy vấn hệ thống DNS Quốc gia.
- Đánh giá kết quả thử nghiệm và tính toán quy mô dữ liệu để triển khai áp dụng trong thực tế.
- e) Kết luận Vấn đề khai thác thông tin từ dữ liệu log truy vấn DNS từ đó phân tích hành vi truy cập của người dùng để đảm bảo hoạt động liên tục cho hệ thống DNS Quốc gia cũng như phát hiện và cảnh báo sớm các bất thường và đưa ra các phương án xử lý, đảm bảo an toàn an ninh cho hệ thống hiện tại đang là vấn đề rất được quan tâm để đảm bảo cho sự ổn định mạng Internet của mỗi quốc gia.
- Tại Việt Nam, đơn vị thiết lập, quản lý và 4 vận hành hệ thống DNS Quốc gia là Trung tâm Internet Việt Nam (VNNIC.
- Bộ Thông tin và Truyền thông đã và đang áp dụng các giải pháp, công nghệ để tiến hành khai thác dữ liệu log truy vấn DNS nói trên, tuy nhiên do hạn chế về công nghệ xử lý và lưu trữ nên các thông tin thu thập được là rất hạn chế, cũng như khó mở rộng các tiêu chí thống kê giám sát.
- Với đề tài “Ứng dụng BigData trong việc giám sát và thống kê dữ liệu truy vấn hệ thống DNS Quốc gia”, luận văn đã tiến hành phân tích chi tiết nguyên nhân các điểm hạn chế của công nghệ và hệ thống hiện tại, từ đó đưa ra các yêu cầu cho hướng tiếp cận mới và cụ thể là lựa chọn giải pháp ứng dụng công nghệ Big Data Hadoop dựa trên đặc điểm nổi bật của giải pháp này so với các giải pháp tương tự.
- Luận văn cũng đã tiến hành tìm hiểu về các thành phần của hệ thống quản lý dữ liệu lớn Big Data Hadoop để lựa chọn ra các thành phần phù hợp với bài toán, đưa vào thiết kế và tính toán chi tiết quy mô hệ thống theo yêu cầu lưu trữ và khai thác số liệu và thực hiện triển khai hệ thống theo thiết kế để thực hiện thu thập, phân tích và xử lý dữ liệu log truy vấn hệ thống DNS Quốc gia với kích thước dữ liệu lớn.
- Hệ thống giám sát và thống kê mới có năng lực vượt trội và bổ sung nhiều tính năng cũng như tiêu chí giám sát thống kê mới so với hệ thống hiện tại.
- Sản phẩm của đề tài đã được triển khai thực tế và áp dụng vào công tác khai thác vận hành hệ thống máy chủ DNS Quốc gia.

Xem thử không khả dụng, vui lòng xem tại trang nguồn
hoặc xem Tóm tắt