- TRẦN CẢNH TOÀN ỨNG DỤNG BIGDATA TRONG VIỆC GIÁM SÁT VÀ THỐNG KÊ DỮ LIỆU TRUY VẤN HỆ THỐNG DNS QUỐC GIA Chuyên ngành : Kỹ thuật phần mềm LUẬN VĂN THẠC SĨ KHOA HỌC CHUYÊN NGÀNH KỸ THUẬT PHẦN MỀM NGƯỜI HƯỚNG DẪN KHOA HỌC : PGS. - Tổng quan về hệ thống máy chủ DNS Quốc gia. - Mô hình và chức năng của hệ thống DNS Quốc gia. - Hoạt động truy vấn tên miền qua hệ thống máy chủ DNS Quốc gia. - Dữ liệu log truy vấn DNS trên hệ thống DNS Quốc gia. - Hiện trạng hệ thống phân tích, giám sát và thống kê log truy vấn DNS. - Mô hình tổng quan và các chức năng của hệ thống. - Nguyên tắc hoạt động của hệ thống. - Các hạn chế của hệ thống hiện tại. - Các thành phần cơ bản của hệ thống Big Data Hadoop. - 51 Chương 3 : XÂY DỰNG HỆ THỐNG GIÁM SÁT, THỐNG KÊ DỮ LIỆU LOG TRUY VẤN DNS QUỐC GIA DỰA TRÊN CÔNG NGHỆ BIGDATA. - Áp dụng công nghệ Big Data Hadoop vào bài toán giám sát và thống kê dữ liệu log truy vấn DNS. - Thiết kế mô hình triển khai hệ thống giám sát, thống kê log truy vấn DNS Quốc gia. - Kích thước và quy mô hệ thống. - Xây dựng hệ thống giám sát và thống kê dữ liệu log truy vấn DNS sử dụng Big Data Hadoop. - Thu thập và phân tích log truy vấn DNS. - Tổ chức để lưu trữ log truy vấn DNS. - Trực quan dữ liệu log truy vấn DNS để phục vụ giám sát, thống kê. - Kết quả triển khai hệ thống. - Giao diện tổng thể hệ thống. - Đồ thị lưu lượng truy vấn DNS. - Danh sách các địa chỉ IP truy vấn nhiều nhất. - Danh sách các tên miền GTLD được truy vấn nhiều nhất. - Danh sách các tên miền .VN được truy vấn nhiều nhất. - Biểu đồ thống kê nguồn truy vấn DNS theo quốc gia. - Bản đồ nhiệt các khu vực trên thế giới về truy vấn DNS Quốc gia. - Biểu đồ thống kê các loại bản ghi được truy vấn. - Biểu đồ thống kê về tỷ lệ sử dụng IPv4 – IPv6 trong truy vấn DNS. - Biểu đồ thống kê về tỷ lệ truy vấn DNSSEC. - Biểu đồ thống kê về giao thức truyền vận trong truy vấn DNS. - Bảng dữ liệu các truy vấn mới nhất trên hệ thống. - Thực nghiệm về hiệu năng hệ thống. - 93 Phụ lục 1: Cài đặt và cấu hình máy chủ hệ thống Big Data Hadoop. - CSDL Database Cơ sở dữ liệu ISP Internet Service Provider Nhà cung cấp dịch vụ Internet CNTT Information Technology Công nghệ thông tin 2 DANH MỤC CÁC HÌNH VẼ Hình 1: Hoạt động truy vấn tên miền qua hệ thống máy chủ DNS Quốc gia (nguồn VNNIC. - 9 Hình 2: Các bước trong quá trình truy vấn tên miền “.vn” (nguồn VNNIC. - 10 Hình 3: Mô hình logic hệ thống giám sát, thống kê Log truy vấn DNS hiện tại. - 12 Hình 4: Giao diện giám sát chung dữ liệu truy vấn DNS. - 14 Hình 5: Giao diện giám sát lưu lượng truy vấn trên một cụm máy chủ DNS. - 15 Hình 6: Giao diện giám sát lưu lượng truy vấn trên một máy chủ DNS. - 15 Hình 7: Nguyên tắc hoạt động hệ thống phân tích log truy vấn DNS. - Nguyên tắc hoạt động hệ thống giám sát lưu lượng truy vấn DNS. - Mô hình hoạt động của hệ thống thống kê tập trung. - 27 Hình 13: Mô hình hệ thống phân tích dữ liệu DNS của Hà Lan [2. - 29 Hình 14: Mô hình giải pháp Splunk để giám sát hệ thống CNTT [14. - 33 Hình 16: Các thành phần cơ bản của hệ thống Big Data Hadoop [13. - 36 Hình 17: Mô hình triển khai của hệ thống tập tin HDFS [13. - 37 Hình 18: Mô hình lưu trữ file trên hệ thống tập tin HDFS [13. - 50 Hình 25: Giao diện hệ thống Cloudera Manager. - 53 Hình 26: Kiến trúc hệ thống Cloudera Manager [13. - 56 Hình 28: Mô hình hệ thống giám sát và thống kê dữ liệu log truy vấn DNS. - 66 Hình 34: Truy vấn dữ liệu trên HDFS với HiveQL [13. - 78 Hình 38: Giao diện hệ thống giám sát và thống kê dữ liệu truy vấn DNS quốc gia . - 81 3 Hình 39: Đồ thị lưu lượng truy vấn DNS. - 82 Hình 41: Bảng danh sách các tên miền GTLD được truy vấn nhiều nhất. - 83 Hình 42: Bảng danh sách các tên miền .VN được truy vấn nhiều nhất. - 84 Hình 43: Biểu đồ thống kê các quốc gia truy vấn vào hệ thống DNS Quốc gia. - 86 Hình 47: Biểu đồ thống kê về tỷ lệ truy vấn DNSSEC. - 87 Hình 48: Biểu đồ thống kê về giao thức truyền vận trong truy vấn DNS. - 87 Hình 49: Bảng dữ liệu các truy vấn mới nhất trên hệ thống. - 99 5 MỞ ĐẦU Hệ thống máy chủ tên miền quốc gia .VN chịu trách nhiệm phân giải địa chỉ cho toàn bộ các tên miền .VN, được xem là “trái tim” của mạng Internet Việt Nam. - Hệ thống DNS Quốc gia hiện tại đang được thiết lập, quản lý và vận hành bởi Trung tâm Internet Việt Nam (VNNIC. - Các dữ liệu về hành vi truy vấn của người dùng cũng như đáp ứng của các máy chủ DNS hiện tại đang được lưu trữ tại các file log truy vấn và đã được VNNIC tiến hành thu thập, phân tích để đưa vào hệ thống giám sát và thống kê số liệu. - Theo thống kê, hàng ngày trung bình có khoảng 300 triệu lượt truy vấn vào hệ thống máy chủ DNS Quốc gia, với kích thước dữ liệu log ở dạng thô là 60GB. - 2/ Thiết kế mô hình và triển khai các thành phần công nghệ Big Data để tiến hành thu thập, phân tích, lưu trữ và giám sát thống kê dữ liệu log truy vấn DNS trên hệ thống DNS Quốc gia, hỗ trợ đảm bảo an toàn an ninh cho hệ thống DNS Quốc gia. - Đối tượng và phạm vi nghiên cứu của đề tài sẽ tập trung vào tìm hiểu các thành phần cơ bản của hệ thống Big Data để phục vụ cho bài toán thu thập và phân tích, giám sát và thống kê dữ liệu log truy vấn DNS trên hệ thống DNS Quốc gia. - Thiết kế mô hình và triển khai các thành phần để thu thập, phân tích và lưu trữ dữ liệu log truy vấn DNS dưới dạng kho dữ liệu (Data Warehouse) trong hệ thống Big Data. - Cấu hình để đảm bảo hệ thống có tính sẵn sàng (high availability) cao. - Xây dựng các tiêu chí giám sát, thống kê dữ liệu truy vấn DNS và triển khai hệ thống phân tích và giám sát log truy vấn DNS vào hệ thống máy chủ DNS Quôc gia theo các tiêu chí đã xây dựng. - Kết quả khoa học và thực tiễn của đề tài: Đề tài có tính khả thi cao, có thể áp dụng được vào trong thực tiễn để tiến hành thu thập, phân tích, giám sát và thống kê về tình hình truy vấn tên miền thông qua hệ thống máy chủ DNS Quốc gia. - Bố cục của luận văn: Luận văn được bố cục thành 4 chương: Chương 1 trình bày tổng quan về hệ thống máy chủ tên miền (DNS) Quốc gia .VN và hiện trạng của hệ thống giám sát và thống kê dữ liệu log truy vấn DNS hiện tại, chỉ ra các điểm còn tồn tại và nguyên nhân của hệ thống hiện tại cũng như công nghệ truyền thống đang áp dụng. - Chương 3 trình bày về thiết kế hệ thống giám sát và thống kê dữ liệu log truy vấn hệ thống DNS Quốc gia sử dụng công nghệ Big Data Hadoop. - tiến hành thu thập, phân tích dữ liệu log truy vấn trên các máy chủ DNS. - và xây dựng hệ thống giám sát, thống kê log truy vấn DNS dựa trên các tiêu chí giám sát, thống kê đã xây dựng. - Cấu hình hệ thống để đảm bảo tính sẵn sàng (high availability) cao. - Tổng quan về hệ thống máy chủ DNS Quốc gia 1.1.1. - Mô hình và chức năng của hệ thống DNS Quốc gia Hệ thống máy chủ tên miền quốc gia .VN là hệ thống kỹ thuật nhằm đảm bảo hoạt động cho tên miền quốc gia .VN trên Internet. - Trung tâm Internet Việt Nam - Bộ Thông tin và Truyền thông thiết lập, quản lý và vận hành hệ thống máy chủ tên miền quốc gia .VN. - Hệ thống máy chủ tên miền quốc gia .VN thực hiện các nhiệm vụ chính như sau. - Quản lý không gian tên miền cấp quốc gia .VN và các tên miền cấp 2 dùng chung thuộc hệ thống tên miền .VN (com.vn, net.vn, org.vn. - Hiện tại hệ thống máy chủ DNS Quốc gia gồm 7 cụm máy chủ, trong đó 5 cụm máy chủ đặt trong nước (tại Hà Nội, TP.HCM, Đà nẵng), 2 cụm máy chủ đặt ở nước ngoài tại nhiều điểm trên thế giới. - Hoạt động truy vấn tên miền qua hệ thống máy chủ DNS Quốc gia Khi người dùng sử dụng các dịch vụ dựa trên tên miền như truy cập website hay gửi email. - Thông thường, việc truy vấn tên miền sẽ được thực hiện thông qua hệ thống máy chủ DNS của các nhà cung cấp dịch vụ Internet (ISP). - Với các tên miền .VN, hệ thống máy chủ tên miền của các ISP sẽ truy vấn lên hệ thống máy chủ ROOT server hoặc hệ thống máy chủ tên miền đệm (Caching DNS) của VNNIC và từ đó truy vấn hệ thống máy chủ tên miền quốc gia để tìm kiếm thông tin và trả lời truy vấn. - Hình 1: Hoạt động truy vấn tên miền qua hệ thống máy chủ DNS Quốc gia (nguồn VNNIC) Quá trình truy vấn tên miền khi người dùng Internet Việt Nam thực hiện truy vấn tên miền .vn sẽ diễn ra như sau (ví dụ với tên miền home.vnn.vn): 1. - Chương trình trên máy người sử dụng (trình duyệt) sẽ truy vấn hệ thống máy chủ tên miền của ISP mà người dùng kết nối. - Hệ thống máy chủ tên miền của ISP sẽ tiếp nhận và gửi truy vấn này lên hệ thống máy chủ ROOT để tìm kiếm máy chủ quản lý tên miền home.vnn.vn. - Hệ thống máy chủ ROOT Server nhận được truy vấn và tiến hành tìm kiếm trong cơ sở dữ liệu tên miền để trả lời. - Căn cứ theo dữ liệu đã có, máy chủ ROOT Server sẽ trả lời cho máy chủ của ISP các thông tin (địa chỉ IP, tên máy chủ) của máy chủ thuộc hệ thống máy chủ tên miền quốc gia .vn. - Hệ thống máy chủ ISP sẽ truy vấn máy chủ quản lý các tên miền quốc gia để tìm kiếm thông tin về tên miền home.vnn.vn. - Hệ thống máy chủ tên miền quốc gia sẽ tiến hành tìm kiếm dữ liệu và cung cấp thông tin cho máy chủ ISP về máy chủ quản lý tên miền vnn.vn. - Hệ thống máy chủ của ISP sẽ truy vấn máy chủ của VDC để tìm kiếm địa chỉ trang web home.vnn.vn. - Máy chủ của VDC quản lý không gian tên miền vnn.vn nên nó có thông tin về địa chỉ của tên miền home.vnn.vn và tiến hành cung cấp địa chỉ IP này cho hệ thống DNS của ISP. - Hệ thống DNS của ISP trả lời người sử dụng địa chỉ IP của máy chủ có trang web home.vnn.vn. - Hình 2: Các bước trong quá trình truy vấn tên miền “.vn” (nguồn VNNIC) 11 1.1.3. - Dữ liệu log truy vấn DNS trên hệ thống DNS Quốc gia a. - Khuôn dạng và thông tin dữ liệu log Hệ thống máy chủ DNS Quốc gia được cấu hình để lưu lại toàn bộ thông tin về truy vấn tên miền vào log file dưới định dạng là một file text với mỗi truy vấn là một dòng trong log file, có cấu trúc như sau: QUERYTIME (dd-MMM-yyyy HH:mm:ss.SSS) queries: info: client CLIENTIP#CLIENTPORT (DOMAIN): query : DOMAIN CLASS RECORDTYPE QUERYTYPE (SERVERIP). - Tên miền được truy vấn: có thể là tên miền .vn hoặc tên miền GTLD. - Các thông tin về loại truy vấn: o. - đệ quy o S: truy vấn đã được ký (signed) o E: truy vấn sử dụng giao thức DNS mở rộng (EDNS) o T: truy vấn sử dụng giao thức TCP (mặc định là UDP). - o D: truy vấn DNSSEC
Xem thử không khả dụng, vui lòng xem tại trang nguồn hoặc xem
Tóm tắt