- Tôi đã làm đồ án tốt nghiệp cao học CNTT với tên đề tài: “Áp dụng công nghệ xử lý song song và mô hình biểu diễn GIS để xử lý, khai thác và biểu diễn dữ liệu thu đa kênh”, do thầy giáo TS. - 7 CHƯƠNG I: KHẢO SÁT HỆ THỐNG THU DỮ LIỆU ĐA KÊNH. - 14 I.1.1.3 Phương thức xử lý dữ liệu. - 16 I.1.2.3 Phương thức xử lý dữ liệu. - Yêu cầu của hệ thống xử lý song song dữ liệu thu đa kênh. - 19 I.3.1 Mô hình chung của hệ thống thu và xử lý dữ liệu đa kênh. - Cấu trúc dữ liệu trong GIS. - 33 II.2.3.1 Cơ sở dữ liệu của GIS. - 33 2 II.2.3.2 Cấu trúc dữ liệu Raster. - 33 II.2.3.3 Cấu trúc dữ liệu Vector. - 43 CHƯƠNG III: THIẾT KẾ HỆ THỐNG SONG SONG XỬ LÝ DỮ LIỆU THU ĐA KÊNH. - Thiết kế cơ sở dữ liệu. - 47 III.3.1 Thiết kế dữ liệu tổng thể. - 47 III.3.2 Thiết kế dữ liệu chi tiết. - 49 III.3.2.1 Dữ liệu bản đồ. - 49 III.3.2.2 Dữ liệu thuộc tính. - 54 III.4.3 Module đồng bộ dữ liệu. - Yêu cầu hệ thống. - 40 Bảng III.1: Mô tả dữ liệu danh bạ điện thoại. - 51 Bảng III.2: Bảng mô tả cấu trúc dữ liệu nội dung các cuộc trao đổi. - 74 Bảng IV.2: Bảng các chứng năng khai thác dữ liệu. - 8 Hình I.2: Mô hình thu dữ liệu từ vệ tinh. - 58 Hình III.5: Mô hình đồng bộ dữ liệu giữa MTSS và DHS. - Mô hình đồng bộ dữ liệu. - 62 Hình III.7: Sơ đồ tổ chức dữ liệu của hệ thống. - Với sự thành công này, hệ thống ghép cụm xử lý song song rất phù hợp cho việc áp dụng xử lý dữ liệu thu đa kênh nhằm. - Dữ liệu được khai thác một cách nhanh chóng, kịp thời đảm bảo tính thời sự. - Để biểu diễn, khai thác và xử lý kết quả một cách chính xác, đưa ra các quyết định kịp thời, mô hình biểu diễn các đối tượng trên nền GIS( Geographical Information Systems) được xem là phù hợp cho các kết quả dữ liệu thu đa kênh. - Giúp cho người sử dụng khai thác dữ liệu một cách trực quan, tránh gây nhầm lẫn. - Thu giải mã dữ liệu Anten 20-500 MHz Anten 300-3000 MHz Hình I.3: Hệ thống thu tin sóng HF,VHF,UHF. - Phần mềm xử lý và quản trị hệ thống: Điều hành đồng bộ toàn hệ thống giữa các mạng thu trong thời gian thực, phân tích xử lý OFF-LINE, mạng định hướng, mạng khai thác xử lý dữ liệu thu và mạng chỉ huy. - Yêu cầu của hệ thống xử lý song song dữ liệu thu đa kênh I.3.1 Mô hình chung của hệ thống thu và xử lý dữ liệu đa kênh Qua việc nghiên cứu các hệ thống thu hiện có và các mô hình xử lý thông tin của các hãng quốc tế nhìn chung một quy trình xử lý hoàn chỉnh gồm hai giai đoạn. - Quản lý, khai thác, biểu diễn dữ liệu thu. - Đây chính là vấn đề luận văn tốt nghiệp cao học ”Áp dụng công nghệ xử lý song song và mô hình biểu diễn GIS để xử lý, khai thác và biểu diễn dữ liệu thu đa kênh” muốn đề cập và giải quyết. - Với bài toán xử lý dữ thu đa kênh, để giải quyết việc khai thác một kho dữ liệu khổng lồ, việc khai thác sẽ được thực hiện đồng thời trên từng phần của kho dữ liệu bởi các nodes trong hệ thống xử lý song song. - Với mô hình I.5, hệ thống song song xử lý dữ liệu thu đa kênh sẽ. - Với hệ thống xử lý dữ liệu thu đa kênh, các đối tượng trao đổi thông tin đều được quản lý thông qua. - Vị trí địa lý và Dữ liệu thuộc tính Thông qua việc lưu trữ và khai thác của Hệ thống thông tin địa lý(GIS) có thể biểu diễn toạ độ địa lý và các thuộc tính đặc trưng của mỗi đối tượng một cách trực quan. - Chương tiếp theo luận văn sẽ trình bầy chi tiết cơ sở lý thuyết về công nghệ xử lý song song, môi trường xử lý song song và mô hình biểu diễn dữ liệu khai thác trên nền GIS. - Phần sau sẽ trình bầy sơ qua một số khái niệm và cấu trúc dữ liệu trong GIS. - GIS quản lý thông tin qua 3 loại dữ liệu: điểm, đường, miền (vùng) và được tổ chức theo 2 cấu trúc: Vector và Raster. - Trình bầy tốt các cấu trúc dữ liệu dị thường. - Nén cấu trúc dữ liệu. - Cấu trúc dữ liệu phức tạp. - Cấu trúc dữ liệu đơn giản. - Bộ nhớ chứa các dữ liệu đồ hoạ lớn. - Với những lý do này Linux được chọn là hệ điều hành cho các nodes trong hệ thống xử lý dữ liệu thu đa kênh. - Việc song song sẽ theo hai hướng là song song xử lý thuật toán và song song xử lý dữ liệu. - Bảng sau liệt kê các kiểu dữ liệu cơ bản của MPI trong ngôn ngữ C. - 43 Trong hệ thống xử lý dữ liệu đa kênh, mặc dù MPI không tham gia vào việc tính toán nhưng đóng vai trò hết sức quan trọng trong việc truyền thông điệp giữa các nodes (các tiến trình). - Sau khi nghiên cứu qua cơ sở lý thuyết phần cứng, hệ điều hành, môi trường song song, chương tiếp theo luận văn sẽ trình bầy thiết kế hệ thống song song xử lý dữ liệu thu đa kênh. - Dữ liệu khai thác có thể từ vệ tinh hay thu tin sóng HF,VHF,UHF. - Các loại dữ liệu thu từ hai nguồn này có thể dưới dạng. - Chương này luận văn sẽ trình bầy mô hình xử lý song song và biểu diễn GIS để xử lý và khai thác dữ liệu là thông tin các cuộc trao đổi của các đối tượng là điện thoại. - Thông tin trao đổi giữa các đối tượng dạng này thường là thông tin thoại hay các bản fax,… Trên cơ sở hạ tầng hiện có, hệ thống song song xử lý, khai thác và biểu diễn dữ liệu thu đa kênh được mô tả chi tiết như sau: Đầu vào của bài toán. - Các tệp cơ sở dữ liệu lưu trữ danh bạ điện thoại. - Các tệp cơ sở dữ liệu địa lý lưu trữ các lớp bản đồ. - CHƯƠNG III 46 Tệp cơ sở dữ liệu lưu trữ tọa độ địa lý của các đối tượng điện thoại. - Các tệp cơ sở dữ liệu lưu trữ thuộc tính và nội dung của các cuộc trao đổi thông tin (dữ liệu thoại, fax. - Lưu trữ và tổ chức thông tin dữ liệu thu đa kênh - Tra cứu thông tin của các đối tượng điện thoại. - Thiết kế hệ thống tổng thể Hệ thống song song xử lý dữ liệu thu đa kênh được thiết kế theo một số yêu cầu như: Chức năng hệ thống Thu nhận, lưu trữ và tổ chức thông tin dữ liệu thu đa kênh. - Tổ chức dữ liệu địa lý. - 47 Tìm kiếm các cuộc trao đổi trên tập cơ sở dữ liệu. - Thống kê các cuộc trao đổi trên tập cơ sở dữ liệu. - Thiết kế cơ sở dữ liệu III.3.1 Thiết kế dữ liệu tổng thể Hệ thống xử lý dữ liệu đa kênh gồm một số loại dữ liệu như: dữ liệu thông tin về các đối tượng (dữ liệu thuộc tính, địa lý), dữ liệu các cuộc trao đổi thu được giữa các đối tượng. - Dữ liệu của hệ thống có thể nhìn tổng quan qua công thức sau: Dữ liệu hệ thống = Cơ sở dữ liệu điện thoại + Cơ sở dữ liệu GIS + Dữ liệu các cuộc trao đổi(dữ liệu khai thác). - Dữ liệu thuộc tính của các đối tượng điện thoại: Số điện thoại, tên chủ sở hữu, địa chỉ. - Hệ thống song song xử lý dữ liệu đa kênh sử dụng quản lý dữ liệu theo các cấu trúc bản ghi và quan hệ giữa các khoá. - Dữ liệu thuộc tính thể hiện qua các thuộc tính của đối tượng như: số điện thoại, tên đơn vị sở hữu. - III.3.2.1 Dữ liệu bản đồ Dữ liệu bản đồ trong hệ thống được sử dụng để xác định toạ độ vị trí của các đối tượng trên bản đồ. - Dữ liệu bản đồ sẽ được lưu trữ thành các lớp (layer) như sau. - Cơ sở dữ liệu bản đồ lớp quận huyện: Biểu diễn danh giới giữa các quận huyện trong một tỉnh, thành phố thông qua lớp vùng. - Cơ sở dữ liệu lớp địa danh quận, huyện: Biểu diễn tên địa danh của các quận, huyện trên bản đồ thông qua lớp văn bản. - Cơ sở dữ liệu bản đồ lớp phường xã: Biểu diễn danh giới giữa các phường, xã của một quận, huyện thông qua lớp vùng. - Cơ sở dữ liệu lớp địa danh phường xã: Biểu diễn tên địa danh của các phường, xã trên bản đồ thông qua lớp văn bản. - III.3.2.2 Dữ liệu thuộc tính Dữ liệu thuộc tính được sử dụng để biểu diễn các thuộc tính của đối tượng và các thuộc tính biểu diễn thông tin trao đổi giữa các đối tượng. - CHAR(8) END_DATE Ngày kết thúc cuộc trao đổi CHAR(10) TYPE Cho biết đây là cuộc gọi điện thoại (voice) hay một bản fax, mail Byte PATH Tên file chứa nội dung cuộc trao đổi (voice, fax, mail) CHAR(20) Bảng III.2: Bảng mô tả cấu trúc dữ liệu nội dung các cuộc trao đổi Cơ sở dữ liệu này phục vụ cho việc khai thác thông tin và sẽ lớn lên rất nhiều theo thời gian. - Hệ thống xử lý song song dữ liệu đa kênh cũng không phải là một ngoại lệ và được thiết kế thành 4 modules. - Module thu thập đồng bộ dữ liệu Module khai thác, tìm kiếm và thống kê song song. - 53 Mô hình hoá các module trong hệ thống được biểu diễn như sau: Module giao diện hệ thống Module thu nhận, đồng bộ dữ liệu Module truyền thông Người sử dụng Lịch thực hiện Module khai thác dữ liệu Hình III.2: Mô hình tổng thể các module Mô hình III.2 cho thấy. - Module giao diện hệ thống được cài đặt tại tiến trình chủ - Còn lại 3 module: Module truyền thông, module thu nhận, đồng bộ dữ liệu, module khai thác dữ liệu được cài đặt tại tất cả các tiến trình. - Khi đó quá trình gửi nhận dữ liệu sẽ được thực hiện cho đến khi kết thúc. - III.4.3 Module đồng bộ dữ liệu Module đồng bộ dữ liệu làm nhiệm vụ nhận dữ liệu từ DHS(Dataware House Server) về hệ thống khai thác song song. - 62 Trong mô hình III.5, DHS sẽ thu nhận, phân loại và tổ chức dữ liệu thu được liên tục theo thời gian thực, quá trình đồng bộ dữ liệu sẽ diễn ra giữa hệ thống xử lý song song và DHS theo một lịch trình hay qua giao diên người sử dụng. - Mô hình đồng bộ dữ liệu Hình III.6 cho thấy 3 luồng chính trong hệ thống máy tính song song. - Luồng này được thực hiện liên tục từ DHS về node server của hệ thống MTSS mỗi khi có dữ liệu mới. - Người quản trị dữ liệu hệ thống có thể dựa vào đó để ra quyết định xem có cập nhật dữ liệu mới hay không. - Do lượng dữ liệu thu đa kênh là rất lớn, nên quá trình khai thác sẽ được thực hiện song song trên từng đoạn dữ liệu bởi các tiến trình tớ. - Việc phân chia các đoạn dữ liệu cho các tiến trình (các nodes) sẽ được thực hiện bởi tiến trình chủ (Master node). - Là một trong 4 modules chính xây dựng lên hệ thống song song xử lý dữ liệu thu đa kênh, module quản lý có nhiệm vụ liên kết các modules khác tạo nên hệ thống hoàn chỉnh. - Chương này đã giới thiệu về cấu trúc dữ liệu và các modules của hệ thống, chương tiếp theo sẽ trình bầy một số cài đặt thử nghiệm và đánh giá hiệu năng của hệ thống. - Thư viện lập trình song song Trên Linux khi cài đặt lên mặc định đã có sẵn phần mềm LAM/MPI, nhưng hệ thống xử lý song song dữ liệu đa kênh sử dụng gói MPICH/MPI để làm nền tảng cho các hàm truyền thông vì một số lý do sau. - Chính vì thế hệ thống xử lý dữ liệu đa kênh đã sử dụng. - Bảng IV.2: Bảng các chứng năng khai thác dữ liệu Với danh mục chức năng này, người sử dụng có thể lựa chọn tuỳ theo nhu cầu. - 83 CHƯƠNG V: KẾT LUẬN VÀ KIẾN NGHỊ V.1 Tổng quan những kết quả đạt được Hệ thống song song xử lý dữ liệu thu đa kênh là sự kết hợp của mô hình xử lý song song và mô hình biểu diễn quản lý thông tin đối tượng trên nền GIS. - Dữ liệu thử nghiệm gồm: Cơ sở dữ liệu thuộc tính. - 1 file chứa danh bạ sổ đỏ ( sodo.db) chiếm khoảng 300KB - 10 files dữ liệu( thử nghiệm) chứa thông tin trao đổi giữa các đối tượng chiếm khoảng 10GB dữ liệu. - Cơ sở dữ liệu không gian. - File dữ liệu địa danh (Diadanh.mif -1.87 KB. - Với mô hình xử lý song song, hệ thống giúp cho các cán bộ trinh sát điện tử có thể khai thác triệt để kho dữ liệu thu từ vệ tinh và các hệ thống sóng ngắn một các nhanh chóng và hiệu quả, giải quyết được tình trạng bỏ sót hay thất lạc thông tin
Xem thử không khả dụng, vui lòng xem tại trang nguồn hoặc xem
Tóm tắt