- BÙI HẢI PHONG CÔNG NGHỆ LƯỚI DỮ LIỆU HỖ TRỢ CHIA SẺ DỮ LIỆU TRỰC TUYẾN Chuyên ngành : CÔNG NGHỆ THÔNG TIN LUẬN VĂN THẠC SĨ KỸ THUẬT CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC TS. - 11 1.1 Bài toán chia sẻ dữ liệu. - 17 2.1 Tổng quan về lưới dữ liệu (Data Grid. - 17 2.1.2 Phân loại lưới dữ liệu. - 19 2.1.3 Đặc điểm của lưới dữ liệu. - 22 2.1.4 Các thành phần của công nghệ lưới dữ liệu được áp dụng vào bài toán. - 38 Chương 3: XÂY DỰNG TẦNG LƯỚI DỮ LIỆU. - Mô hình lưới dữ liệu của hệ thống. - 40 3.2 Các chức năng triển khai trên lưới dữ liệu. - 49 4.1.1 Cơ chế Upload tệp của hệ thống. - 54 4.2.1 Cơ chế Download tệp của hệ thống. - 57 4.4 Chia sẻ dữ liệu cho người dùng. - 63 4.5 Chức năng đồng bộ hóa dữ liệu. - 69 4.5.1 Mô hình chức năng đồng bộ dữ liệu. - 69 4.5.2 Xây dựng tiện ích đồng bộ hóa dữ liệu. - Các anh đã giúp đỡ rất nhiều để tôi có thể hoàn thành luận văn 5CHÚ GIẢI CÁC THUẬT NGỮ SỬ DỤNG TRONG LUẬN VĂN Thuật ngữ tiếng anh Nghĩa tiếng Việt Chú giải Upload Tải tệp lên Quá trình truyền chương trình hay dữ liệu tệp thông qua một giao thức truyền dữ liệu từ một hệ thống máy khách (nhỏ hơn) tới một hệ thống máy phục vụ (lớn hơn). - Download Tải tệp xuống Quá trình truyền dữ liệu từ một máy tính tới một máy tính khác, thường là từ một hệ thống máy chủ lưu trữ (lớn hơn) tới một hệ thống máy khách (nhỏ hơn). - Front End Tier Tầng giao tiếp Trong hệ thống, tầng giao tiếp đóng vai trò là cầu nối giữa người dùng và tầng lưới dữ liệu. - Data Grid Tier Tầng lưới dữ liệu Trong hệ thống, tầng lưới dữ liệu là tầng đảm trách vai trò lưu trữ dữ liệu tệp và quản lý các máy chủ lưu trữ phân tán. - Liên kết này tồn tại mãi cùng với tệp đó và để chỉ ra tệp đó khi người dùng cần tải tệp đó về. - Tuy nhiên liên kết này không chỉ ra chính xác tệp đó nằm ở đâu trong hệ thống lưu trữ. - Physical Link Liên kết vật lý Trong hệ thống , liên kết này chỉ ra đường dẫn trực tiếp tới nơi tệp được lưu trữ. - Chỉ hệ thống mới có được liên kết này đề tạo ra liên kết “mềm” để người dùng tải tệp về. - GridFTP (Grid File Transfer Protocol) GridFTP là mở rộng của giao thức FTP, tích hợp khả năng bảo mật lưới, truyền dữ liệu tốt hơn so với FTP. - RLS (Replica Location Service) Dịch vụ Định vị bản sao Dịch vụ định vị bản sao trong kiến trúc lưới dữ liệu Globus, cho phép xác định vị trí của các bản sao của thực thể dữ liệu trong lưới. - MCS (Metadata Catalog Service) Dịch vụ siêu dữ liệu Dịch vụ siêu dữ liệu của kiến trúc lưới dữ liệu Globus, cho phép gắn các đối tượng dữ liệu với một số thuộc tính mô tả, và hỗ trợ người sử dụng trong việc truy vấn đối tượng dữ liệu theo những thuộc tính 7này. - CA (Certificate Authentication) Cơ chế chứng thực CA là cơ chế chứng thực người dùng và tài nguyên sử dụng trong môi trường lưới. - JDBC (Java Database Connectivity) JDBC là API chuẩn cho phép một ứng dụng viết bằng Java kết nối với nhiều cơ sở dữ liệu khác nhau. - API (Application Programming Interface) Giao diện lập trình ứng dụng Thường là một tập các hàm giúp lập trình viên dễ dàng tương tác với dịch vụ hoặc hệ thống. - 57 Bảng 5.1 Các máy tham gia hệ thống. - 76 9DANH MỤC CÁC HÌNH VẼ Hình 1.1 Logo của Dropbox. - 11 Hình 1.2 Trang chủ MediaFire. - 12 Hình 1.3 Logo 4Share. - 13 Hình 1.4 Mô hình phân tầng của hệ thống. - 15 Hình 2.1 Hai thành phần của một lưới. - 18 Hình 2.2 Tiến trình phân tán sử dung space để phối hơp hoạt động. - 21 Hình 2.3 Hệ quản trị dữ liệu và mô tơ dữ liệu của nó. - 23 Hình 2.4 Kiến trúc phân tầng của lưới dữ liệu. - 27 Hình 2.5 Các thành phần của Globus Toolkit 4. - 28 Hình 2.6 Mối quan hệ giữa RLI và LRC dưới quan điểm của người dùng toàn cục và người dùng địa phương. - 34 Hình 2.7 Các thành phần cài đặt của RLS. - 35 Hình 2.8 Các thành phần của công nghệ J2EE. - 36 Hình 2.9 Sơ đồ package của phần mềm mã nguồn mở J-FTP. - 38 Hình 3.1 Mô hình lưới dữ liệu. - 41 Hình 3.2 Sơ đồ Package của module quản l ý Proxy. - 42 Hình 3.3 Mô hình truyền tệp. - 44 Hình 3.4 Sơ đồ Package của GridFTP. - 45 Hình 3.5 Các lớp trong GridFTP. - 46 Hình 3.6 Sơ đồ quá trình tạo lập bản sao. - 47 Hình 3.7 Sơ đồ Package của RLS. - 47 Hình 3.8 Sơ đồ lớp RLSConnection. - 48 Hình 3.9 Sơ đồ lớp RLS. - 48 Hình 4.1 Sơ đồ Upload tệp. - 50 Hình 4.2 Sơ đồ Download tệp. - 54 Hình 4.3 Chức năng cấp Certificate của trang web http://oak.cs.ucla.edu. - 61 Hình 4.4 Certificate của tổ chức oak.cs.ucla.edu. - 61 Hình 4.5 Server Tomcat cấu hình sử dụng HTTPS. - 62 Hình 4.6 Giao diện chia sẻ đường dẫn Download tệp qua e-mail. - 63 Hình 4.7 Chia sẻ qua FaceBook. - 68 Hình 4.8 Twitter share button. - 69 Hình 4.9 Mô hình chức năng đồng bộ hóa dữ liệu. - 70 Hình 4.11 Cấu trúc cây thư mục. - 72 Hình 4.12 Sơ đồ duyệt cây thư mục. - 73 Hình 4.13 Chức năng đồng bộ hóa dữ liệu. - 74 Hình 5.1 Trang chủ LindaX. - 79 Hình 5.2 Giao diện upload tệp. - 80 Hình 5.4 Upload tệp thành công. - 80 Hình 5.5 Upload tệp bị lỗi. - 81 Hình 5.6 Giao diện download. - 81 Hình 5.7 Giao diện Desktop. - 81 Hình 5.8 Lựa chọn máy chủ lưu trữ. - 82 Hình 5.9 Kết nối tới máy chủ FTP. - 82 Hình 5.10 Giao diện Desktop Upload tệp. - 83 Hình 5.11 Giao diện quản lý thư mục của người dùng. - 83 11 Chương 1 TỔNG QUAN 1.1 Bài toán chia sẻ dữ liệu Hiện nay nhu cầu lưu trữ và chia sẻ dữ liệu của người dùng internet ngày càng trở nên cần thiết. - Dữ liệu của người dùng không chỉ được lưu trữ trên các máy tính cá nhân mà còn được lưu trữ trên các máy khác nhau được kết nối mạng. - Việc lưu trữ dữ liệu trên các hệ thống lưu trữ khác nhau đảm bảo tính sẵn dùng của dữ liệu: khi dữ liệu trên máy tính cá nhân gặp sự cố, các dữ liệu đó vẫn đảm bảo được lưu trữ trên các hệ thống khác. - dữ liệu có thể được truy cập từ nhiều nơi khác nhau sử dụng mạng internet …Hơn nữa người dùng cũng mong muốn chia sẻ dữ liệu của mình. - Tính năng này giúp người dùng cho phép tài liệu của mình được chia sẻ với một số lượng lớn người dùng khác hoặc sử dụng dữ liệu của người dùng khác. - Để hiểu rõ thêm các chức năng của một hệ thống lưu trữ và chia sẻ dữ liệu, chúng ta sẽ khảo sát một số hệ thống thông dụng hiện nay. - Một số hệ thống chia sẻ dữ liệu phổ biến: Dropbox (http://www.dropbox.com) Hình 1.1 Logo của Dropbox Dropbox là dịch vụ chia sẻ file, được thành lập năm 2007 tại Hoa Kỳ. - Hỗ trợ dung lượng lưu trữ 2GB với người dùng không miễn phí. - 50 GB, 100 GB dung lượng lưu trữ với người dùng trả phí 12• Hỗ trợ truy cập thông qua máy tính và các thiết bị di động • Tăng dung lượng lưu trữ khi mời bạn bè tham gia hệ thống thành công • Đồng bộ dữ liệu của người dùng khi người dùng sử dụng hệ thống từ các thiết bị khác nhau hoặc ngắt kết nối internet • Chia sẻ dữ liệu qua e-mail MediaFire (http://www.mediafire.com) Hình 1.2 Trang chủ MediaFire Mediafire là trang web chia sẻ dữ liệu miễn phí, trụ sở tại Harris County, Texas, Hoa Kỳ, được thành lập vào năm 1998 Một số chức năng chính. - Không phân biệt quốc gia, vùng lãnh thổ của người dùng. - 4Share (http://www.4shared.com/) Hình 1.3 Logo 4Share 144shared là dịch vụ lưu trữ file được thành lập năm 2005 bởi Alex Lunkov và Sergey Chudnovsky Các tính năng chính của 4shared. - Dung lượng lưu trữ 10GB cho người dùng miễn phí và 100GB cho người dùng trả phí • Giao diện tiếng Anh, Việt • Hỗ trợ upload/download dữ liệu theo các giao thức HTTP và FTP • Tìm kiếm tài liệu • Hỗ trợ làm việc với các thiết bị di động • Đồng bộ dữ liệu 1.2 Hướng giải quyết bài toán Để đáp ứng yêu cầu lưu trữ và chia sẻ dữ liệu, hệ thống phải có khả năng lưu trữ lớn, quản lý dữ liệu phân tán, đáp ứng yêu cầu bảo mật. - Tệp của người dùng được upload lên hệ thống cần được lưu trữ một cách an toàn, có tính sẵn dùng cao. - Đồng thời, công nghệ tính toán lưới cũng rất thích hợp cho các bài toán phục vụ một lượng lớn người sử dụng cũng như đảm bảo độ an toàn dữ liệu. - Hạ tầng lưới dữ liệu đã được xây dựng và triển khai nhiều năm tại Trung tâm Tính toán Hiệu năng cao – Đại học Bách Khoa Hà Nội là môi trường phù hợp để xây dựng và phát triển hệ thống. - Bên cạnh công nghệ tính toán lưới, hệ thống sử dụng công nghệ lập trình Web J2EE (Java 2 Enterprise Edition) giúp người dùng tương tác một cách dễ dàng, thuận tiện, trong suốt với hạ tầng lưới dữ liệu. - Hệ thống hỗ trợ người dùng hai giao diện làm việc: giao diện Web và giao diện Desktop. - 15 Hình 1.4 Mô hình phân tầng của hệ thống Kiến trúc của hệ thống gồm 3 tầng. - Tầng ứng dụng: tầng này giúp người dùng tương tác với hệ thống. - Hệ thống cung cấp hai giao diện làm việc: Giao diện Web và giao diện Desktop. - Thông qua các giao diện làm việc, người dùng gửi yêu cầu tới hệ thống (yêu cầu đăng k ý, đăng nhập. - và phần mềm mã nguồn mở J-FTP, tầng ứng dụng cho phép người dùng tương tác với hệ thống một cách trong suốt, và thuận tiện. - Tầng dịch vụ: Cung cấp các chức năng, dịch vụ của hệ thống. - Tầng này sử dụng công nghệ lập trình Web Services của J2EE cũng như việc triệu gọi các dịch vụ của lưới dữ liệu. - Tầng dịch vụ còn giúp hệ thống có tính mở rộng và linh hoạt cao (dễ dàng mở rộng các chức năng của hệ thống trong tương lai. - Tầng lưới dữ liệu: Đóng vai trò lưu trữ dữ liệu (chủ yếu là các tệp của người dùng), được xây dựng dựa trên nền tảng lưới dữ liệu.
Xem thử không khả dụng, vui lòng xem tại trang nguồn hoặc xem
Tóm tắt