Nghiên cứu và phát triển một số tính năng mở rộng cho hệ thống lưu trữ và chia sẻ dữ liệu Lindax

- ĐÀO QUANG MINH NGHIÊN CỨU VÀ PHÁT TRIỂN MỘT SỐ TÍNH NĂNG MỞ RỘNG CHO HỆ THỐNG LƯU TRỮ VÀ CHIA SẺ DỮ LIỆU LINDAX LUẬN VĂN THẠC SĨ KHOA HỌC CÔNG NGHỆ THÔNG TIN Hà Nội - 2010 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI.
- ĐÀO QUANG MINH NGHIÊN CỨU VÀ PHÁT TRIỂN MỘT SỐ TÍNH NĂNG MỞ RỘNG CHO HỆ THỐNG LƯU TRỮ VÀ CHIA SẺ DỮ LIỆU LINDAX Chuyên ngành: CÔNG NGHỆ THÔNG TIN LUẬN VĂN THẠC SĨ KHOA HỌC CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC PGS.TS NGUYỄN THANH THỦY Hà Nội, tháng 10 năm 2010 LỜI CAM ĐOAN Tôi – Đào Quang Minh – xin cam đoan  Luận văn tốt nghiệp Thạc sĩ này là công trình nghiên cứu của bản thân tôi dƣới sự hƣớng dẫn của PGS.TS Nguyễn Thanh Thủy.
- 3 DANH MỤC HÌNH VẼ Hình 1.1 – Logo Rapidshare.
- 9 Hình 1.2 – Logo MegaUpload.
- 9 Hình 1.3 – Logo MediaFire.
- 10 Hình 1.4 – Logo MegaShare.
- 10 Hình 2.1 – Thành phần của một lƣới.
- 14 Hình 2.2 – Tiến trình phân tán sử dung space để phối hơp hoạt động.
- 16 Hình 2.3 – Hệ quản trị dữ liệu và mô tơ dữ liệu của nó.
- 17 Hình 2.4 – Lƣới dữ liệu so sánh với cơ sở dữ liệu quan hệ.
- 19 Hình 2.5 – Kiến trúc phân tầng lƣới dữ liệu.
- 23 Hình 2.6 – Các thành phần của Globus Toolkit 4.
- 24 Hình 2.7 – Giao thức FTP.
- 25 Hình 2.8 – Truyền dữ liệu song song.
- 26 Hình 2.9 – Truyền dữ liệu song song với đối tác thứ ba.
- 26 Hình 2.10 – Mối quan hệ giữa GridFTP Client và GridFTP Server.
- 27 Hình 2.11 – Kịch bản lựa chọn dữ liệu theo tiêu chí của ứng dụng.
- 29 Hình 2.12 – Quan hệ giữa RLI và LRC.
- 30 Hình 2.13 – RLS hai tầng.
- 32 Hình 2.14 – Một hình trạng RLS phân cấp.
- 32 Hình 2.15 – Kiến trúc của Java Cog Kit.
- 35 Hình 2.16 – Các lớp của Java Cog Kit.
- 36 Hình 3.1 – Mô hình tổng thế hệ thống LindaX.
- 38 Hình 3.2 – Kịch bản upload.
- 43 Hình 3.3 – Kịch bản download.
- 45 Hình 3.4 – Sơ đồ bố trí vật lý tầng lƣu trữ lƣới.
- 47 Hình 3.5 – Sơ đồ bố trí logic của tầng lƣu trữ lƣới.
- 48 Hình 3.6 – Cây thƣ mục trên HeadNode.
- 49 Hình 3.7 – Sơ đồ truyền tệp.
- 50 Hình 3.8 – Sơ đồ quá trình tạo lập bản sao.
- 51 Hình 3.9 – Biểu đồ use-case cho module quản lý proxy.
- 52 Hình 3.10 - Lớp SHARED_MEMORY.
- 54 4 Hình 3.11 – Lớp PROXY_SERVICE_MONITOR.
- 55 Hình 3.12 – Module quản lý Proxy.
- 55 Hình 3.13 – Cây thƣ mục trên DataNode.
- 56 Hình 3.14 – Mô hình Push.
- 57 Hình 3.15 – Phát hiện lỗi trong mô hình Push.
- 58 Hình 3.16 – Mô hình Pull.
- 58 Hình 3.17 – Phát hiện lỗi trong mô hình Pull.
- 58 Hình 3.18 – Sử dụng kết hợp hai mô hình Push và Pull.
- 59 Hình 3.19 – Module quản lý tài nguyên.
- 60 Hình 3.20 – Biểu đồ use-case của module quản lý tài nguyên.
- 62 Hình 3.21 - Lớp RESOURCE_MONITOR_OBJECT.
- 62 Hình 3.22 – Kết quả chạy của module quản lý tài nguyên.
- 63 Hình 4.1 – Kịch bản triển khai LindaX.
- 64 Hình 4.2 – Trang chủ LindaX.
- 68 Hình 4.3 – Giao diện upload tệp.
- 69 Hình 4.4 – Giao diện tiến trình upload.
- 69 Hình 4.5 – Upload tệp thành công.
- 70 Hình 4.6 – Upload tệp bị lỗi.
- 70 Hình 4.7 – Giao diện download.
- 71 Hình 4.8 – Giao diện quá trình download.
- 71 Hình 4.9 – Giao diện quản trị.
- 72 5 DANH MỤC CÁC TỪ VIẾT TẮT Từ viết tắt Nghĩa tiếng Anh Chú giải API Application Programming Interface Giao diện lập trình ứng dụng, thƣờng làm một tập các hàm giúp lập trình viên dễ dàng tƣơng tác với dịch vụ , hệ thống.
- CA Certificate Authentication cơ chế chứng thực ngƣời dùng và tài nguyên sử dụng trong môi trƣờng lƣới.
- CAS Community Authorization Service Dịch vụ chứng thực cộng đồng.
- Một dịch vụ bảo mật trong môi trƣờng lƣới cho phép dung hòa giữa chính sách sử dụng tài nguyên của cộng đồng ngƣời dùng với chính sách sử dụng tài nguyên của những nhà cung cấp FTP File Transfer Protocol Giao thức truyền tệp nổi tiếng qua mạng Globus XIO Globus eXtensible Input/Ouput Giao diện vào ra mức thấp trong kiến trúc Globus GridFTP Grid File Transfer Protocol GridFTP là mở rộng của giao thức FTP, tích hợp khả năng bảo mật lƣới, truyền dữ liệu tốt hơn so với FTP GSI Grid Security Infrastructure Cơ sở hạ tầng bảo mật lƣới trong kiến trúc của Globus, hỗ trợ giấy chứng nhận theo chuẩn X509 và dùng hệ mã công khai.
- GT Globus Toolkit Bộ công cụ middleware hỗ trợ tính toán lƣới, cung cấp một số dịch vụ đệ trình công việc, quản lý tài nguyên, hạ tầng bảo mật, cũng nhƣ hỗ trợ việc xây dựng các dịch vụ lƣới… LDAP Lightweight Directory Access Protocol Giao thức đặc tả các kỹ thuật định danh đối tƣợng, mô hình dữ liệu, tìm kiếm và ghi các khoản mục dữ liệu.
- LFN Logical File Name Tên logic của một thực thể dữ liệu trong lƣới dữ 6 liệu, hàm chứa nội dung của thực thể dữ liệu đó.
- LRC Local Replica Catalogue Catalog định vị bản sao địa phƣơng, lƣu trữ tập các ánh xạ bao gồm hai trƣờng: {tên logic của thực thể dữ liệu, vị trí vật lý cụ thể của thực thể đó} ODBC Open Database Connectivity Giao diện API giúp lập trình viên tƣơng tác với cơ sở dữ liệu.
- PFN Physical File Name Tên vật lý của một tệp dữ liệu: nó bao hàm giao thức truy cập, địa chỉ của máy mà chứa tệp dữ liệu đó, ngƣời sử dụng có thể dễ dàng truy cập đƣợc vào thực thể dữ liệu.
- RLI Replica Location Index Lƣu các thông tin chỉ mục cho dịch vụ định vị bản sao, mỗi bản ghi bao gồm {LFN, và con trỏ tới LRC tƣơng ứng} RLS Replica Location Service Dịch vụ định vị bản sao trong kiến trúc lƣới dữ liệu Globus.
- TCP Tranmission Control Protocol Giao thức truyền thông nổi tiếng cho mạng Internet XML eXtensible Markup Language Ngôn ngữ đánh dấu mở rộng, hiện đang đƣợc dùng nhƣ một chuẩn trao đổi dữ liệu thông dụng.
- 1 LỜI CẢM ƠN.
- LƢỚI DỮ LIỆU.
- 13 2.1 Tổng quan về tính toán lƣới và lƣới dữ liệu.
- 13 2.1.1 Lƣới dữ liệu.
- 14 2.1.2 Phân loại lƣới dữ liệu.
- 14 2.1.3 Đặc điểm của lƣới dữ liệu.
- 17 2.1.4 Kiến trúc của lƣới dữ liệu.
- 26 2.4 Dịch vụ định vị bản sao RLS.
- 29 2.4.2 Kiến trúc của dịch vụ định vị bản sao.
- 31 2.4.4 Chỉ mục định vị bản sao RLI.
- 31 2.5 Bảo mật trên lƣới dữ liệu.
- XÂY DỰNG HỆ THỐNG LƢU TRỮ VÀ CHIA SẺ.
- 39 3.1.2 Tầng lƣu trữ lƣới.
- 39 3.1.3 Kết nối tầng ứng dụng web và tầng lƣu trữ lƣới.
- 41 3.2.1 Cho phép Upload/Download dữ liệu lên lƣới.
- 41 3.2.2 Quản lý không gian lƣu trữ.
- 41 3.2.4 Quản trị các nút lƣu trữ.
- 42 3.3 Kịch bản sử dụng.
- 44 3.4 Xây dựng tầng lƣu trữ.
- 49 3.4.3 Module định vị bản sao RLS.
- 51 3.4.4 Module quản lý Proxy.
- 52 3.4.5 Nút lƣu trữ (DataNode.
- 56 3.4.6 Module quản lý tài nguyên.
- GIỚI THIỆU LUẬN VĂN 1.1 Lý do chọn đề tài Đã từ lâu, dữ liệu luôn là vấn đề quan trọng hàng đầu của mỗi cá nhân hay mỗi tổ chức.
- Ngƣời ta tìm mọi cách để cất giữ những dữ liệu này một cách an toàn nhất.Đi kèm với việc cất giữ dữ liệu, nhu cầu lấy ra dữ liệu một cách nhanh chóng cũng là vấn đề đƣợc quan tâm.
- Mặc dù không nói ra, nhƣng tất cả mọi ngƣời đều mong muốn rằng dữ liệu của mình lúc nào cũng “đi theo” mình để chỉ có mình có thể lấy ra đƣợc và lấy ra nhanh nhất.
- Nhu cầu đƣợc cất giữ dữ liệu và chia sẻ nhờ vậy đã trở thành một nhu cầu không thể thiếu của các cá nhân cũng nhƣ các tổ chức có sử dụng Internet.
- Với những dữ liệu lớn và yêu cầu độ bảo mật cao, họ sẵn sàng trả tiền để có đƣợc những dịch vụ tốt nhất.
- Trên thế giới, các dịch vụ lƣu trữ và chia sẻ dữ liệu đã có từ rất sớm.
- Trong số đó, các nhà cung cấp sau là đƣợc biết đến hơn cả: Rapidshare Hình 1.1 – Logo Rapidshare  Cho phép ngƣời dùng tải lên tệp tối đa 200MB.
- Khi trả phí account ngƣời dùng sẽ có 1 khoảng thời gian sử dụng.
- MegaUpload Hình 1.2 – Logo MegaUpload Chƣơng 1 – Giới thiệu luận văn 10  Dịch vụ miễn phí cho phép tải tệp tối đa đến 500 MB.
- Ngƣời dùng trả phí có một khoảng không gian lƣu trữ là 250 GB.
- Sau khi upload, dịch vụ cũng trả về một link duy nhất để download.
- Các tài khoản đóng băng sau 90 ngày không sử dụng.
- MediaFire Hình 1.3 – Logo MediaFire  Không yêu cầu đăng ký.
- Không giới hạn không gian lƣu trữ

Xem thử không khả dụng, vui lòng xem tại trang nguồn
hoặc xem Tóm tắt