Xây dựng cơ sở hạ tầng điện toán đám mây trên nền nguồn mở

- PHAN ĐÌNH PHÚC ĐỀ TÀI: XÂY DỰNG CƠ SỞ HẠ TẦNG ĐIỆN TOÁN ĐÁM MÂY TRÊN NỀN NGUỒN MỞ Chuyên ngành: Công nghệ thông tin LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC : Tiến sĩ Trần Đức Khánh \ Hà Nội – 2011 1 Phan Đình Phúc – 10BCNTT-KH – Đại học Bách khoa Hà Nội – Luận văn thạc sĩ khoa học LỜI CAM ĐOAN Tôi – Phan Đình Phúc - cam kết ĐATN là công trình nghiên cứu của bản thân tôi dưới sự hướng dẫn của TS.
- Hà Nội, ngày 13 tháng 13 năm 2012 Tác giả ĐATN Phan Đình Phúc 2 Phan Đình Phúc – 10BCNTT-KH – Đại học Bách khoa Hà Nội – Luận văn thạc sĩ khoa học MỤC LỤC LỜI CAM ĐOAN.
- Tìm hiểu điện toán đám mây.
- 11 I.1 Tổng quan điện toán đám mây.
- 11 I.1.3 Các giải pháp.
- 12 I.1.4 Các tầng tạo nên đám mây.
- 16 I.1.6 Thách thức của điện toán đám mây.
- 18 I.2 An toàn hệ thống trong điện toán đám mây.
- 20 I.2.1 Bảo mật dữ liệu.
- 24 I.2.4 Mô hình mẫu: Khai phá dữ liệu rỏ rỉ trong dịch vụ Amazon EC2.
- 25 I.3 Lưu trữ dữ liệu trong điện toán đám mây.
- 27 I.3.1 Các vấn đề hiện tại.
- 28 3 Phan Đình Phúc – 10BCNTT-KH – Đại học Bách khoa Hà Nội – Luận văn thạc sĩ khoa học I.3.2 Case Study: Google File System.
- 32 I.4.1 Các yêu cầu cần đáp ứng.
- 34 I.4.3 Các thành phần của dịch vụ.
- 34 I.4.4 Các câu hỏi mở.
- Cơ sở lý thuyết và giải pháp để xây dựng cơ sở hạ tầng điện toán đám mây 37 II.1 Ảo hóa.
- 37 II.1.2 Ảo hóa mạng.
- 38 II.1.3 Ảo hóa hệ thống lưu trữ.
- 41 II.1.4 Ảo hóa ứng dụng.
- 45 II.1.5 Ảo hóa hạ tầng phần cứng.
- 46 II.2 Dữ liệu trong điện toán đám mây.
- 58 II.3 Bảo mật trong điện toán đám mây.
- 68 II.4 Quản lý hạ tầng điện toán đám mây.
- 73 4 Phan Đình Phúc – 10BCNTT-KH – Đại học Bách khoa Hà Nội – Luận văn thạc sĩ khoa học Chương III.
- Cài đặt thử nghiệm cơ sở hạ tầng điện toán đám mây.
- 80 III.1 Mô hình cài đặt.
- 80 III.1.1 Hạ tầng cụm máy chủ (cluster.
- 82 III.1.3 Các bước cài đặt.
- 84 III.2 Các dịch vụ cài đặt.
- 125 5 Phan Đình Phúc – 10BCNTT-KH – Đại học Bách khoa Hà Nội – Luận văn thạc sĩ khoa học Danh mục các ký hiệu, các chữ viết tắt Ký hiệu Ý nghĩa CSDL Cơ sở dữ liệu GFS Google File System HDFS Hadoop File System RTO RPO 6 Phan Đình Phúc – 10BCNTT-KH – Đại học Bách khoa Hà Nội – Luận văn thạc sĩ khoa học Danh mục các hình vẽ và đồ thị Hình I-1: Điện toán đám mây.
- 12 Hình I-2: Các thành phân của điện toán đám mây.
- 13 Hình I-3: Các tầng của đám mây.
- 14 Hình I-4: Một số nhà cung cấp dịch vụ đám mây.
- 34 Hình II-1: Ảo hóa lớp mạng.
- 41 Hình II-3: Ảo hóa hệ thống lưu trữ.
- 46 Hình II-8: Ảo hóa toàn phần.
- 48 Hình II-9: Ảo hóa một phần.
- 58 7 Phan Đình Phúc – 10BCNTT-KH – Đại học Bách khoa Hà Nội – Luận văn thạc sĩ khoa học Hình II-12: Kiến trúc Cumulus.
- 82 Hình III-2: Mô hình đám mây triển khai.
- 88 Hình III-5: Cho phép cài hạ tầng ảo hóa trên CentOS.
- 99 Hình III-11: Các tác nhân của hệ thống.
- 106 Hình III-12: Các ca sử dụng của hệ thống.
- 116 Hình III-17: Mô hình thiết kế hệ thống.
- 118 8 Phan Đình Phúc – 10BCNTT-KH – Đại học Bách khoa Hà Nội – Luận văn thạc sĩ khoa học MỞ ĐẦU Ngày nay, đối với các công ty, doanh nghiệp, tổ chức, việc quản lý tốt, hiệu quả dữ liệu của riêng công ty cũng như dữ liệu khách hàng và đối tác là một trong những bài toán được ưu tiên hàng đầu và đang không ngừng gây khó khăn cho họ.
- Điện toán đám mây chính là giải pháp mang tính đột phá cho vấn đề này.
- Tiếp cận với điện toán đám mây, các tổ chức sẽ giảm thiểu được tất cả các chi phí liên quan đến đầu tư ban đầu và duy trì hệ thống thông tin.
- Hiện nay, có rất nhiều nhà cung cấp các hệ thống đám mây trên các nền tảng khác nhau như: Amazon, VMware, OpenNebuls, Eucalyptus v.v Tuy nhiên, với mục đích tiếp cận điện toán đám mây theo hướng nghiên cứu khoa học, luận văn chọn nghiên cứu và phát triển giải pháp Nimbus.
- Mục tiêu của luận văn là tìm hiểu các khái niệm cơ bản, kiến trúc chung của hệ thống cơ sở hạ tầng điện toán đám mây nói chung và Nimbus nói riêng.
- Qua đó, tiến hành cài đặt hệ thống cơ sở hạ tầng đám mây trên nền Nimbus và xây dựng hệ thống portal quản lí cơ sở hạ tầng tập trung trên nên Web.
- Nghiên cứu, tìm hiểu các khái niệm, kiến trúc cơ bản của hệ thống đám mây  Nghiên cứu, tìm hiểu các tài liệu, kết quả nghiên cứu liên quan đến điện toán đám mây, đặc biệt là các tài liệu được công bố theo dự án Nimbus project.
- Viết các shell script để tiến hành kết nối portal quản lý người dùng với cơ sở hạ tầng đám mây đã xây dựng.
- Các kết quả đạt được của luận văn bao gồm: 9 Phan Đình Phúc – 10BCNTT-KH – Đại học Bách khoa Hà Nội – Luận văn thạc sĩ khoa học  Tác giả đã có được cái nhìn tổng quan về các thành phần và cấu trúc của hệ thống cơ sở hạ tầng đám mây cơ bản.
- Luận văn đã tìm hiểu về hai vấn đề quan trọng trong điện toán đám mây là bảo mật và lưu trữ thông qua AmazonS3 và Cumulus  Luận văn nghiên cứu tìm hiểu mô hình điện toán đám mây của Google và Yahoo Cloud.
- Luận văn đã tiến hành tìm hiểu về các công nghệ nền tảng của điện toán đám mây, đặc biệt là ảo hóa.
- Tiến hành xây dựng thành công hệ thống cơ sở hạ tầng điện toán đám mây trên nền nguồn mở Nimbus  Ngoài ra, luận văn đóng góp giải pháp để chạy máy ảo Windows trên hệ thống đã xây dựng  Luận văn xây dựng gói dịch vụ portal quản trị hệ thống đám mây trên nền Web.
- Sau đây, tác giả xin được trình bày luận văn với bố cục bao gồm các phần sau.
- Phần I: Tìm hiểu điện toán đám mây.
- Trong phần này, tác giả tiến hành tìm hiểu khái niệm, thành phần, kiến trúc, cũng như lợi ích, thách thức và xu hướng phát triển của điện toán đám mây.
- Cụ thể hơn, tác giả tìm hiểu về hai thách thức lớn nhât mà điện toán đám mây gặp phải là an toàn thông tin và lưu trữ dữ liệu trên đám mây.
- Tác giả lấy Yahoo Cloud làm case study cho việc tìm hiểu điện toán đám mây  Phần II: Cơ sở lý thuyết và giải pháp để xây dựng cơ sở hạ tầng điện toán đám mây Trong phần này, tác giả đi sâu hơn về các giải pháp để xây dựng cơ sở hạ tầng điện toán đám mây bao gồm: các tầng ảo hóa.
- các chuẩn bảo mật truyền tin trong điện toán đám mây gồm HTTPS và X509.
- Phần III: Cài đặt thử nghiệm cơ sở hạ tầng điện toán đám mây Trong phần này, tác giả tiến hành mô tả quá trình cài đặt hệ thống cơ sở hạ tầng điện toán đám mây trên nền Nimbus.
- Apache Ant phiên bản 1.6.2 trở lên và gcc 10 Phan Đình Phúc – 10BCNTT-KH – Đại học Bách khoa Hà Nội – Luận văn thạc sĩ khoa học o Import sqlite3 để làm hệ CSDL quản lý đám mây o Cài Ant-nodeps o Cài đặt Nimbus: Cài đặt Cumulus và các thành phần cần thiết của python.
- Dịch và cài đặt các dịch vụ IaaS của Nimbus.
- o Luận văn cũng tiến hành cấu hình cài đặt LAN torrent, phương thức truyền máy ảo nội bộ do Nimbus phát triển nhằm tăng tốc độ truyền ảnh máy ảo.
- o Để mở rộng khả năng của hệ thống, luận văn tiến hành xây dựng nhân máy ảo Windows bằng cách xây dựng đĩa boot với các file hệ thống cần thiết là ntldr, ntdetect.com, sym_hi.sys và boot.ini.
- Tạo nhân máy ảo với các file cần thiết là memdisk, win-boot.img và win-2k3.img  Phần IV: Kết luận và đề xuất các hướng nghiên cứu tiếp theo của luận văn.
- Để có thể hoàn thành luận văn này, tác giả xin gửi lời cảm ơn chân thành tới TS.
- Xin cảm ơn gia đình, bạn bè đã tạo điều kiện về mặt cơ sở vật chất và tinh thần trong quá trình tác giả xây dựng luận văn.
- 11 Phan Đình Phúc – 10BCNTT-KH – Đại học Bách khoa Hà Nội – Luận văn thạc sĩ khoa học Chương I.
- Tìm hiểu điện toán đám mây I.1 Tổng quan điện toán đám mây I.1.1 Đặt vấn đề Thuật ngữ “cloud computing” ra đời bắt nguồn từ một trong những hoàn cảnh như vậy.
- Các “máy chủ ảo” sẽ cung cấp các dịch vụ giúp cho doanh nghiệp có thể quản lý dữ liệu dễ dàng hơn, họ sẽ chỉ trả chi phí cho lượng sử dụng dịch vụ của họ, mà không cần phải đầu tư nhiều vào cơ sở hạ tầng cũng như quan tâm nhiều đến công nghệ.
- Xu hướng này sẽ giúp nhiều cho các công ty, doanh nghiệp vừa và nhỏ mà không có cơ sở hạ tầng mạng, máy chủ để lưu trữ, quản lý dữ liệu tốt.
- I.1.2 Định nghĩa Theo Wikipedia: “Điện toán đám mây (cloud computing) là một mô hình điện toán có khả năng co giãn (scalable) linh động và các tài nguyên thường được ảo hóa được cung cấp như một dịch vụ trên mạng Internet”.
- Theo Ian Foster: “Một mô hình điện toán phân tán có tính co giãn lớn mà hướng theo co giãn về mặt kinh tế, là nơi chứa các sức mạnh tính toán, kho lưu trữ, các nền tảng (platform) và các dịch vụ được trực quan, ảo hóa và co giãn linh động, sẽ được phân phối theo nhu cầu cho các khách hàng bên ngoài thông qua Internet”.
- “Điện toán đám mây là một dạng thức điện toán cung cấp các tài nguyên ảo hóa và có quy mô dưới dạng dịch vụ qua mạng Internet.
- Người dùng không cần tới những kiến thức chuyên 12 Phan Đình Phúc – 10BCNTT-KH – Đại học Bách khoa Hà Nội – Luận văn thạc sĩ khoa học môn để quản lý hạ tầng công nghệ này bởi phần việc đó là dành cho các nhà cung cấp dịch vụ.” “Điện toán đám mây là sự kết hợp giữa các khái niệm Hạ tầng hướng dịch vụ (IaaS), Nền tảng hướng dịch vụ (PaaS), Phần mềm hướng dịch vụ (SaaS) và một số khái niệm công nghệ mới.
- Dịch vụ điện toán đám mây thường cung cấp các trực tuyến ứng dụng doanh nghiệp thông dụng, có thể truy xuất qua trình duyệt Web trong khi phần mềm và dữ liệu được lưu trữ trên máy chủ của nhà cung cấp.” Hình I-1 Mọi thứ đều tập trung vào đám mây Hình I-1: Điện toán đám mây I.1.3 Các giải pháp Cloud Computing ra đời để giải quyết các vấn đề sau.
- Các công ty lớn này sẽ cung cấp các dịch vụ cho phép doanh nghiệp có thể lưu trữ và quản lý dữ liệu của họ trên các kho lưu trữ trung tâm.
- Sử dụng các hệ thống tính toán song song, phân tán.
- Vấn đề về cung cấp tài nguyên, phần mềm : 13 Phan Đình Phúc – 10BCNTT-KH – Đại học Bách khoa Hà Nội – Luận văn thạc sĩ khoa học Cung cấp các dịch vụ như IaaS (infrastructure as a service), PaaS (platform as a service), SaaS (software as a service).
- Hình I-2: Các thành phân của điện toán đám mây I.1.4 Các tầng tạo nên đám mây Cloud computing cung cấp hạ tầng, nền tảng và phần mềm như là dich vụ, mà có thể được cung ứng như là một dich vụ cho thuê trong cách dùng bao nhiêu trả bấy nhiêu đối với người dùng.
- 14 Phan Đình Phúc – 10BCNTT-KH – Đại học Bách khoa Hà Nội – Luận văn thạc sĩ khoa học Hình I-3: Các tầng của đám mây Các tầng tạo nên đám mây • Các dịch vụ ứng dụng Tầng này có lẽ là hầu như quen thuộc với người dùng Web hàng ngày.
- Tầng các dịch vụ ứng dụng này lưu trữ các ứng dụng phù hợp với mô hình SaaS.
- Đây là những ứng dụng chạy trong một đám mây và được cung cấp theo yêu cầu về các dịch vụ cho người dùng.
- Đôi khi các dịch vụ này được cung cấp miễn phí và các nhà cung cấp dịch vụ tạo ra doanh thu từ những thứ khác như là các quảng cáo Web và nhiều khi các nhà cung cấp ứng dụng tạo ra doanh thu trực tiếp từ việc sử dụng dịch vụ.
- Nếu bạn đã từng gửi tệp thuế của bạn trực tuyến bằng cách sử dụng Turbo taxe, kiểm tra thư của bạn khi sử dụng Gmail hoặc Yahoo Mail hoặc theo kịp các cuộc hẹn khi sử dụng Google Calendar, thì bạn đã quen thuộc với tầng trên cùng của đám mây.
- Có lẽ không hoàn toàn rõ ràng với đa số công chúng về việc có nhiều ứng dụng trong tầng các dịch vụ ứng dụng được chuyển trực tiếp tới cộng đồng doanh nghiệp.
- Ở đó có lưu trữ các yêu cầu phần mềm có sẵn để xử lý bảng lương, quản lý nguồn nhân lực, 15 Phan Đình Phúc – 10BCNTT-KH – Đại học Bách khoa Hà Nội – Luận văn thạc sĩ khoa học cộng tác, quản lý quan hệ khách hàng, quản lý mối quan hệ đối tác kinh doanh và nhiều hơn nữa.
- Các dịch vụ nền tảng Đây là tầng ở đó chúng ta thấy cơ sở hạ tầng ứng dụng nổi lên như là một tập hợp các dịch vụ.
- Dịch vụ này nhưng không bị hạn chế tầng giữa như là một dịch vụ, truyền thông như là một dịch vụ, tích hợp như là một dịch vụ, thông tin như là một dịch vụ, kết nối như một dịch vụ, v.v.
- Các dịch vụ ở đây được dành để hỗ trợ cho các ứng dụng.
- Các ứng dụng này có thể đang chạy trong đám mây và chúng có thể đang chạy trong một trung tâm dữ liệu doanh nghiệp truyền thống hơn.
- Để đạt được khả năng mở rộng cần thiết trong một đám mây, các dịch vụ khác nhau được đưa ra ở đây thường được ảo hóa.
- Các ví dụ về các đề nghị trong phần này của đám mây bao gồm các ảnh ảo của IBM® WebSphere® Application Server virtual images, Amazon Web Services, Boomi, Cast Iron, và Google App Engine.Các dịch vụ nền tảng này cho phép người tiêu dùng chắc chắn rằng các ứng dụng của họ được trang bị để đáp ứng các nhu cầu của người dùng bằng cách cung cấp cơ sở hạ tầng ứng dụng dựa theo yêu cầu.
- Các dịch vụ cơ sở hạ tầng Tầng đáy của đám mây là tầng các dịch vụ cơ sở hạ tầng.
- Ở đây, chúng ta thấy một tập hợp các tài sản vật lí như các máy chủ, các thiết bị mạng và các đĩa lưu trữ được đưa ra như là các dịch vụ được cung cấp cho người tiêu dùng.
- Các dịch vụ ở đây hỗ trợ cơ sở hạ tầng ứng dụng - bất kể cơ sở hạ tầng đó đang được cung cấp qua một đám mây hay không- và nhiều người tiêu dùng hơn.
- Cũng như với các dịch vụ nền tảng, sự ảo hóa là một phương pháp thường được sử dụng để tạo ra chế độ phân phối các nguồn tài

Xem thử không khả dụng, vui lòng xem tại trang nguồn
hoặc xem Tóm tắt