- Tính toán lưới: Grid Computing ManagementGV: TS. - Tân Hạnh MỤC LỤC 1. - Công nghệ Grid Computing ( tính toán lưới . - Giới thiệu môi trường lưới. - 65.1 Giới thiệu Lịch sử phát triển. - Các công nghệ Service Oriented Architeture (SOA Giới thiệu về SOA Kiến trúc của SOA. - 16SV: Đào Anh Vũ |Trương Mạc Cường 1/31MSSV. - Tân HạnhTóm tắt : Tính toán lưới là thực hiện liên kết tài nguyên phân bố theo địa lý để giải quyết vấn đề quymô lớn đang trở nên phổ biến. - Việc quản lý các nguồn tài nguyên trong môi trường lưới sẽ trở thành phức tạp khi các tài nguyên đó phân tán, không đồng nhất. - Và cũng vì chúng thuộc sở hữu của cánhân / tổ chức khác nhau, được áp dụng các chính sách quản lý tài nguyên, truy cập và tính toán chi phí trên các mô hình cũng khác nhau. - Bài viết này giới thiệu 3 mô hình dùng trong quản lý tài nguyênlưới ( grid resource management. - Hierarchical model được áp dụng phổ biến trong các hệ thống grid hiện tại theo mô hình phân cấp. - Economicmodel áp dụng cả hai mô hình hierarchical và abstract owner models để phục vụ cho việc giải quyết bài toán về chi phí cho các nhà cung cấp và người sử dụng tài nguyên 1. - Introduction - Sự phát triển ngày càng phổ biến của Internet, cùng với năng lực tính toán của máytính ngày càng mạnh và mạng tốc độ cao cũng như các thiết bị có chi phí ngày càng thấp đangthay đổi cách tính toán và sử dụng các máy tính. - Các tài nguyên được phân bố theo các vị tríđịa lý khác nhau, cần phải được liên kết kết với nhau để phục vụ các bài toán tính toán lớn.Chính vì vậy cần áp dụng tính toán lưới để giải quyết việc kết hợp các tài nguyên đó lại. - Trong môi trường này, nhiều tài nguyên tính toán như các siêu máy tính, các cụm máytính, thiết bị trực quan, hệ thống lưu trữ và cơ sở dữ liệu, đặc biệt các thiết bị khoa học nhưkính thiên văn kết nối ở mức luận lý với nhau và thể hiện ra bên ngoài đến người sử dụng nhưlà một tài nguyên tích hợp đơn ( single integrated resource ) (xem hình 1. - Về cơ bản, người sử dụng tương tác với resource broker. - Như vậy sẽ không thấy đượcnhững phức tạp của tính toán lưới. - Khi Broker phát hiện ra tài nguyên mà người sử dụng cóthể truy cập thông qua một hoặc nhiều hệ thống quản lý thông tin lưới ( grid information server. - Broker sẽ thương lượng ( negotiates ) với các resource hoặc các agent của chúng bằngcách sử dụng middleware services. - Khi đã đạt được thỏa thuận với các resource, sẽ thực hiệnviệc lập lịch ( scheduling ) bằng cách ánh xạ các task đến các resource , sắp xếp ứng dụng và dữliệu để xử lý và cuối cùng trả về tập hợp kết quả. - Trong quá trình đó, cần theo dõi tiến trìnhthực hiện ứng dụng để việc quản lý các thay đổi trong cơ sở hạ tầng lưới ( grid infrastructure )và resource failure. - Có một số dự án trên thế giới, đang phát triển các thành phần, các dịch vụ và các ứngdụng trên hệ thống tính toán lưới: Globus, Legion, NetSolve, Ninf, Apple, Nimrod/G, vàJaWS. - Hình 1: Góc nhìn tổng quát của hệ thống GRID.SV: Đào Anh Vũ |Trương Mạc Cường2/31MSSV. - Tân Hạnh- Trong môi trường tính toán lưới, việc truy cập vào các tài nguyên phân bố theo cơ chếtruy cập ngang hàng. - Với việc Internet ngày càng phát triển manh, nhu cầu sử dụng các tài nguyên sẵn cóngày càng nhiều, và các tài nguyên đó tương tác với nhau để phục vụ các yêu cầu của ngườisử dụng. - Tuy nhiên, trong môi trường phân bố, các tài nguyên đó lại được quản lý bởi các tổchức khác nhau, có chính sách khác nhau vì vậy sẽ phát sinh các vấn đề rất phức tạp trongviệc kết hợp các tài nguyên này với nhau.→ Vì vậy cần có mô hình quản lý tài nguyên. - Công nghệ Grid Computing ( tính toán lưới. - Cùngvới sự hữu ích, máy tính đã trở nên phổ dụng khắp nơi trên thế giới, đi sâu vào mọicông việc của con người, từ công việc hàng ngày, công sở, kinh doanh đến sản xuất,nghiên cứu khoa học. - Do đó số lượng máy tính hiện nay trên thế giới là rất lớn vớitổng cộng năng lực xử lý và lưu trữ khổng lồ. - Tuy nhiên, các ứng dụng ngày nay chỉ mới sử dụng được một phần rất nhỏ năng lực xửlý và lưu trữ do các ứng dụng chỉ chạy trên máy tính cục bộ, đơn lẻ, phân tán khắp nơitheo địa lý. - Một câu hỏi đặt ra là làm sao tận dụng tốthơn năng lực của máy tính. - Mặc khác, theo đà phát triển, con người ngày càng đối mặt với nhiều vấn đề lớn, phứctạp trong khoa học, thương mại đòi hỏi năng lực xử lý tính toán, lưu trữ lớn. - Cách đây 10 năm các nhà sinh học đã rất vui mừng khi họ có thể giả lập mộtđơn phân tử trên máy tính. - SV: Đào Anh Vũ |Trương Mạc Cường3/31MSSV. - Tân Hạnh Việc phân tích, giải mã bộ gen người, các dự án nghiên cứu vũ trụ. - cũngcần năng lực xử lý rất lớn. - Vấn đề hợp tác giữa hàng ngàn nhà khoa học trên toàn thế giới, hỗ trợ việc chiasẻ một lượng lớn dữ liệu, thực hiện các tính toán phức tạp trực tuyến trên các dữliệu đó. - Các bài toán phân tích xử lý số liệu kinh tế của các quốc gia, các công ty đaquốc gia. - Các công ty cung cấp dịch vụ mạng cho hàng triệu người dùng trên toàn thếgiới. - Các bài toán mô phỏng, giả lập trong thiết kế sản phẩm công nghiệp. - Bài toán xử lý thông tin trong quản trị mạng, các hệ thống phát hiện tấn công,xâm nhập mạng. - Một máy tính đơn, một nhóm các máy tính (cluster) hay thậm chí một siêu máy tínhthông dụng cũng không thể đáp ứng được nhu cầu tính toán, lưu trữ ngày càng lớn nhưvậy. - Một số bài toán cũng có thể được giải quyết nhưng rất khó khăn, với chi phí rấtcao mà không phải quốc gia, tổ chức nào cũng thực hiện được (đặc biệt là các nướcđang phát triển), còn những bài toán khác có thể nói là không thể giải quyết được vớicông nghệ tính toán hiện nay. - Thực tế khiến người ta nảy sinh ý tưởng phải kết hợp các máy tính phân tán khắp nơitrên thế giới trở thành một siêu máy tính khổng lồ nhằm tận dụng năng lực tính toán,lưu trữ hiện đang lãng phí để giải quyết bài toán phức tạp trên đây với chi phí thấphơn. - SV: Đào Anh Vũ |Trương Mạc Cường 4/31MSSV. - Tân Hạnh Trước đây, khi các công nghệ mạng chưa phát triển thì ý tưởng trên hầu như chưa thựchiện được. - Nhưng hiện nay, các công nghệ máy tính đã phát triển vược bậc, hiệu năngmạng tăng gấp đôi sau mỗi năm, ý tưởng về “siêu máy tính” toàn cầu đã có cơ sở đểtrở thành hiện thực. - Đến những năm cuối thế kỷ XX, các dự án nghiên cứu đầu tiên vềlĩnh vực này đã khai sinh ra công nghệ Grid Computing. - Công nghệ Gird Computing ra đời đượcdự đoán là công nghệ nền tảng của thế kỷ XXI,làm thay đổi cách thức tính toán của chúng ta, giống như internet đã từng làm thay đổicách thức trao đổi thông tin trong thế kỷ XX. - Công nghệ Grid Computing đã mở ramột cơ hội mới cho các nước không có nền công nghiệp thiết kế, chế tạo phần cứngmáy tính mạng, tạo ra các siêu máy tính để giải quyết các bài toán của riêng mình vớichi phí thấp và độ làm chủ cao. - Ở việt nam, nhu cầu ứng dụng công nghệ thông tin vào các hoạt động nghiên cứu khoahọc, quản lý kinh tế xã hội ngày càng cao, đòi hỏi phải xử lý những khối lượng dữ liệulớn, khối lượng tính toán khổng lồ (vì nước chúng ta còn nghèo, kinh phí đầu tư chonghành công nghệ thông tin chưa cao. - Do đó, việc nghiên cứu, phát triển công nghệ Grid Computing vào thực tế được xem làmột giải pháp quang trọng để giải quyết các bài toán trên. - Mục tiêu của đề tài Nhằm tìm hiểu, góp phần vào việc phát triển và ứng dụng công nghệ Grid Computing vàothực tiễn, đề tài. - Xây dựng một ứng dụng chia sẽ tài nguyên dựa trên Grid Computing”được thực hiện với một số mục tiêu như sau. - Tìm hiểu về công nghệ Grid Computing hiện nay để có một bức tranh tổng quanvề công nghệ, các vấn đề, các hướng giải quyết chủ yếu của nó nhằm làm tiềnđề tham khảo cho việc ứng dụng, phát triển công nghệ Grid Computing trongtương lai. - Giới thiệu môi trường lưới Một số đặc điểm thường thấy trên hệ thống lưới như:-Tính không đồng nhất ( Heterogeneity. - tài nguyên trên lưới là đa dạng, thuộc nhiều loại khácnhau từ kiến trúc phần cứng (CPU, các loại thiết bị lưu trữ, thiết bị truyền thông. - một hệ thống lưới kết hợp nhiều dạng tài nguyên trên phạm vicả thế giới cho nên một hệ thống lưới sẽ rất phức tạp và khó mà có thể biết được một hình thùcụ thể của nó tại một thời điểm-Một hệ thống lưới phải có tính thích nghi, đáp ứng cao và có khả năng mở rộng: hệ thống lưới phát triển trên môi trường không đồng nhất đương nhiên phải có khả năng xử lý ngoại lệ, chịuđựng lỗi tốt, có thể bắt tay với một số hệ thống khác để thực hiện tác vụ nhưng vẫn đảm bảovấn đề an toàn thông tin. - Bên cạnh đó, hệ thống lưới phải có khả năng mở rộng, hệ thống phảiđảm bảo là khi gia tăng hay giảm đi các phần tử trên lưới (tăng giảm quy mô) thì hệ thốngSV: Đào Anh Vũ |Trương Mạc Cường5/31MSSV. - Tân Hạnh không cần phải điều chỉnh lớn lao làm ảnh hưởng đến hoạt động của cả hệ thống như là cả hệthống phải sụp đổ tạm thời khi thêm, bớt một đơn vị lưới nào đó sau đó mới hoạt động trở lại.Từ đó, cho thấy tính cấp thiết của một thành phần của hệ thống lưới có thể đáp ứng được các yêucầu, một nhóm chương trình có chức năng, nhiệm vụ làm trung gian để tương tác giữa các ứngdụng lưới từ phía người dùng và môi trường lưới bên dưới, gọi là middleware Hình 4: Ngườidùngchỉ cần cắmvà sử dụngdịch vụ màkhôngcần quantâm đến phíasau đó là gì. - Định nghĩa Grid Middleware Grid middleware là gói phần mềm nằm giữa lớp ứng dụng và hệ điều hành. - Grid middleware quản lý sercurity , truy cập và trao đổi thông tin. - Cung cấp khả năng kết nối số lượng lớn user • Che dấu các tài nguyên chia sẽ rời rạc như máy tính, trung tâm dữ liệu,các thiết bịkhác. - Cung cấp các công cụ để quản lý,khởi tạo các liên kết trao đổi thông tin. - Xây dựng các giao tiếp, và các giao thức có tính mục đích chung, tính mở và tính chuẩn .Bởi vì hệ thống lưới được xây dưng trên những giao tiếp và giao thức với rất nhiều mụcđích khác nhau. - Do đó, việc xây dựng các giao tiếp, giao thức chuẩn và mở là rất quan trọng, nếukhông, chúng ta chỉ xây dựng được những ứng dụng mang tính đặc thù mà thôi. - Nó định nghĩa nội dung và chuỗi các sự kiện trao đổithông điệp sử dụng các thao tác yêu cầu từ xa. - Điều này rất quan trọng và thiết để thựcSV: Đào Anh Vũ |Trương Mạc Cường6/31MSSV. - Tân Hạnh hiện tính interoperability (nghĩa là khả năng mà 2 thực thể khác nhau có thể làm việc vớinhau, và được thực hiện bởi các giao thức thông thường) mà hệ thống lưới phụ thuộc vào. - Cung cấp các API chuẩn : đó là các giao diện lập trình ứng dụng chuẩn, định nghĩa cácgiao tiếp chuẩn để viết mã thư viện, và cấu trúc các thành phần của Grid bằng cách cho phép các thành phần mã được sử dụng lại.Khi có grid middleware thì giúp. - Tránh cho các nhà phát triển ứng dụng không cần lập trình các mức thấp, tránh error- prone flatform như việc lập trình mạng mức socket. - Giảm chi phí thời gian phát triển phần mềm khi tập trung phát triển chuyên môn trướcrồi mới phát triển ứng dụng bằng cách tái sử dụng framework chứ không cần xây dựnglại từ đầu. - Cung cấp các trừu tượng hướng mạng ở mức cao gần với yêu cầu ứng dụng cho việc phát triển hệ thống rời rạc. - Cung cấp nhiều dịch vụ phát triển, như đăng nhập và bảo mật giúp cho việc hoạt độnghiệu quả trong môi trường mạng. - Giới thiệu bộ Globus toolkit 5.1 Giới thiệu • Globus toolkit là một bộ toolkit mã nguồn mở được sử dụng để xây dựng các hệ thống và cácứng dụng Grid. - Globus toolkit hiện đang được phát triển bởi tổ chức Globus Alliance và nhiềutổ chức khắp nơi trên thế giới. - Globus Alliance là một cộng đồng các cá nhân và tổ chức thamgia phát triển các công nghệ nền tảng cho Grid. - Bộtoolkit bao gồm : các dịch vụ và thư viện phục vụ việc bảo mật, hạ tầng thông tin grid, quản lýtài nguyên quản lý dữ liệu, liên lạc, phát hiện lỗi. - Nó được đóng gói như một tập cácthành phần có thể sử dụng độc lập hoặc kết hợp với nhau. - Mỗi tổ chức đều có những hoạtđộng, chính sách khác nhau, việc kết hợp, chia sẽ tài nguyên từ nhiều tổ chức bị cản trở bởitính không tương thích giữa các tài nguyên. - Globus toolkit được xây dựng để loại bỏ nhữngtrở ngại này, các dịch vụ, interface và protocol của nó cho phép người dùng truy cập đến cáctài nguyên ở xa như thể nó đang nằm trong máy tính của họ trong khi vẫn cho phép các tổchức thiết lập các chính sách cục bộ của mình như quản lý việc ai được phép dùng tài nguyênvà khi nào. - Mặc dù Globus được phát triển để phục vụ các dự án về khoa học và kỹ thuật, nhưng hiện nayGlobus cũng đã được áp dụng vào lĩnh vực thương mại. - Từ năm 2000 các công ty hàng đầuthế giới trong lĩnh vực công nghệ thông tin như : Avaki, Datasynapse, Entropia, Hewlett-Packerd, IBM, NEC, Oracle, Platform, Sun và United device, Microsoft đã bắt đầu xây dựngcác chiến lược về Grid computing trên nền tảng Globus.SV: Đào Anh Vũ |Trương Mạc Cường7/31MSSV. - Tân Hạnh File deploy-jndi-config.xml là JNDI deploy file, file này dùng enables GT4 WSRF(ProvisionDirService service có một file, GridDatabaseService service có một file. - File deploy-server.wsdd là file WSDD configuration, nó bảo Web Service container (Tomcat)làm thế náo publish Web service (ProvisionDirService service có một file,GridDatabaseService service có một file)File code ProvisionDirService.java (dùng cho ProvisionDirService service)SV: Đào Anh Vũ |Trương Mạc Cường27/31MSSV. - Tân Hạnh File ProvisionDirQNames.java định nghĩa Resources (dùng cho ProvisionDirService service)File code GridDatabaseService.java (dùng cho GridDatabaseService service)SV: Đào Anh Vũ |Trương Mạc Cường28/31MSSV. - Tân Hạnh File GridDatabaseQNames.java định nghĩa Resources (dùng cho GridDatabaseServiceservice) 11.Tài liệu tham khảo [1.] Rajkumar Buyya, Steve Chapin, and David DiNucci, Architectural Models for ResourceManagement in the Grid, USA, 2000[2.] Rajkumar Buyya, David Abramson, and Jonathan Giddy, An Economy Driven ResourceManagement Architecture for Global Computational Power Grids.[3.] Rajkumar Buyya, David Abramson, Jonathan Giddy, and Heinz Stockinger, EconomicModels for Resource Management and Scheduling in Grid Computing.[4.] David Abramson, Rajkumar Buyya, Jon Giddy. - Nimrod/G GRID Resource Broker andComputational Economy.SV: Đào Anh Vũ |Trương Mạc Cường29/31MSSV. - Tân Hạnh [5.] Klaus Krauter1, Rajkumar Buyya and Muthucumaru Maheswaran. - SV: Đào Anh Vũ |Trương Mạc Cường30/31MSSV. - Tân Hạnh SV: Đào Anh Vũ |Trương Mạc Cường31/31MSSV:
Xem thử không khả dụng, vui lòng xem tại trang nguồn hoặc xem
Tóm tắt