Nghiên cứu mô phỏng và tính giá thành cho Tô-pô mạng liên kết trong siêu máy tính sử dụng công cụ Simgrid

- Trần Trung Hiếu NGHIÊN CỨU MÔ PHỎNG VÀ TÍNH GIÁ THÀNH CHO TÔ-PÔ MẠNG LIÊN KẾT TRONG SIÊU MÁY TÍNH SỬ DỤNG CÔNG CỤ SIMGRID Chuyên ngành: Công nghệ thông tin LUẬN VĂN THẠC SĨ KỸ THUẬT CÔNG NGHỆ THÔNG TIN NGƢỜI HƢỚNG DẪN KHOA HỌC: 1.
- Tổng quan về mạng liên kết (Interconnection Network.
- Khái niệm, ứng dụng của mạng liên kết.
- Các thành phần cơ bản trong mạng liên kết.
- Tổng quan về cấu hình mạng.
- Hiệu năng của mạng liên kết.
- 25 CHƢƠNG 2: PHƢƠNG PHÁP ĐÁNH GIÁ MẠNG LIÊN KẾT.
- Đánh giá chi phí.
- Đánh giá hiệu năng mạng liên kết bằng lý thuyết đồ thị.
- Đánh giá độ trễ bằng lý thuyết đồ thị.
- Đánh giá khả năng chịu lỗi bằng lý thuyết đồ thị.
- Đánh giá hiệu năng mạng liên kết bằng công cụ mô phỏng.
- Phƣơng pháp đánh giá hiệu năng bằng công cụ mô phỏng.
- Đánh giá hiệu năng của ứng dụng.
- Phƣơng pháp đánh giá.
- Công cụ mô phỏng.
- 41 CHƢƠNG 3: CÔNG CỤ MÔ PHỎNG SIMGRID.
- Giới thiệu sơ lƣợc về các công cụ mô phỏng mạng.
- Tổng quan về kỹ thuật mô phỏng.
- 46 3.2.1 Hệ thống, mô hình và mô phỏng.
- 46 3.2.2 Các bƣớc trong mô phỏng một hệ thống.
- Cấu hình căn bản cho các ứng dụng Simgrid.
- 57 CHƢƠNG 4: ỨNG DỤNG MINH HỌA.
- Các yêu cầu cho ứng dụng.
- Giải pháp cho ứng dụng.
- So sánh thời gian tính toán, thời gian giả lập khi sử dụng các loại topology khác nhau.
- 6 DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT STT Từ viết tắt Giải nghĩa 1 Interconnection network Mạng liên kết, mạng kết nối 2 OCNs On-chip networks 3 SANs System/storage area networks 4 DSN Distributed Shortcut Networks 5 Logarithmic diameter Tính chất của một mạng mạng liên kết có đƣờng kính tính bằng hàm logarit của số nút mạng 6 Throughput Thông lƣợng 7 Latency Độ trễ 8 LSDC Large- Scale Distributed Computing 9 MSG Meta Simgrid 10 SMPI Simulated Message Passing Interface 11 DAG Direct Acyclic Graph 12 XBT Extensible Bench of Tools 13 HPC High-performance computing 14 P2P Peer to peer 7 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình 1: Mô hình mức cao của mạng liên kết.
- 11 Hình 2: Các lĩnh vực ứng dụng của mạng liên kết.
- 13 Hình 3: Các cấu hình mạng cơ bản.
- 17 Hình 4: Mạng liên kết 2D-Torus gồm 4x4 nút mạng.
- 31 Hình 11: Giả code tính năng lƣợng tiêu thụ của mạng liên kết.
- 33 Hình 12: Mô hình mạng liên kết bằng đồ thị có trọng số.
- 59 Hình 19: Kết quả so sánh khi chạy ứng dụng mô phỏng bằng MSG sử dụng các ngôn ngữ C, Java (nguồn [18.
- 65 Hình 20: Chạy SMPI ở chế độ lƣu vết và xem hình ảnh kết quả sử dụng ứng dụng tiện ích Vite hoặc Viva.
- 69 9 MỞ ĐẦU Trong những năm gần đây, việc sử dụng các siêu máy tính, các trung tâm dữ liệu hiện đại là nhu cầu thiết yếu ở nhiều nƣớc trên thế giới để xử lý và lƣu trữ dữ liệu phục vụ cho công tác nghiên cứu khoa học, ứng dụng và kinh doanh.
- Tại Việt Nam, đã xuất hiện ngày càng nhiều các trung tâm dữ liệu hiện đại ở các trƣờng đại học nhƣ đại học Bách Khoa Hà Nội, đại học Quốc Gia, các doanh nghiệp nhƣ FPT telecom, VNPT, Viettel, VC Corp… Trong lĩnh vực nghiên cứu khoa học, nhiều nghiên cứu trong và ngoài nƣớc về mạng liên kết là kết quả của mô phỏng.
- Điều đó nói lên tầm quan trọng và mức độ ứng dụng rộng rãi của mô phỏng trong nghiên cứu về mạng liên kết.
- Mô phỏng cho phép đánh giá đƣợc hiệu năng của một hệ thống mạng với các điều kiện, cấu hình khác nhau trong trƣờng hợp các phƣơng pháp đánh giá trực tiếp trên các hệ thống thật hoặc qua phân tích tính toán bằng toán học không khả thi.
- Hiện nay, trong các công cụ mô phỏng mạng liên kết, Simgrid nổi lên nhƣ một công cụ có khả năng mô phỏng mạnh mẽ, chính xác, linh hoạt và hiệu năng cao.
- Simgrid cũng có thể sử dụng cho các ứng dụng lập trình song song truyền thông điệp MPI.
- Chính nhờ Simgrid có khả năng đáp ứng nhiều tiêu chí của các cộng đồng tính toán phân tán khác nhau, nên Simgrid đã trở lên vƣợt trội so với các công cụ đƣợc xây dựng với một đặc thù hệ thống nhất định, Simgrid có thể coi nhƣ một thƣớc đo chung để so sánh, đánh giá giữa các hệ thống, ứng dụng phân tán.
- Tại Việt Nam, việc các nghiên cứu sử dụng Simgrid chƣa thực sự nhiều, hơn nữa khi thiết lập một mạng liên kết, việc ƣớc đoán, tính giá thành cho tô-pô mạng là một khâu khá quan trọng vì những lý do trên nên tôi đã chọn đề tài “Nghiên cứu mô 10 phỏng và tính giá thành cho tô-pô mạng liên kết trong siêu máy tính sử dụng công cụ Simgrid”.
- Tổng quan về mạng liên kết (Interconnection Network) 1.1.1.
- Khái niệm, ứng dụng của mạng liên kết Mạng liên kết (Interconnection Network) đƣợc hiểu một cách tổng quát là một hệ thống có thể lập trình đƣợc vận chuyển dữ liệu giữa các thiết bị đầu cuối [1].
- Hình 1 mô tả mạng liên kết ở mức cao.
- Trong đó, các thiết bị đầu cuối (kí hiệu từ TB1 đến TB5) kết nối với mạng liên kết thông qua các kết nối.
- Các mũi tên biểu diễn kết nối có hai chiều thể hiện khả năng vận chuyển dữ liệu vào và ra mạng liên kết.
- Khi thiết bị đầu cuối TB1 trao đổi dữ liệu với TB5, TB1 gửi một gói tin chứa dữ liệu đó đến mạng liên kết.
- Tại một thời điểm, mạng liên kết trong Hình 1 có thể chuyển tiếp gói tin từ TB1 đến TB5, sau đó cũng có thể đƣợc sử dụng để chuyển tiếp gói tin từ TB2 đến TB5.
- Tính chất này thể hiện khả năng có thể lập trình đƣợc của mạng liên kết.
- Ở đó, các kết nối khác nhau giữa các thiết bị đầu cuối khác nhau đƣợc thiết lập và thay đổi theo thời gian nhằm phục vụ nhu cầu truyền tin trong mạng.
- Hình 1: Mô hình mức cao của mạng liên kết Hiện nay, mạng liên kết đƣợc ứng dụng rộng rãi trong các hệ thống máy tính và các hệ thống chuyển mạch thông tin liên lạc.
- Đặc biệt, mạng liên kết đƣợc thiết kế để sử dụng ở các mức độ khác nhau trong các hệ thống máy tính nhằm đáp ứng 12 nhu cầu của các nhóm ứng dụng khác nhau nhƣ: tính toán hiệu năng cao (high-performance computing), lƣu trữ vào ra (storage I/O), các hệ thống cluster/workgroup.
- Tùy thuộc vào số luơng các thiết bị đƣợc kết nối và khoảng cách giữa các thiết bị, mạng liên kết đƣợc chia ra làm bốn lĩnh vực ứng dụng chính [2.
- Hiện nay, OCNs hỗ trợ các kết nối giữa vài chục thiết bị đặt trong các vi mạch với khoảng cách tối đa khoảng vài centimets.
- Ngoài ra loại mạng liên kết này cũng đƣợc sử dụng để kết nối các thành phần lƣu trữ và thành phần xử lý vào ra trong môi trƣờng gồm các máy chủ (server) và các trung tâm dữ liệu (data centers).
- Số lƣợng thiết bị đƣợc kết nối trong SANs có thể lên tới hàng nghìn thiết bị khác nhau phân bố với khoảng cách khoảng vài trăm met.
- Local area networks (LANs): Đây là mạng liên kết đƣợc sử dụng để kết nối hệ thống máy tính cá nhân.
- Kết nối máy tính trong một cụm là một ví dụ điển hình.
- Ban đầu, các mạng LAN chỉ kết nối hàng trăm thiết bị, nhƣng với cầu nối (bridges), mạng LAN có thể kết nối lên đến vài nghìn thiết bị.
- Khoảng cách kết nối tối đa bao phủ khu vực có đƣờng kính một vài kilomet, cho đến vài chục kilomet.
- Wide area networks (WANs): WANs kết nối các hệ thống máy tính phân bố phân tán trên toàn thế giới.
- WANs cũng kết nối hàng triệu các máy tính với nhau trên khoảng cách lớn.
- Hình 2 (nguồn [8]) minh họa mối quan hệ giữa các lĩnh vực ứng dụng của mạng liên kết với số lƣợng thiết bị đƣợc kết nối trong mạng cũng nhƣ khoảng cách 13 giữa chúng.
- Trục hoành (trục ngang) biểu thị số lƣợng thiết bị trong mạng liên kết.
- Trục tung (trục đứng) biểu thị khoảng cách giữa các thiết bị tính theo đơn vị met.
- Hình 2: Các lĩnh vực ứng dụng của mạng liên kết Trong quá trình thực hiện luận văn, ngƣời viết nghiên cứu các vấn đề của mạng liên kết một cách tổng quát nhƣng tập trung hơn cho các mạng liên kết ứng dụng trong lĩnh vực SANs.
- Đặc biệt, các vấn đề liên quan đến mạng liên kết phục vụ tính toán hiệu năng cao, và trung tâm dữ liệu (data center).
- Các thành phần cơ bản trong mạng liên kết Để đáp ứng đƣợc các yêu cầu của từng lĩnh vực ứng dụng cụ thể (ví dụ nhƣ độ trễ truyền tin hay chi phí), mạng liên kết đƣợc xây dựng thông qua việc cân nhắc các ràng buộc kĩ thuật nhằm cài đặt ba yếu tố cấu hình mạng (topology), định tuyến (routing) và điều khiển luồng (flow control).
- Trong hầu hết các ứng dụng, thay vì các thiết bị đầu cuối đƣợc liên kết với nhau từng đôi một, mạng liên kết đƣợc cài đặt dƣới dạng một nhóm các bộ chuyển tiếp trung gian (router) dùng chung kết nối 14 thông qua các kênh truyền.
- Các thiết bị đầu cuối, bộ chuyển tiếp trung gian đƣợc gọi là nút mạng (node).
- Mẫu thiết kế các kết nối giữa các nút mạng đƣợc gọi là cấu hình mạng – topology.
- Trong nhiều trƣờng hợp cụ thể, bộ chuyển tiếp còn gắn liền với thuật ngữ thiết bị chuyển mạch (switch) vì quá trình chuyển tiếp thông tin đƣợc thực hiện nhờ kĩ thuật chuyển mạch.
- Khái niệm nút mạng cũng đƣợc hiểu trong phạm vi hẹp chỉ bao gồm các bộ chuyển tiếp hay bộ chuyển mạch do sự thay đổi các thiết bị đầu cuối không ảnh hƣởng nhiều đến kết quả nghiên cứu.
- Các gói tin đƣợc truyền giữa các thiết bị đầu cuối bằng cách đƣợc chuyển tiếp một vài lần thông qua các kênh truyền dùng chung và bộ chuyển tiếp trung gian từ nguồn tới đích.
- Độ dài của đƣờng đi liên quan trực tiếp tới độ trễ (latency) truyền tin của mạng trong khi tải (load) thể hiện khối lƣợng sử dụng của một tài nguyên cụ thể.
- Tại một thời điểm, một tài nguyên có thể đƣợc yêu cầu sử dụng bởi các gói tin khác nhau.
- Điều khiển luồng đƣợc thực hiện liên tục theo thời gian và đóng vai trò quan trọng trong việc vừa chuyển tiếp các gói tin với độ trễ nhỏ nhất, vừa đảm bảo đƣợc các tài nguyên không bị sử dụng quá tải, hoặc không đƣợc sử dụng trong thời gian dài.
- Ngoài cấu hình mạng, định tuyến, và điều khiển luồng, một khái niệm quan trọng ảnh hƣởng đến việc nghiên cứu và đánh giá, thử nghiệm các mạng liên kết đó là “mẫu trao đổi thông tin” (traffic pattern).
- Traffic pattern là một phƣơng pháp mô hình hóa sự phân phối của các gói tin đƣợc gửi đi trong mạng liên kết.
- Bảng 1 mô tả các traffic pattern hay đƣợc sử dụng trong quá trình nghiên cứu đánh giá hoạt động của mạng liên kết.
- Trong một mạng liên kết gồm N nút mạng, Random traffic thể 15 hiện một gói tin đƣợc gửi từ nguồn s đến đích d bất kì một cách ngẫu nhiên.
- g(i) Bit complement di =￢si Bit reverse di = sb-i-1 Bit rotation di = si+1 mod b Shuffle di = si-1 mod b Transpose di = si+b/2 mod b Digit permutations dx = f(sg(x)) Tornado dx = sx + (k/2-1) mod k Neighbor dx = sx + 1 mod k Bảng 1: Bảng các traffic pattern trong mạng liên kết 1.2.
- Tổng quan về cấu hình mạng Cấu hình mạng là mẫu thiết kế các kết nối giữa các nút mạng với nhau hay đƣợc hiểu là một phƣơng pháp sắp xếp các kênh truyền và nút mạng.
- Trong mỗi ứng dụng cụ thể, quá trình lựa chọn cấu hình mạng là rất quan trọng do đây là yếu tố liên quan trực tiếp đến cài đặt chi tiết.
- Cấu hình mạng ảnh hƣởng tới thông số kĩ thuật của bộ chuyển tiếp trung gian nhƣ số cổng kết nối, tốc độ truyền tin cần thiết.
- Qua đó, cấu hình mạng ảnh hƣởng tới chi phí của mạng liên kết.
- Cấu hình mạng cũng quyết định đến quá trình định tuyến (routing).
- Mỗi mẫu kết nối giữa nút mạng yêu cầu các thuật toán định tuyến riêng biệt nhằm đảm bảo hiệu năng của mạng liên kết.
- Tóm lại, cấu hình mạng đƣợc chọn sử dụng dựa trên chi phí và hiệu năng của nó.
- 16 Có rất nhiều loại cấu hình mạng đƣợc thiết kế và ứng dụng trong thực tế.
- Một cách tổng quát, có năm loại cấu hình mạng cơ bản sau.
- Bus: là một kiến trúc mạng ở đó các nút mạng kết nối với nhau thông qua chia sẻ một kênh truyền dùng chung (Hình 3.a).
- Bus là cách kết nối các nút mạng đơn giản nhất, dễ cài đặt và mở rộng.
- Bus tiêu tốn ít dây nối (cable) nên rẻ hơn các cấu hình mạng khác.
- Tuy nhiên sử dụng bus phải quan tâm đến vấn đề điều khiển luồng khi mà hai nút mạng muốn truyền tin tại cùng một thời điểm trên cùng một đƣờng bus.
- Tóm lại, bus chỉ phù hợp sử dụng cho những mạng liên kết nhỏ và không yêu cầu tốc độ cao.
- Star: hay còn gọi là cấu hình mạng dạng sao bao gồm một nút mạng trung tâm đóng vai trò nhƣ cầu nối để truyền dữ liệu (Hình 3.b).
- Star cũng dễ dàng mở rộng quy mô bằng cách nâng cao số kết nối của nút mạng trung tâm.
- Nhƣợc điểm của star là bị phụ thuộc vào khả năng, cấu hình phần cứng của nút mạng trung tâm.

Xem thử không khả dụng, vui lòng xem tại trang nguồn
hoặc xem Tóm tắt