Thiết kế bộ phân tải cho các cụm máy chủ trang web lớn đảm bảo khả năng nhanh chóng mở rộng hệ thống

- Họ và tên tác giả luận văn KIỀU THÀNH CHUNG TÊN ĐỀ TÀI LUẬN VĂN Thiết kế bộ phân tải Cho các cụm máy chủ trang Web lớn Đảm bảo khả năng nhanh chóng mở rộng hệ thống Chuyên ngành : CÔNG NGHỆ THÔNG TIN LUẬN VĂN THẠC SĨ KHOA HỌC CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC TIẾN SĨ : NGUYỄN KHANH VĂN Hà Nội – Năm 2010 3MỤC LỤC MỤC LỤC.
- Lịch sử nghiên cứu.
- Phương pháp nghiên cứu.
- 12 CHƯƠNG I: CÂN BẰNG TẢI LƯU LƯỢNG WEB.
- Phân loại cân bằng tải.
- Khả năng mở rộng – Scalability.
- Cân bằng tải không nhận biết nội dung.
- Các chính sách phân phối yêu cầu không nhận biết nội dung .
- Cân bằng tải nhận biết nội dung.
- Kiến trúc hai chiều .
- Kiến trúc một chiều .
- Các chính sách phân phối yêu cầu nhận biết nội dung .
- Các giải pháp nhận biết địa phương.
- Các giải pháp không nhận biết địa phương.
- 40 CHƯƠNG II: ĐIỀU KHIỂN TRUY NHẬP VÀ BURSTINESS TRONG HỆ THỐNG WEB44 2.1.
- 68 CHƯƠNG IV: THUẬT TOÁN CÂN BẰNG TẢI VÀ ĐIỀU KHIỂN TRUY NHẬP.
- Kiến trúc hệ thống .
- Kỹ thuật cân bằng tải.
- 92 5DANH MỤC HÌNH VẼ MINH HỌA Hình 1.1: Tổ chức các giải pháp cân bằng tải web.
- 20 Hình 1.5: Cân bằng tải theo kiến trúc 2 chiều layer-7.
- 22 Hình 1.6: Các kỹ thuật cân bằng tải Layer-7 trong kiến trúc hai chiều.
- 70 Hình 4.1: Các dự đoán thông lượng.
- Các giải pháp cân bằng tải không nhận biết nội dung.
- 16 Bảng 2.2: Các giải pháp cân bằng tải nhận biết nội dung.
- 23 Bảng 2.3: Các đặc điểm chính sách phân phối yêu cầu nhận biết nội dung.
- 43 Bảng 3.1: Các đặc điểm chính của các chính sách điều khiển truy nhập.
- Cung cấp dịch vụ cho 1 tập thể đã nghiên cứu rõ ràng (một doanh nghiệp chẳng hạn) có thể là một việc quen thuộc trong quá khứ, nhưng cung cấp dịch vụ cho toàn bộ công chúng, trong đó số người sử dụng đồng thời có thể lớn không lường trước được, là một thách thức mới: làm sao để đảm bảo không xảy ra tắc nghẽn và tối ưu hiệu quả hệ thống.
- Ở đây ta cần nhấn mạnh đến tính hiệu quả trong việc tổ chức sử dụng các thiết bị: nếu không có các giải pháp hợp lý, xử lý thông minh, các thiết bị tốn kém vẫn không hoạt động đúng công suất, gây lãng phí lớn và tắc nghẽn vẫn xảy ra.
- Yếu tố hệ thống thường được biết đến với tên gọi “khả năng mở rộng hệ thống”, hay nói tắt “khả mở” (scalability).
- Với việc thiết kế hệ thống kém, những điểm ách tắc (bottleneck) cố hữu làm hệ thống khó mở rộng khả năng đáp ứng nhu cầu người dùng, dù được tăng cường số lượng máy chủ lớn.
- Năm 2006, sự ra đời của Facebook đánh dấu bước ngoặt mới cho hệ thống mạng xã hội trực tuyến với nền tảng lập trình "Facebook Platform" cho phép thành viên tạo ra những công cụ (apps) mới cho cá nhân mình cũng như các thành viên khác dùng.
- Đây là thiết bị và phần mềm làm nhiệm vụ đón yêu cầu của tất cả NSD rồi “phân việc” cho một trong số các máy chủ (server) xủ lý thông tin cụ thể.
- Để đảm bảo tối ưu hiệu quả sử dụng của toàn bộ hệ thống các máy chủ, bộ phận phân tải phải làm việc “công minh” và khéo léo, tìm giao việc cho “người” vừa đang nhẹ tải nhất vừa đúng “chuyên môn”.
- Luận văn cao học này đặt mục tiêu nghiên cứu tìm hiểu sâu các kỹ thuật cơ bản trong thiết kế các hệ phân tải đảm bảo khả năng mở rộng hệ thống (scalability) của các dịch vụ mạng với số lượng NSD lớn.
- Cụ thể hơn, luận văn sẽ tìm hiểu và tổng hợp có hệ thống các phương pháp phân tải phong phú đã được biết tới lâu này, trong thực tế cũng như trong những nghiên cứu lý thuyết mới nhất.
- Một trong những mục tiêu cụ thể là tìm và áp dụng những kỹ thuật tiên tiến và hợp lý nhất cho các hệ thống dịch vụ game-online đang được cung cấp bởi tổng công ty VTC, môi trường công tác của tác giả.
- Khi hệ thống cơ sở hạ tầng mạng chưa đạt được những thành tựu nhất định, ví dụ như tốc độ truyền qua đường Dial up chậm, số lượng web ít, số lượng server phục vụ web ít, chủ yếu là các trang web tĩnh,…thì vấn đề tải trong hệ thống mạng chưa được quan tâm.
- Bước đầu trong lịch sử, người ta đã nghiên cứu các giải pháp cân bằng tải đơn giản, chủ yếu phục vụ cho hệ thống web tĩnh và hệ thống máy chủ đồng bộ.
- Tuy nhiên, 10khi công nghệ ứng dụng dựa trên web thay đổi, việc tìm kiếm hay đưa ra các giải pháp cân bằng tải là cần thiết để đảm bảo đáp ứng sự đa dạng về nội dung, sự phát triển các loại yêu cầu khác nhau, với thời đáp ứng các yêu cầu khác nhau.
- Mục tiêu chính: Trên cơ sở nghiên cứu các giải pháp, mục tiêu của luận văn là đánh giá các giải pháp cân bằng tải đã và đang sử dụng trong hệ thống Web.
- Nghiên cứu các yếu tố tác động vào tải của hệ thống web.
- Mục đích cuối cùng là dựa trên các đánh giá cụ thể các giải pháp cân bằng tải nhằm tìm kiếm giải pháp thích hợp để áp dụng vào thực tiễn hệ thống Web hiện nay tại Việt nam.
- Đối tượng chính của luận văn chính là các giải pháp cân bằng tải.
- Đặc biệt là giải pháp cân bằng tải nhận biết nội dung với sự phân tích đánh giá các yếu tố burstiness thông qua việc thiết lập các khe thời gian thích ứng.
- Ngoài ra, luận văn cũng mô tả các giải pháp khác như là các giải pháp cân bằng tải không nhận biết nội dung, các giải pháp cân bằng tải nhận biết QoS.
- Thông qua các đối tượng đó, để đánh giá khả năng đáp ứng và khả năng mở rộng của hệ thống Web khi số lượng người truy nhập tăng đột biến hay quá lớn.
- Tuy nhiên, trong khuôn khổ của luận văn này, phạm vi nghiên cứu là các hệ thống Web Game lớn đã và đang triển khai tại Việt nam.
- Sơ lược luận văn Để thực hiện mục tiêu trên, luận văn này sẽ được chia thành hai phần chính: Phần nội dung gồm các chương - Chương 1: Khái niệm và phân loại cân bằng tải.
- Khả năng mở rộng Scalability.
- Các kiến trúc ứng dụng cân bằng tải.
- Chương 2: Các ảnh hưởng của lưu lượng đối với máy chủ Web.
- Chương 4: Thuật toán cân bằng tải và điều khiển truy nhập.
- Qua đó, đánh giá các giải pháp cân bằng tải nhằm đưa ra giải pháp thích hợp mang tính ứng dụng đối với hệ thống web.
- 12PHẦN NỘI DUNG CHƯƠNG I: CÂN BẰNG TẢI LƯU LƯỢNG WEB 1.1.
- Giới thiệu Lý do chính của sự phổ biến ngày càng tăng của các cụm máy chủ, còn gọi là máy chủ farms, do thực tế là các ứng dụng web phải có khả năng chạy trên nhiều máy chủ để chấp nhận một số lượng ngày càng cao của người sử dụng có nhu cầu nội dung Web.
- Về bản chất, cân bằng tải là khả năng để làm cho một vài máy chủ cùng tham gia vào các dịch vụ tương tự và làm việc cùng, vì năng lực của các máy chủ là hữu hạn.
- Cân bằng tải cải thiện khả năng mở rộng của một ứng dụng hoặc cụm máy chủ bằng cách phân phối tải trên nhiều máy chủ.
- Cân bằng tải cũng có thể hướng lưu lượng truy nhập đến các máy chủ khác, nếu một máy chủ hoặc ứng dụng không hoạt động (lỗi).
- Khả năng quản lý được cải thiện bằng cân bằng tải theo nhiều cách cho phép các quản trị mạng và quản trị máy chủ để di chuyển một ứng dụng từ một máy chủ đến một máy chủ khác một cách dễ dàng.
- Cân bằng tải cung cấp các giải pháp cải thiện an toàn bằng cách bảo vệ các cụm máy chủ với nhiều hình thức của tấn công từ chối dịch vụ: Denial-of-Service (DoS).
- Phân loại cân bằng tải: sắp xếp các giải pháp cân bằng tải.
- Khả năng mở rộng – scalability: tính mở rộng hệ thống trong giải pháp cân bằng tải.
- Cân bằng tải không nhận biết nội dung: giải pháp thực hiện cân bằng lưu lượng nhưng không dựa trên nội dung cụ thể.
- Cân bằng tải nhận biết nội dung: giải pháp thực hiện cân bằng lưu lượng dựa trên nội dung cụ thể.
- Phân loại cân bằng tải • Cân bằng tải phụ thuộc vào nguyên tắc phân loại của các kiến trúc máy chủ web, sự phân biệt được thực hiện theo cách tiếp cận local scale-out hay global scale-out.
- Sự khác biệt chính bao gồm các vị trí địa lý, nơi đặt các node máy chủ cư trú.
- Kiến trúc local scale-out còn được gọi là các hệ thống web phân tán cục bộ.
- Cân bằng tải phụ thuộc vào địa chỉ IP: Sự khác biệt có thể được thực hiện trong nhóm này phụ thuộc vào các địa chỉ IP tường minh của hệ thống web hiển thị cho khách hàng.
- Các node máy chủ web của hệ thống web phân tán Distributed Web System hiển thị IP cho các khách hàng.
- Kiến trúc là hệ thống web dựa trên Cluster Cluster-based Web System (or Web cluster) cho phép các ứng dụng của client có thể nhìn thấy địa chỉ IP ảo của thiết bị front-end của hệ thống web.
- Cân bằng tải phụ thuộc vào nơi quyết định phân phối định tuyến yêu cầu tới một máy chủ của một hệ thống web server phân tán cục bộ: dựa trên client (client-based), dựa trên DNS (Domain Name System (DNS)-based), dựa trên bộ điều phối (dispatcher-based) and dựa trên máy chủ (server-based).
- 14• Cân bằng tải phụ thuộc vào mức áp dụng: mức phần cứng (về cơ bản cho các sản phẩm thương mại), mức phần mềm hệ thống, mức phần mềm trung gian (phần mềm kết nối giữa client và databases) và mức phần mềm ứng dụng.
- Cân bằng tải cụm web, giải pháp cân bằng tải tùy thuộc vào lớp giao thức OSI tại cân bằng tải, còn được gọi là bộ chuyển web hoặc thiết bị front-end.
- Cũng đề cập đến cân bằng tải cụm web, có một phân nhóm khác tùy thuộc vào cách trả dữ liệu về của các đối tượng máy chủ tới khách hàng.
- Những phản hồi từ máy chủ hoặc có thể đi qua các cân bằng tải (kiến trúc hai chiều – two ways), hoặc có thể theo một đường thay thế trực tiếp cho client tránh đi qua bộ cân bằng tải (kiến trúc một chiều – one way hay cân bằng tải máy chủ một chiều).
- Đó là vấn đề chọn đường khác của lưu lượng luồng dữ liệu từ máy chủ tới client hơn là chuyển qua bộ cân bằng tải để tránh một node cổ chai có thể xảy ra ngay trong bộ cân bằng tải.
- Hình 1.1: Tổ chức các giải pháp cân bằng tải web.
- Khả năng mở rộng – Scalability Trong số tất cả những lý do cho việc sử dụng các giải pháp cân bằng tải, việc tập trung vào khả năng mở rộng tương ứng với nhu cầu người dùng trên các dịch vụ Web tiếp tục phát triển và hệ thống máy chủ Web ngày càng trở nên quá tải, chịu áp lực càng ngày càng cao.
- Hơn nữa, hoạt động và hiệu năng của ứng dụng không dừng lại trên một máy chủ đơn.
- Do đó, cân bằng tải tránh ràng buộc này bởi khả năng phát triển số lượng các máy chủ lưu trữ ứng dụng.
- Mặc dù cả năng lực mạng và năng lực của máy chủ đã được cải tiến trong những năm gần đây và các kiến trúc mới đã được phát triển, tuy nhiên vẫn còn một số vấn đề cần được giải quyết theo quan điểm của người sử dụng theo khía cạnh thời gian phản hồi nhận được.
- Khi một máy chủ bị tắc nghẽn, thời gian phản hồi thu được bởi sự gia tăng người sử dụng và điều này có thể dẫn đến một hoạt động mua bán trực tuyến bị thất bại trên trang thương mại điện tử.
- Vì vậy thời gian đáp ứng tiếp tục thách thức hệ thống máy chủ và nghiên cứu liên quan đến cụm máy chủ.
- Luận văn này tập trung vào cơ sở hạ tầng hệ thống web như một thành phần được kiểm soát trực tiếp của quản trị trang web trong một hệ thống mạng phân tán như Internet.
- Các thành phần khác cấu thành mạng như các hệ thống như là DNS, các mạng Backbone (mạng xương sống) và các router (bộ định tuyến) không được điều khiển bởi một tổ chức duy nhất và vượt ra khỏi phạm vi của nghiên cứu này.
- Kiến trúc hệ thống web, bao gồm một tập các máy chủ phân tán cục bộ và được kết nối thông qua một mạng tốc độ cao.
- Những người dùng không biết tên và địa chỉ của các máy chủ hợp thành cấu trúc web, họ truy nhập vào các ứng dụng được lưu trữ trong hệ thống mà chuyển các yêu cầu của họ tới địa chỉ VIP (Virtual IP) tương ứng với thiết bị đóng vai trò như một thiết bị front-end của kiến 16trúc Web.
- Loại kiến trúc này được đặt tên là hệ thống web dựa trên Cluster (Cluster-based Web System).
- Các giải pháp cân bằng tải được đề cập đến trong phần này được gọi là cân bằng tải không nhận biết nội dung vì bộ cân bằng tải không nhận biết thông tin của ứng dụng chứa trong các yêu cầu gửi đến.
- Các bộ cân bằng tải thực hiện nội dung định tuyến mù thường được nhắc tới như là các bộ cân bằng tải ở layer-4.
- Việc lựa chọn của máy chủ đích tham dự các yêu cầu được thực hiện dựa trên những thông tin có trong các gói tin TCP SYN ở bộ cân bằng tải.
- Lớp OSI, được sử dụng để chuyển tiếp các gói dữ liệu tới đến các máy chủ đích, có thể là lớp liên kết hay lớp mạng.
- Các giải pháp cân bằng tải không nhận biết nội dung Tương ứng với bảng minh họa trên, phần này sẽ được phân thành các phần nhỏ dưới đây.
- Cân bằng tải chuyển tiếp lớp 2, sử dụng thiết bị front-end để chuyển tiếp các gói dữ liệu đến các máy chủ.
- Cân bẳng tải chuyển tiếp lớp 3, sử dụng thiết bị front-end để chuyển tiếp các gói dữ liệu đến các máy chủ.
- Các chính sách lập lịch áp dụng cho cân bằng tải không nhận biết nội dung 171.4.1.
- Cần thiết một thiết bị cầu nối giữa bộ định tuyến client-side và bộ định tuyến phía của máy chủ (server-side).
- Về cơ bản, client thiết lập một kết nối TCP với máy chủ mà sẽ tham dự các yêu cầu của nó thông qua VIP của trang web.
- Nhiệm vụ của thiết bị front-end, hoạt động như bộ cân bằng tải, là để chọn những máy chủ và dịch địa chỉ đích Media Access Control (MAC) mà không để lại dấu vết trên thiết bị trung gian trong truyền thông.
- Hình 1.2: ví dụ về chuyển tiếp layer-2, mô tả vai trò của bộ cân bằng tải mà đã ghi lại các địa chỉ đích layer-2 đến địa chỉ MAC của máy chủ Web được lựa chọn và sau

Xem thử không khả dụng, vui lòng xem tại trang nguồn
hoặc xem Tóm tắt