Xây dựng thuật toán lựa chọn máy chủ cho hệ thống mạng phân tán dữ liệu.

- Trang phụ bìa NGUYỄN VIỆT ANH XÂY DỰNG THUẬT TOÁN LỰA CHỌN MÁY CHỦ CHO HỆ THỐNG MẠNG PHÂN TÁN DỮ LIỆU Chuyên ngành : CÔNG NGHỆ THÔNG TIN LUẬN VĂN THẠC SĨ KỸ THUẬT CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS.
- 8 CHƯƠNG 1: HỆ THỐNG MẠNG PHÂN TÁN DỮ LIỆU.
- Máy chủ.
- Nội dung/loại dịch vụ.
- Phân phối ni dung.
- Môi trường ứng dụng của mạng phân phối nội dung.
- Các thành phần của mạng phân phối nội dung.
- 27 3 CHƯƠNG 2: THUẬT TOÁN LỰA CHỌN MÁY CHỦ CHO HỆ THỐNG MẠNG PHÂN TÁN DỮ LIỆU.
- Các thuật toán lựa chọn máy chủ trong hệ thống mạng phân tán dữ liệu.
- Thuật toán cho MAB.
- Mô hình mạng CDN.
- Nội dung/dịch vụ được cung cấp bởi CDN.
- Cấu trúc hệ thống định tuyến yêu cầu.
- Quá trình phân phối nội dụng.
- Phân phối nội dung trong một mạng CDN và giữa các mạng CDN ngang cấp.
- Sơ đồ hàm chọn máy chủ của thuật toán Epsilon-Greedy.
- Sơ đồ hàm chọn máy chủ của thuật toán Softmax.
- Sơ đồ hàm chọn máy chủ của thuật toán UCB.
- Hệ thống mạng phân tán dữ liệu là mt giải pháp hữu hiệu để cải tiến cht lượng dịch vụ Internet.
- Hệ thống mạng phân tán dữ liệu tái tạo lại ni dung gốc đến các máy chủ bản sao nằm ở các nơi khác nhau và đáp ứng yêu cầu từ máy chủ bản sao gần nht với nơi phát ra yêu cầu đó.
- Lựa chọn máy chủ để đáp ứng các yêu cầu là mt trong những vn đề quan trọng cần giải quyết trong hệ thống mạng phân tán để đáp ứng người dùng tốt nht, cải thiện cht lượng dịch vụ.
- Đề tài được chọn với mong muốn tìm hiểu về thuật toán lựa chọn máy chủ trong hệ thống mạng phân tán dữ liệu nhằm tăng hiệu năng và cải thiện cht lượng dịch vụ.
- Mục đích của đề tài (các kết quả cần đạt được) Luận văn nghiên cứu về các thuật toán lựa chọn máy chủ cho mạng phân tán dữ liệu.
- Trên cơ sở đó xây dựng thuật toán để lựa chọn máy chủ cho mạng phân tán dữ liệu và khảo sát đánh giá thuật toán đó.
- Đối tượng, phạm vi nghiên cứu - Đối tượng: Thuật toán lựa chọn máy chủ trong hệ thống mạng phân tán dữ liệu mà cụ thể là các thuật toán MAB 8 - Phạm vi nghiên cứu: Giả lập mt môi trường mạng phân tán ni dung đồng thời áp dụng các thuật toán nghiên cứu được trên môi trường giả lập.
- Phương pháp nghiên cứu - Phương pháp nghiên cứu lý thuyết: o Tìm hiểu về mạng phân tán qua các sách khảo và các bài báo mạng o Tìm hiểu giải thuật chọn lựa máy chủ qua sách tham khảo và các bài báo mạng.
- Chương 1: Hệ thống mạng phân tán dữ liệu - Chương 2: Thuật toán lựa chọn máy chủ cho hệ thống mạng phân tán dữ liệu - Chương 3: Xây dựng giải thuật Multi-Armed Bandit.
- 9 CHƯƠNG 1: HỆ THỐNG MẠNG PHÂN TÁN DỮ LIỆU Với sự phát triển của Internet, các dịch vụ Web phổ biến thường bị tắc nghẽn do nhu cầu thực hiện trên dịch vụ lớn.
- Nó có thể gây ra tình trạng không thể quản lý luồng lưu lượng, dẫn đến nhiều yêu cầu bị mt.
- Sao chép ni dung giống nhau hoặc chiến lược nhân đôi dịch vụ trên mt số máy chủ Web được đặt tại các địa điểm khác nhau là mt phương pháp thường được sử dụng bởi các nhà cung cp dịch vụ để cải thiện hiệu sut và khả năng mở rng.
- Người sử dụng được chuyển hướng đến các máy chủ gần nht và phương pháp này gip giảm thiểu tác đng trên mạng vào thời gian đáp ứng các yêu cầu của người dùng.
- Content Delivery Networks (CDN) cung cp dịch vụ để cải thiện hiệu sut mạng bằng cách tối ưu hóa băng thông, nâng cao khả năng tiếp cận và duy trì tính đng đắn thông qua bản sao ni dung.
- CDN có mt số sự kết hợp của giải phóng ni dung, yêu cầu định tuyến, phân phối và cơ sở hạ tầng.
- Các cơ sở hạ tầng phân phối ni dung bao gồm mt tập hợp các máy chủ lân cận (còn gọi là máy chủ đại diện) cung cp bản sao ni dung tới người dùng cuối cùng.
- Các cơ sở hạ tầng theo yêu cầu định tuyến có trách nhiệm chỉ đạo yêu cầu khách hàng đến các máy chủ lân cận thích hợp.
- Nó cũng tương tác với các cơ sở hạ tầng phân phối để cập nhật các ni dung được lưu trữ trong b nhớ đệm CDN.
- Các cơ sở hạ tầng phân phối di chuyển ni dung từ máy chủ gốc đến các máy chủ lân cận và đảm bảo tính thống nht của ni dung trong b nhớ đệm.
- Các cơ sở hạ tầng kế toán duy trì các bản ghi của khách hàng truy cập và ghi lại việc sử dụng các máy chủ CDN.
- Khách hàng tiêu biểu của CDN là phương tiện truyền thông và các công ty quảng cáo Internet, trung tâm dữ liệu, cung cp dịch vụ Internet, các nhà bán lẻ âm nhạc trực tuyến, các nhà khai thác di đng, nhà sản xut thiết bị điện tử tiêu dùng, và các công ty cung cp dịch vụ khác.
- Mỗi mt khách hàng 10 muốn xut bản và chuyển tải ni dung đến người dùng cuối trên Internet mt cách đáng tin cậy và kịp thời.
- Định nghĩa CDN Mạng CDN là mt tập hợp các phần tử mạng được sắp xếp để phân phối ni dung hiệu quả hơn cho người dùng.
- Mạng CDN có thể có nhiều hình thức và cu trc khác nhau Các chức năng tiêu biểu của mt CDN bao gồm.
- Yêu cầu chuyển hướng và phân phối ni dung để chỉ đạo mt yêu cầu đến máy chủ thay thế thích hợp nht bằng cách sử dụng các cơ chế để vượt qua tình trạng tắc nghẽn.
- Dịch vụ phân phối ni dung để nhân rng và thay thế ni dung b nhớ đệm các máy chủ phân phối đại diện cho máy chủ gốc.
- Các dịch vụ đàm phán ni dung để đáp ứng nhu cầu cụ thể của từng người dùng cá nhân (hoặc nhóm người dùng.
- Quản lý dịch vụ để quản lý các thành phần mạng, giải quyết hoạch toán, giám sát và báo cáo về việc sử dụng ni dung.
- CDN cung cp hiệu sut tốt hơn thông qua b nhớ đệm hoặc sao chép ni dung trên mt số máy chủ thay thế được đặt tại các địa điểm khác nhau để đối phó với sự tăng vọt bt ngờ trong các yêu cầu ni dung web.
- Trong mạng CDN, ni dung đề cập đến bt kỳ nguồn dữ liệu kỹ thuật số và nó bao gồm hai phần chính: các dữ liệu đa phương tiện được mã hóa và siêu dữ liệu.
- Các dữ liệu đa phương tiện bao gồm mã hóa tĩnh, đng và dữ liệu đa phương tiện liên tục (ví dụ như âm thanh, video, tài liệu, hình ảnh và các trang web).
- Siêu dữ liệu là mô tả ni dung cho phép nhận dạng, phát hiện và quản lý các dữ liệu đa phương tiện, và cũng tạo điều kiện cho việc giải thích các dữ liệu đa phương tiện.
- Tuy nhiên, Internet ngày nay và các kiến trc Intranet kết hợp không có khả năng xử lý lượng truyền thống đa phương tiện và các dịch vụ ni dung đòi hỏi lưu lượng lớn mà các khách hàng trực tuyến tìm kiếm ở tốc đ mà họ mong muốn.
- Kể cả việc bổ sung các đường mạng nhanh hơn, các máy chủ mạnh hơn vẫn không giải quyết được vn đề.
- Kết quả là rt nhiều nhà cung cp dịch vụ ni dung, các nhà kinh doanh điện tử thương mại, các tổ chức và các doanh nghiệp phải chịu đựng các máy chủ quá tải và truy nhập mạng với tốc đ chậm làm nản lòng khách hàng, nhân viên.
- Giải pháp mạng phân phối ni dung nhằm nâng cao năng lực của mạng.
- Nếu lưu lượng giữa người dùng và máy chủ không đi qua phần mạng bị nghẽn thì có nhiều khả năng là tốc đ truyền dữ liệu sẽ cao hơn.
- Mô hình mạng CDN 12 Trong mạng CDN có nhiều các máy chủ thay thế được đặt ở các vị trí khác nhau.
- Các máy chủ thay thế thường có ni dung như nhau, tuy nhiên khách hàng chỉ có thể kết nối mt số máy chủ thay thế phù hợp theo chính sách của nhà cung cp CDN.
- Trong kỷ nguyên thông tin, mt giải pháp mạng CDN cho phép các doanh nghiệp, các nhà cung cp dịch vụ ni dung điều khiển ni dung của họ và quản lý nó.
- Các mạng CDN cho phép các doanh nghiệp.
- Cải thiện cht lượng mạng và cht lượng dịch vụ thậm chí ngay cả khi lưu lượng tổng tăng lên.
- Sử dụng dữ liệu đa phương tiện dung lượng cao như video để tăng cường năng lực phục vụ người dùng cuối mà không bị tắc nghẽn ở các mạng.
- Đảm bảo cung cp ni dung dữ liệu mới nht cho người dùng cuối trong các môi trường phát triển nhanh.
- Giảm phí tổn băng thông tổng mà không làm ảnh hưởng đến cht lượng dịch vụ tới người dùng cuối.
- Phân phối các ứng dụng phân tán trên mạng sẵn có mà không phải chịu chi phí tiền vốn lớn.
- Bắt kịp các dạng dữ liệu Internet hiện tại và tương lai.
- 13 Giải pháp mạng phân phối ni dung nhằm nâng cao năng lực của mạng.
- Nếu lưu lượng giữa máy khách và máy chủ không đi quan phần mạng bị nghẽn thì có nhiều khả năng là tốc đ truyền sẽ cao hơn.
- Tuy nhiên, nếu tuyến kết nối phải đi qua phần mạng bị nghẽn thì máy khách có thể kết nối với mt máy chủ thay thế với đường truyền không bị nghẽn.
- Nhà cung cp mạng CDN đảm bảo phân phối ni dung kỹ thuật số bt kỳ mt cách nhanh chóng.
- Các nguồn của ni dung bao gồm các doanh nghiệp lớn, các nhà cung cp dịch vụ web, các công ty truyền thông và các đài truyền tin tức.
- Người dùng cuối có thể tương tác với mạng CDN bằng cách xác định các yêu cầu ni dung/dịch vụ thông qua điện thoại di đng, điện thoại thông minh/PDA, máy tính xách tay và máy tính để bàn.
- Hình 2 mô tả các ni dung/dịch vụ khác nhau được phục vụ bởi mt nhà cung cp CDN cho người dùng.
- Nội dung/dịch vụ được cung cấp bởi CDN Nhà cung cp CDN tính phí khách hàng của họ theo các ni dung được cung cp (tức là lưu lượng) đến người dùng cuối cùng của các máy chủ thay thế.
- Mạng 14 CDN hỗ trợ mt cơ chế kế toán để thu thập và theo dõi thông tin sử dụng của khách hàng liên quan đến yêu cầu định tuyến, phân phối và chuyển giao.
- Chi phí trung bình của tính phí dịch vụ CDN là khá cao, thường ra khỏi tầm với của nhiều doanh nghiệp vừa và nhỏ hay không cho lợi nhuận tổ chức.
- Các yếu tố ảnh hưởng nht ảnh hưởng đến giá của các dịch vụ CDN bao gồm.
- Chi phí băng thông - Các tác đng của phân phối lưu lượng truy cập - Kích thước của ni dung nhân rng trên các máy chủ thay thế - Số lượng máy chủ thay thế - Các vn đề đ tin cậy và ổn định của toàn hệ thống và an ninh của phân phối ni dung.
- Mạng CDN nhằm vào các nhà cung cp ni dung hoặc những khách hàng muốn đảm bảo cht lượng dịch vụ QoS cho các người dùng cuối trong khi truy cập ni dung web của họ.
- Khả năng mở rng đề cập đến khả năng của hệ thống để mở rng và xử lý mt lượng dữ liệu mới và lớn, người sử dụng và các giao dịch mà không có bt kỳ sự suy giảm đáng kể nào trong hoạt đng.
- Mạng CDN hoạt đng như b giảm sốc cho lưu lượng truy nhập bằng cách tự đng cung cp dung lượng 15 theo yêu cầu để đáp ứng các yêu cầu, tránh tắc nghẽn.
- Khả năng này cho phép CDN tránh được tốn kém tài nguyên vượt quá dự phòng và cung cp hiệu sut cao cho mọi người dùng.
- Nếu không kiểm soát an ninh thích hợp, nền tảng CDN sẽ bị đối tượng lừa đảo trên mạng, tn công từ chối dịch vụ (DDoS), virus, và sự xâm nhập không mong muốn khác có thể phá hỏng doanh nghiêp.
- CDN nhằm đáp ứng các yêu cầu nghiêm ngặt về vật lý, mạng, phần mềm, dữ liệu và thủ tục an ninh.
- Khả năng đáp ứng, trước khi việc ngừng trệ có thể sau bao lâu mt dịch vụ sẽ bắt đầu thực hiện hoạt đng bình thường.
- Hiệu sut của mt CDN thường được đặc trưng bởi thời gian đáp ứng (tức là đ trễ) cảm nhận của người dùng cuối.
- Đ tin cậy và hiệu sut của mt CDN bị ảnh hưởng bởi vị trí phân phối ni dung và cơ chế định tuyến, cũng như sao chép dữ liệu và chiến lược b nhớ đệm.
- CDN lưu trữ mt trang web cũng tập trung vào việc cung cp dịch vụ nhanh chóng và đáng tin cậy vì nó nhn mạnh thông điệp rằng công ty là đáng tin cậy và ly khách hàng làm trọng.
- Các thành phần CDN Ba thành phần chính của mt mạng CDN là: nhà cung cp ni dung, nhà cung cp CDN và người dùng cuối.
- Mt nhà cung cp ni dung hoặc khách hàng là mt trong những đại diện không gian tên URI của các đối tượng web được phân phối.
- Các máy chủ gốc của các nhà cung cp ni dung giữa các đối tượng.
- Mt nhà cung cp CDN là mt tổ chức hoặc công ty cung cp các cơ sở hạ tầng để cung cp ni dung đc quyền mt cách kịp thời và đáng tin cậy.
- Người dùng cuối cùng hoặc khách hàng là các chủ thể truy cập ni dung từ trang web của các nhà cung cp ni dung.
- Các nhà cung cp CDN sử dụng b nhớ đệm và/hoặc bản sao các máy chủ đặt tại các vị trí địa lý khác nhau để sao chép ni dung.
- Máy chủ đệm CDN cũng được gọi là máy chủ hoặc máy chủ đại diện gần nht.
- Những máy chủ đại diện của mt CDN nói chung được gọi là cụm web.
- CDN phân phối ni dung cho những máy chủ đại diện theo cách như vậy mà tt cả các máy chủ đệm chia sẻ cùng mt ni dung và URL.
- Các yêu cầu của khách hàng được chuyển đến cho máy chủ thay thế gần đó, và mt máy chủ thay thế được lựa chọn phân phối những yêu cầu ni dung cho người dùng cuối.
- Như vậy, người dùng có thể có được sự minh bạch.
- Ngoài ra, những máy chủ đại diện gửi thông tin kế toán và các ni dung giao tiếp cho các hệ thống kế toán của các nhà cung cp CDN.
- Kiến trúc lp Kiến trc của mạng lưới phân phối ni dung có thể được trình bày theo cách tiếp cận lớp

Xem thử không khả dụng, vui lòng xem tại trang nguồn
hoặc xem Tóm tắt