Đồ án Cân bằng tải cho các hệ webserver lớn và đảm bảo scalability

MỤC LỤCTÓM TẮT NỘI DUNG ĐỒ ÁN TỐT NGHIỆP 1ABSTRACT OF THESIS 2DANH MỤC CÁC TỪ VIẾT TẮT VÀ THUẬT NGỮ 6ĐẶT VẤN ĐỀ 71. Tính cấp thiết của đề tài 72. Mục đích nghiên cứu 113. Kết cấu luận văn 11CHƯƠNG 1 : KIẾN TRÚC WEB VỚI KHẢ NĂNG MỞ RỘNG (SCALABLE WEB ARCHITECTURE) 121. Các khái niệm về kiến trúc với khả năng mở rộng 122. Các vấn đề cần giải quyết trong quá trình xây dựng website theo kiến trúc với khả năng mở rộng 132.1 Cân bằng tải cho application servers 132.2 Mở rộng Database server 162.2.1 Shared nothing Cluster 172.2.2 Real Application Cluster 182.2.3 Mô hình khuyên dùng 192.3 Tổ chức lưu trữ dữ liệu 202.4 Cân bằng tải cho Cache 222.4.1 Định nghĩa 222.4.2 Các loại Caches và cách cài đặt 23CHƯƠNG 2: KỸ THUẬT CÂN BẰNG TẢI WEB-SERVER 241. Lý thuyết xây dựng bộ cân bằng tải cho web-servers 241.1 Kỹ thuật cân bằng tải server (Server Load Balancing – SLB) 251.1.1 Kiểm tra trạng thái server 251.1.2 Lựa chọn server tốt nhất 261.1.3 Kỹ thuật Session Persistence 261.1.4 Cookie 261.2 Cân bằng tải cho server toàn cầu (GSLB) 301.2.1 Domain Name System 301.2.2 Cài đặt bộ cân bằng tải vào hệ thống mạng DNS 321.2.3 Lựa chọn site tốt nhất 341.3 Chuyển mạch cache trong suốt 361.3.1 Các phương pháp cài đặt cache 361.3.2 Các phương pháp cân bằng tải cho caches 421.3.3 Nhận biết ngữ cảnh trong cache (Content-aware cache switching) 451.4 Cân bằng tải sử dụng phần cứng và cân bằng tải phần mềm 461.4.1 Cân bằng tải sử dụng phần cứng 461.4.2 Cân bằng tải sử dụng phần mềm 482. Các thuật toán cân bằng tải 492.1 Thuật toán ngẫu nhiên (random) 492.2 Thuật toán Round Robin (RR) 492.3 Thuật toán Weighted Round Robin (Ratio) 502.4 Thuật toán Dynamic Round Robin - DRR (Dynamic Ratio) 512.5 Thuật toán Fastest 512.6 Thuật toán Least Connections (LC) 512.7 Thuật toán Observed 522.8 Thuật toán Predictive 53CHƯƠNG 3 : CÀI ĐẶT BỘ CÂN BẰNG TẢI TRONG MẠNG VÀ LẬP TRÌNH MÔ PHỎNG THUẬT TOÁN 541. Các phương án cài đặt bộ cân bằng tải vào hệ thống 541.1 Bộ cân bằng tải Haproxy 541.2 Cài đặt đơn giản với phương pháp cookie-insert 561.3 Cài đặt với khả năng mở rộng cao 592. Cài đặt thuật toán cân bằng tải trên HAProxy 622.1 Thuật toán weighted round robin (WRR) 652.2 Thuật toán least connections 662.3 Một số cải tiến 683. Cấu hình và chạy chương trình 69KẾT LUẬN VÀ ĐỊNH HƯỚNG PHÁT TRIỂN 751. Tổng kết 752. Định hướng phát triển 76TÀI LIỆU THAM KHẢO 77

MỤC LỤC

TÓM TẮT NỘI DUNG ĐỒ ÁN TỐT NGHIỆP 1

ABSTRACT OF THESIS 2

DANH MỤC CÁC TỪ VIẾT TẮT VÀ THUẬT NGỮ 6

ĐẶT VẤN ĐỀ 7

1. Tính cấp thiết của đề tài 7

2. Mục đích nghiên cứu 11

3. Kết cấu luận văn 11

CHƯƠNG 1 : KIẾN TRÚC WEB VỚI KHẢ NĂNG MỞ RỘNG (SCALABLE WEB ARCHITECTURE) 12

1. Các khái niệm về kiến trúc với khả năng mở rộng 12

2. Các vấn đề cần giải quyết trong quá trình xây dựng website theo kiến trúc với khả năng mở rộng 13

2.1 Cân bằng tải cho application servers 13

2.2 Mở rộng Database server 16

2.2.1 Shared nothing Cluster 17

2.2.2 Real Application Cluster 18

2.2.3 Mô hình khuyên dùng 19

2.3 Tổ chức lưu trữ dữ liệu 20

2.4 Cân bằng tải cho Cache 22

2.4.1 Định nghĩa 22

2.4.2 Các loại Caches và cách cài đặt 23

CHƯƠNG 2: KỸ THUẬT CÂN BẰNG TẢI WEB-SERVER 24

1. Lý thuyết xây dựng bộ cân bằng tải cho web-servers 24

1.1 Kỹ thuật cân bằng tải server (Server Load Balancing – SLB) 25

1.1.1 Kiểm tra trạng thái server 25

1.1.2 Lựa chọn server tốt nhất 26

1.1.3 Kỹ thuật Session Persistence 26

1.1.4 Cookie 26

1.2 Cân bằng tải cho server toàn cầu (GSLB) 30

1.2.1 Domain Name System 30

1.2.2 Cài đặt bộ cân bằng tải vào hệ thống mạng DNS 32

1.2.3 Lựa chọn site tốt nhất 34

1.3 Chuyển mạch cache trong suốt 36

1.3.1 Các phương pháp cài đặt cache 36

1.3.2 Các phương pháp cân bằng tải cho caches 42

1.3.3 Nhận biết ngữ cảnh trong cache (Content-aware cache switching) 45

1.4 Cân bằng tải sử dụng phần cứng và cân bằng tải phần mềm 46

1.4.1 Cân bằng tải sử dụng phần cứng 46

1.4.2 Cân bằng tải sử dụng phần mềm 48

2. Các thuật toán cân bằng tải 49

2.1 Thuật toán ngẫu nhiên (random) 49

2.2 Thuật toán Round Robin (RR) 49

2.3 Thuật toán Weighted Round Robin (Ratio) 50

2.4 Thuật toán Dynamic Round Robin - DRR (Dynamic Ratio) 51

2.5 Thuật toán Fastest 51

2.6 Thuật toán Least Connections (LC) 51

2.7 Thuật toán Observed 52

2.8 Thuật toán Predictive 53

CHƯƠNG 3 : CÀI ĐẶT BỘ CÂN BẰNG TẢI TRONG MẠNG VÀ LẬP TRÌNH MÔ PHỎNG THUẬT TOÁN 54

1. Các phương án cài đặt bộ cân bằng tải vào hệ thống 54

1.1 Bộ cân bằng tải Haproxy 54

1.2 Cài đặt đơn giản với phương pháp cookie-insert 56

1.3 Cài đặt với khả năng mở rộng cao 59

2. Cài đặt thuật toán cân bằng tải trên HAProxy 62

2.1 Thuật toán weighted round robin (WRR) 65

2.2 Thuật toán least connections 66

2.3 Một số cải tiến 68

3. Cấu hình và chạy chương trình 69

KẾT LUẬN VÀ ĐỊNH HƯỚNG PHÁT TRIỂN 75

1. Tổng kết 75

2. Định hướng phát triển 76

TÀI LIỆU THAM KHẢO 77