Khóa luận Link spam với đồ thị web và hạng trang web

Mục lụcTiêu đề iTóm tắt iiDanh sách bảng viDanh sách hình vẽ viiDanh sách các ký hiệu. viii1 Tổng quan về hạng trang và web spam 31.1 Giới thiệu hạng trang và spam . . . . . . . . . . . . . . . . . . . . . 31.2 Các công nghệ tạo Spam . . . . . . . . . . . . . . . . . . . . . . . . 51.2.1 Spam văn bản . . . . . . . . . . . . . . . . . . . . . . . . . . 51.2.2 Spam liên kết . . . . . . . . . . . . . . . . . . . . . . . . . . 61.2.3 Công nghệ giả dạng . . . . . . . . . . . . . . . . . . . . . . . 91.3 Đồ thị Web . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101.3.1 Biểu diễn đồ thị Web . . . . . . . . . . . . . . . . . . . . . . 101.3.2 Mô hình Markov . . . . . . . . . . . . . . . . . . . . . . . . 111.4 Tổng kết chương 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . 122 Một số phương pháp tính hạng trang cơ bản 132.1 Phương pháp PageRank . . . . . . . . . . . . . . . . . . . . . . . . 132.1.1 Phương pháp . . . . . . . . . . . . . . . . . . . . . . . . . . 132.1.2 Tính hạng trang dựa vào tính chất hội tụ . . . . . . . . . . . 152.1.3 Đánh giá . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182.2 Phương pháp HITS . . . . . . . . . . . . . . . . . . . . . . . . . . . 182.2.1 Thuật toán . . . . . . . . . . . . . . . . . . . . . . . . . . . 182.2.2 Đánh giá . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202.3 Phương pháp CCP . . . . . . . . . . . . . . . . . . . . . . . . . . . 212.3.1 Thuật toán . . . . . . . . . . . . . . . . . . . . . . . . . . . 212.3.2 Đánh giá . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233 Các phương pháp xác định LinkSpam 243.1 Giới thiệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243.2 Phương pháp TrustRank . . . . . . . . . . . . . . . . . . . . . . . . 253.2.1 Nội dung phương pháp . . . . . . . . . . . . . . . . . . . . . 263.2.2 Đánh giá phương pháp . . . . . . . . . . . . . . . . . . . . . 293.3 Phương pháp xác định Link Farm . . . . . . . . . . . . . . . . . . . 303.3.1 Nội dung phương pháp . . . . . . . . . . . . . . . . . . . . . 303.3.2 Đánh giá . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323.4 Đề xuất phương pháp cải tiến . . . . . . . . . . . . . . . . . . . . . 344 Thử nghiệm 364.1 Giới thiệu hệ thống NUTCH . . . . . . . . . . . . . . . . . . . . . . 364.2 Thử nghiệm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374.2.1 Môi trường thử nghiệm . . . . . . . . . . . . . . . . . . . . . 374.2.2 Kết quả . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37Kết luận 40Tài liệu tham khảo 41A Mã chương trình 43A.1 Phân tích liên kết . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43A.2 Lọc Spam . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44Danh sách bảng4.1 Tập các site nhân của link farm . . . . . . . . . . . . . . . . . . . . 38

Mục lục

Tiêu đề i

Tóm tắt ii

Danh sách bảng vi

Danh sách hình vẽ vii

Danh sách các ký hiệu. viii

1 Tổng quan về hạng trang và web spam 3

1.1 Giới thiệu hạng trang và spam . . . . . . . . . . . . . . . . . . . . . 3

1.2 Các công nghệ tạo Spam . . . . . . . . . . . . . . . . . . . . . . . . 5

1.2.1 Spam văn bản . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.2.2 Spam liên kết . . . . . . . . . . . . . . . . . . . . . . . . . . 6

1.2.3 Công nghệ giả dạng . . . . . . . . . . . . . . . . . . . . . . . 9

1.3 Đồ thị Web . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

1.3.1 Biểu diễn đồ thị Web . . . . . . . . . . . . . . . . . . . . . . 10

1.3.2 Mô hình Markov . . . . . . . . . . . . . . . . . . . . . . . . 11

1.4 Tổng kết chương 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

2 Một số phương pháp tính hạng trang cơ bản 13

2.1 Phương pháp PageRank . . . . . . . . . . . . . . . . . . . . . . . . 13

2.1.1 Phương pháp . . . . . . . . . . . . . . . . . . . . . . . . . . 13

2.1.2 Tính hạng trang dựa vào tính chất hội tụ . . . . . . . . . . . 15

2.1.3 Đánh giá . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

2.2 Phương pháp HITS . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

2.2.1 Thuật toán . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

2.2.2 Đánh giá . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

2.3 Phương pháp CCP . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

2.3.1 Thuật toán . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

2.3.2 Đánh giá . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

3 Các phương pháp xác định LinkSpam 24

3.1 Giới thiệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

3.2 Phương pháp TrustRank . . . . . . . . . . . . . . . . . . . . . . . . 25

3.2.1 Nội dung phương pháp . . . . . . . . . . . . . . . . . . . . . 26

3.2.2 Đánh giá phương pháp . . . . . . . . . . . . . . . . . . . . . 29

3.3 Phương pháp xác định Link Farm . . . . . . . . . . . . . . . . . . . 30

3.3.1 Nội dung phương pháp . . . . . . . . . . . . . . . . . . . . . 30

3.3.2 Đánh giá . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

3.4 Đề xuất phương pháp cải tiến . . . . . . . . . . . . . . . . . . . . . 34

4 Thử nghiệm 36

4.1 Giới thiệu hệ thống NUTCH . . . . . . . . . . . . . . . . . . . . . . 36

4.2 Thử nghiệm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

4.2.1 Môi trường thử nghiệm . . . . . . . . . . . . . . . . . . . . . 37

4.2.2 Kết quả . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

Kết luận 40

Tài liệu tham khảo 41

A Mã chương trình 43

A.1 Phân tích liên kết . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

A.2 Lọc Spam . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

Danh sách bảng

4.1 Tập các site nhân của link farm . . . . . . . . . . . . . . . . . . . . 38