Đề tài Nghiên cứu kỹ thuật khai phá dữ liệu bằng cây quyết định

MỤC LỤCLỜI MỞ ĐẦU 3Chương 1: Tổng quan về khai phá dữ liệu 41.1. Khám phá tri thức và khai phá dữ liệu là gì? 41.2. Quá trình phát hiện tri thức 51.2.1. Hình thành và định nghĩa bài toán 51.2.2. Thu thập và tiền xử lý dữ liệu 61.2.3. Khai phá dữ liệu và rút ra các tri thức 61.2.4. Phân tích và kiểm định kết quả 71.2.5. Sử dụng các tri thức phát hiện được 71.3. Quá trình khai phá dữ liệu 71.3.1. Gom dữ liệu (gatherin) 81.3.2. Trích lọc dữ liệu (selection) 81.3.3. Làm sạch và tiền xử lý dữ liệu (cleansing preprocessing). 81.3.4. Chuyển đổi dữ liệu (transformation) 91.3.5. Phát hiện và trích mẫu dữ liệu ( pattern extraction and discovery) 91.3.6. Đánh giá kết quả mẫu (evaluation of result ) 91.4. Chức năng của khai phá dữ liệu 91.5. Các kỹ thuật khai phá dữ liệu 101.5.1. Phân lớp dữ liệu: 101.5.2. Phân cụm dữ liệu: 101.5.3. Khai phá luật kết hợp: 101.5.4. Hồi quy: 111.5.5. Giải thuật di truyền: 111.5.6. Mạng nơron: 111.5.7. Cây quyết định. 121.6. Các dạng dữ liệu có thể khai phá được 121.7. Các lĩnh vực liên quan đến khai phá dữ liệu và ứng dụng của khai phá dữ liệu 121.7.1. Các lĩnh vực liên quan đến phát hiện tri thức và khai phá dữ liệu 121.7.2. Ứng dụng của khai phá dữ liệu 121.8. Các thách thức và hướng phát triển của phát hiện tri thức và khai phá dữ liệu. 13Chương 2: Khai phá dữ liệu bằng cây quyết định 142.1. Cây quyết định 142.1.1. Định nghĩa cây quyết định 142.1.2. Ưu điểm của cây quyết định 152.1.3. Vấn đề xây dựng cây quyết định 152.1.4. Rút ra các luật từ cây quyết định. 162.2. Các thuật toán khai phá dữ liệu bằng cây quyết định 162.2.1. Thuật toán CLS 162.2.2. Thuật toán ID3 172.2.3. Thuật toán C4.5 192.2.4. Thuật toán SLIQ[5] 232.2.5. Cắt tỉa cây quyết định 262.2.6. Đánh giá và kết luận về các thuật toán xây dựng cây quyết định 28Chương 3: Xây dựng chương trình dêmo 303.1. Mô tả bài toán 303.2. Thu thập và tiền xử lý dữ liệu 303.3. Chương trình 31Chương 4. KẾT LUẬN 324.1 Đánh Giá 324.1.1 Lý thuyết 324.1.2 Ứng dụng 324.2 Hướng Phát Triển 32

MỤC LỤC

LỜI MỞ ĐẦU 3

Chương 1: Tổng quan về khai phá dữ liệu 4

1.1. Khám phá tri thức và khai phá dữ liệu là gì? 4

1.2. Quá trình phát hiện tri thức 5

1.2.1. Hình thành và định nghĩa bài toán 5

1.2.2. Thu thập và tiền xử lý dữ liệu 6

1.2.3. Khai phá dữ liệu và rút ra các tri thức 6

1.2.4. Phân tích và kiểm định kết quả 7

1.2.5. Sử dụng các tri thức phát hiện được 7

1.3. Quá trình khai phá dữ liệu 7

1.3.1. Gom dữ liệu (gatherin) 8

1.3.2. Trích lọc dữ liệu (selection) 8

1.3.3. Làm sạch và tiền xử lý dữ liệu (cleansing preprocessing). 8

1.3.4. Chuyển đổi dữ liệu (transformation) 91.3.5. Phát hiện và trích mẫu dữ liệu ( pattern extraction and discovery) 9

1.3.6. Đánh giá kết quả mẫu (evaluation of result ) 9

1.4. Chức năng của khai phá dữ liệu 9

1.5. Các kỹ thuật khai phá dữ liệu 10

1.5.1. Phân lớp dữ liệu: 10

1.5.2. Phân cụm dữ liệu: 10

1.5.3. Khai phá luật kết hợp: 10

1.5.4. Hồi quy: 11

1.5.5. Giải thuật di truyền: 11

1.5.6. Mạng nơron: 11

1.5.7. Cây quyết định. 12

1.6. Các dạng dữ liệu có thể khai phá được 12

1.7. Các lĩnh vực liên quan đến khai phá dữ liệu và ứng dụng của khai phá dữ liệu 12

1.7.1. Các lĩnh vực liên quan đến phát hiện tri thức và khai phá dữ liệu 12

1.7.2. Ứng dụng của khai phá dữ liệu 12

1.8. Các thách thức và hướng phát triển của phát hiện tri thức và khai phá dữ liệu. 13

Chương 2: Khai phá dữ liệu bằng cây quyết định 14

2.1. Cây quyết định 14

2.1.1. Định nghĩa cây quyết định 14

2.1.2. Ưu điểm của cây quyết định 15

2.1.3. Vấn đề xây dựng cây quyết định 15

2.1.4. Rút ra các luật từ cây quyết định. 16

2.2. Các thuật toán khai phá dữ liệu bằng cây quyết định 16

2.2.1. Thuật toán CLS 16

2.2.2. Thuật toán ID3 17

2.2.3. Thuật toán C4.5 19

2.2.4. Thuật toán SLIQ[5] 23

2.2.5. Cắt tỉa cây quyết định 26

2.2.6. Đánh giá và kết luận về các thuật toán xây dựng cây quyết định 28

Chương 3: Xây dựng chương trình dêmo 30

3.1. Mô tả bài toán 30

3.2. Thu thập và tiền xử lý dữ liệu 30

3.3. Chương trình 31

Chương 4. KẾT LUẬN 32

4.1 Đánh Giá 32

4.1.1 Lý thuyết 32

4.1.2 Ứng dụng 32

4.2 Hướng Phát Triển 32