Khóa luận Biểu diễn văn bản sử dụng các khái niệm mờ

MỤC LỤC LỜI CẢM ƠN .iTÓM TẮT .iiMỤC LỤC . iiiMỞ ĐẦU .1Chương 1. KHAI PHÁ DỮLIỆU VĂN BẢN.31.1. Tổng quan vềkhai phá dữliệu.31.1.1. Khái niệm.31.1.2. Các bước của quá trình khai phá dữliệu .31.1.3. Ứng dụng của khai phá dữliệu.51.2. Một sốbài toán trong khai phá dữliệu văn bản.61.2.1. Tìm kiếm văn bản .61.2.2. Phân lớp văn bản.7Chương 2. CÁC PHƯƠNG PHÁP CƠBẢN BIỂU DIỄN VĂN BẢN .102.1. Tiền xửlý văn bản .102.2. Mô hình Logic.122.3. Mô hình phân tích cú pháp .142.4. Mô hình không gian vector .152.4.1. Mô hình Boolean .172.4.2. Mô hình tần suất .172.5. Biểu diễn văn bản trong máy tìm kiếm.202.5.1. Giới thiệu vềmáy tìm kiếm .202.5.2. Mô hình biểu diễn văn bản trong máy tìm kiếm .21Chương 3. BIỂU DIỄN VĂN BẢN SỬDỤNG CÁC KHÁI NIỆM MỜ.23 3.1. Lý thuyết mờ.233.1.1. Tập mờ.233.1.2. Các phép toán trên tập mờ.253.1.3. Quan hệmờ.273.1.4. Các phép toán trên quan hệmờ.273.2. Biểu diễn văn bản sửdụng các khái niệm mờ.293.2.1. Khái niệm mờ.303.2.2. Biểu diễn văn bản .323.2.3. Đềxuất giải pháp cho vấn đề đồng nghĩa.32Chương 4. CÁC PHƯƠNG PHÁP PHÂN LỚP VĂN BẢN .354.1. Tổng quan vềbài toán phân lớp.354.2. Các thuật toán phân lớp .364.2.1. Phân lớp dựa trên thuật toán Naive Bayes.364.2.2. Phân lớp dựa trên thuật toán K - Nearest Neighbor (KNN) .384.2.3. Phân lớp dựa vào thuật toán cây quyết định.394.2.4. Phân lớp sửdụng Support Vector Machines (SVM).41Chương 5. MỘT SỐKẾT QUẢTHỰC NGHIỆM .435.1. Tập dữliệu và tiền xửlý .435.2. Công cụvà phương pháp phân lớp .445.3. Kết quảthực nghiệm .45KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .53TÀI LIỆU THAM KHẢO .55

MỤC LỤC

LỜI CẢM ƠN .i

TÓM TẮT .ii

MỤC LỤC . iii

MỞ ĐẦU .1

Chương 1. KHAI PHÁ DỮLIỆU VĂN BẢN.3

1.1. Tổng quan vềkhai phá dữliệu.3

1.1.1. Khái niệm.3

1.1.2. Các bước của quá trình khai phá dữliệu .3

1.1.3. Ứng dụng của khai phá dữliệu.5

1.2. Một sốbài toán trong khai phá dữliệu văn bản.6

1.2.1. Tìm kiếm văn bản .6

1.2.2. Phân lớp văn bản.7

Chương 2. CÁC PHƯƠNG PHÁP CƠBẢN BIỂU DIỄN VĂN BẢN .10

2.1. Tiền xửlý văn bản .10

2.2. Mô hình Logic.12

2.3. Mô hình phân tích cú pháp .14

2.4. Mô hình không gian vector .15

2.4.1. Mô hình Boolean .17

2.4.2. Mô hình tần suất .17

2.5. Biểu diễn văn bản trong máy tìm kiếm.20

2.5.1. Giới thiệu vềmáy tìm kiếm .20

2.5.2. Mô hình biểu diễn văn bản trong máy tìm kiếm .21

Chương 3. BIỂU DIỄN VĂN BẢN SỬDỤNG CÁC KHÁI NIỆM MỜ.23

3.1. Lý thuyết mờ.23

3.1.1. Tập mờ.23

3.1.2. Các phép toán trên tập mờ.25

3.1.3. Quan hệmờ.27

3.1.4. Các phép toán trên quan hệmờ.27

3.2. Biểu diễn văn bản sửdụng các khái niệm mờ.29

3.2.1. Khái niệm mờ.30

3.2.2. Biểu diễn văn bản .32

3.2.3. Đềxuất giải pháp cho vấn đề đồng nghĩa.32

Chương 4. CÁC PHƯƠNG PHÁP PHÂN LỚP VĂN BẢN .35

4.1. Tổng quan vềbài toán phân lớp.35

4.2. Các thuật toán phân lớp .36

4.2.1. Phân lớp dựa trên thuật toán Naive Bayes.36

4.2.2. Phân lớp dựa trên thuật toán K - Nearest Neighbor (KNN) .38

4.2.3. Phân lớp dựa vào thuật toán cây quyết định.39

4.2.4. Phân lớp sửdụng Support Vector Machines (SVM).41

Chương 5. MỘT SỐKẾT QUẢTHỰC NGHIỆM .43

5.1. Tập dữliệu và tiền xửlý .43

5.2. Công cụvà phương pháp phân lớp .44

5.3. Kết quảthực nghiệm .45

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .53

TÀI LIỆU THAM KHẢO .55