Khóa luận Phân đoạn từ tiếng việt sử dụng mô hình CRFs

Mục lục Lời cảm ơn.iTóm tắt. ii Mục lục . iii Bảng từviết tắt .vi Lời nói đầu.1 Bài toán phân đoạn từtiếng Việt .1 Mục tiêu của khóa luận .1 Ý nghĩa và đóng góp của khóa luận.2 Cấu trúc của khóa luận.3 Chương 1. Phân đoạn từtiếng Việt .4 1.1 Từvựng tiếng Việt.4 1.1.1 Tiếng – đơn vịcấu tạo lên từ.4 1.1.1.1 Khái niệm .4 1.1.1.2 Phân loại .4 1.1.1.3 Mô hình tiếng trong tiếng Việt và các thành tốcủa nó .5 1.1.2 Cấu tạo từ.6 1.1.2.1 Từ đơn .6 1.1.2.2 Từghép.6 1.1.2.3 Từláy.6 1.1.3 Nhập nhằng .7 1.2 Phân đoạn từtiếng Việt bằng máy tính.8 1.2.1 Phương pháp Maximum Matching .8 1.2.2 Phương pháp TBL .10 1.2.3 Phương pháp WFST.11 1.3 Phương pháp tiếp cận của khóa luận .13 1.4 Tổng kết chương .14 Chương 2. Conditional Random Field .15 2.1 Định nghĩa CRF .16 2.2 Huấn luyện CRF .19 2.3 Suy diễn CRF.21 2.4 Tổng kết chương .22 Chương 3. Phân đoạn từtiếng Việt với mô hình CRF .23 3.1 Mô tảbài toán phận đoạn từtiếng Việt. .23 3.1.1 Thu thập dữliệu .23 3.1.2 Chuẩn bịdữliệu .24 3.1.3 Đầu vào và đầu ra của mô hình CRFs.25 3.2 Lựa chọn thuộc tính .26 3.2.1 Mẫu ngữcảnh từ điển.27 3.2.2 Mẫu ngữcảnh từvựng .27 3.2.3 Mẫu ngữcảnh phát hiện tên thực thể. .28 3.2.4 Mẫu ngữcảnh phát hiện từláy.28 3.2.5 Mẫu ngữcảnh âm tiết tiếng Việt.28 3.2.6 Mẫu ngữcảnh dạng regular expression .28 3.3 Cách đánh giá.29 3.3.1 Phương pháp đánh giá.29 3.3.2 Các đại lượng đo độchính xác.29 3.4 Tổng kết chương .31 Chương 4. Thửnghiệm và đánh giá .32 4.1 Môi trường thửnghiệm.32 4.1.1 Phần cứng .32 4.1.2 Phần mềm.32 4.2 Mô tảthửnghiệm.32 4.2.1 Thiết lập tham số.32 4.2.2 Mô tảthửnghiệm .33 4.3 Kết quảthửnghiệm.34 4.3.1 Thửnghiệm 1 .34 4.3.2 Thửnghiệm 2 .35 4.3.2.1 Kết quả5 lần thửnghiệm .35 4.3.2.2 Lần thửnghiệm cho kết quảtốt nhất .35 4.3.2.3 Trung bình 5 lần thực nghiệm .36 4.3.3 Thửnghiệm 3 .37 4.3.2.1 Kết quả5 lần thửnghiệm .37 4.3.2.2 Lần thửnghiệm cho kết quảtốt nhất .38 4.3.2.3 Trung bình 5 lần thực nghiệm .39 4.3.4 Thửnghiệm 4 .39 4.3.2.1 Kết quả5 lần thửnghiệm .39 4.3.2.2 Lần thửnghiệm cho kết quảtốt nhất .39 4.3.2.3 Trung bình 5 lần thực nghiệm .39 4.3.5 Thửnghiệm 5 .39 4.3.2.1 Kết quả5 lần thửnghiệm .39 4.3.2.2 Lần thửnghiệm cho kết quảtốt nhất .40 4.3.2.3 Trung bình 5 lần thực nghiệm .40 4.4 Phân tích và thảo luận kết quảthửnghiệm .40 4.5 Tổng kết chương .40 Phần kết luận .41 Tổng kết công việc đã làm và đóng góp của luận văn.41 Hướng nghiên cứu tiếp theo.41 Tài liệu tham khảo .43

Mục lục

Lời cảm ơn.i

Tóm tắt. ii

Mục lục . iii

Bảng từviết tắt .vi

Lời nói đầu.1

Bài toán phân đoạn từtiếng Việt .1

Mục tiêu của khóa luận .1

Ý nghĩa và đóng góp của khóa luận.2

Cấu trúc của khóa luận.3

Chương 1. Phân đoạn từtiếng Việt .4

1.1 Từvựng tiếng Việt.4

1.1.1 Tiếng – đơn vịcấu tạo lên từ.4

1.1.1.1 Khái niệm .4

1.1.1.2 Phân loại .4

1.1.1.3 Mô hình tiếng trong tiếng Việt và các thành tốcủa nó .5

1.1.2 Cấu tạo từ.6

1.1.2.1 Từ đơn .6

1.1.2.2 Từghép.6

1.1.2.3 Từláy.6

1.1.3 Nhập nhằng .7

1.2 Phân đoạn từtiếng Việt bằng máy tính.8

1.2.1 Phương pháp Maximum Matching .8

1.2.2 Phương pháp TBL .10

1.2.3 Phương pháp WFST.11

1.3 Phương pháp tiếp cận của khóa luận .13

1.4 Tổng kết chương .14

Chương 2. Conditional Random Field .15

2.1 Định nghĩa CRF .16

2.2 Huấn luyện CRF .19

2.3 Suy diễn CRF.21

2.4 Tổng kết chương .22

Chương 3. Phân đoạn từtiếng Việt với mô hình CRF .23

3.1 Mô tảbài toán phận đoạn từtiếng Việt. .23

3.1.1 Thu thập dữliệu .23

3.1.2 Chuẩn bịdữliệu .24

3.1.3 Đầu vào và đầu ra của mô hình CRFs.25

3.2 Lựa chọn thuộc tính .26

3.2.1 Mẫu ngữcảnh từ điển.27

3.2.2 Mẫu ngữcảnh từvựng .27

3.2.3 Mẫu ngữcảnh phát hiện tên thực thể. .28

3.2.4 Mẫu ngữcảnh phát hiện từláy.28

3.2.5 Mẫu ngữcảnh âm tiết tiếng Việt.28

3.2.6 Mẫu ngữcảnh dạng regular expression .28

3.3 Cách đánh giá.29

3.3.1 Phương pháp đánh giá.29

3.3.2 Các đại lượng đo độchính xác.29

3.4 Tổng kết chương .31

Chương 4. Thửnghiệm và đánh giá .32

4.1 Môi trường thửnghiệm.32

4.1.1 Phần cứng .32

4.1.2 Phần mềm.32

4.2 Mô tảthửnghiệm.32

4.2.1 Thiết lập tham số.32

4.2.2 Mô tảthửnghiệm .33

4.3 Kết quảthửnghiệm.34

4.3.1 Thửnghiệm 1 .34

4.3.2 Thửnghiệm 2 .35

4.3.2.1 Kết quả5 lần thửnghiệm .35

4.3.2.2 Lần thửnghiệm cho kết quảtốt nhất .35

4.3.2.3 Trung bình 5 lần thực nghiệm .36

4.3.3 Thửnghiệm 3 .37

4.3.2.1 Kết quả5 lần thửnghiệm .37

4.3.2.2 Lần thửnghiệm cho kết quảtốt nhất .38

4.3.2.3 Trung bình 5 lần thực nghiệm .39

4.3.4 Thửnghiệm 4 .39

4.3.2.1 Kết quả5 lần thửnghiệm .39

4.3.2.2 Lần thửnghiệm cho kết quảtốt nhất .39

4.3.2.3 Trung bình 5 lần thực nghiệm .39

4.3.5 Thửnghiệm 5 .39

4.3.2.1 Kết quả5 lần thửnghiệm .39

4.3.2.2 Lần thửnghiệm cho kết quảtốt nhất .40

4.3.2.3 Trung bình 5 lần thực nghiệm .40

4.4 Phân tích và thảo luận kết quảthửnghiệm .40

4.5 Tổng kết chương .40

Phần kết luận .41

Tổng kết công việc đã làm và đóng góp của luận văn.41

Hướng nghiên cứu tiếp theo.41

Tài liệu tham khảo .43