Khóa luận Xây dựng chương trình chuyển đổi cây cú pháp trong hệ dịch tự động Anh - Việt

Mục lụcLời nói đầu u .5Mục lục c.6Danh sách các hình .11Danh sách các bảng.13Chương 1 1.14TỔNG QUAN VỀCHUYỂN ĐỔI CÂY CÚ PHÁP.141.1 Đặt vấn đề.141.2 Các chiến lược dịch máy.161.1.1 Chiến lược dịch trực tiếp.161.1.2 Chiến lược dịch dựa trên ngôn ngữtrung gian .171.1.3 Chiến lược dịch dựa trên sựchuyển đổi .181.2 Vai trò của chuyển đổi cây cú pháp trong cách tiếp cận dựa trên chuyển đổi .201.3 Cơsởlý thuyết.221.3.1 Cơsởlý thuyết ngôn ngữhọc của việc chuyển đổi .231.3.2 Cơsởlý thuyết tin học - Hướng tiếp cận vấn đề.33Chương 2 2.35CÁC HƯỚNG TIẾP CẬN CHUYỂN ĐỔI CẤU TRÚC TRONG DỊCH MÁY.352.1 Hướng tiếp cận dựa trên luật cố định .352.1.1 Cơchếchuyển đổi của cách tiếp cận dựa trên luật cố định .352.1.2 Nhận xét .38 2.2 Hướng tiếp cận sửdụng case-frame .392.2.1 Chuyển đổi các thông tin cấp độcâu .402.2.2 Chuyển đổi ngữ động từ.412.2.3 Sựchuyển đổi của định ngữ, bổngữ.422.2.4 Tự điển chuyển đổi.432.2.5 Nhận xét .442.3 Hướng tiếp cận sửdụng TAG đồng bộ(STAG).442.3.1 Văn phạm TAG .452.3.2 TAG đồng bộ(STAG) .492.3.3 Nhận xét .522.4 Cách tiếp cận phân tích ngữpháp song song .532.4.1 Ngữpháp chuyển dịch đảo có thống kê (SITG) .532.4.2 Thuật toán phân tích cú pháp song song với SITG.552.4.3 Đánh nhãn cấu trúc.582.4.4 Chuyển đổi cây cú pháp song song cho cảhai ngôn ngữ.582.4.5 Nhận xét .592.5 Cách tiếp cận dựa trên cấu trúc vịtừ- đối số.602.5.1 Rút trích các cấu trúc vịtừ- đối số.602.5.2 Khối chuyển đổi cấu trúc .622.5.3 Nhận xét .642.6 Tổng kết chương .65Chương 3 3.66MÔ HÌNH CHUYỂN ĐỔI CÂY CÚ PHÁP .663.1 Phương pháp học hướng lỗi dựa trên sựchuyển trạng thái .663.1.1 Ý tưởng .663.1.2 Thuật toán học TBL của Eric Brill.683.1.3 Nhận xét .70 3.2 Thuật toán học nhanh FnTBL .713.2.1 Hình thức hóa TBL .723.2.2 Thuật toán FnTBL.733.3 Mô hình chuyển đổi cây cú pháp sửdụng thuật toán FnTBL .783.3.1 Mô hình áp dụng chuyển đổi cây cú pháp .803.3.2 Mô hình học luật chuyển đổi bằng phương pháp học FnTBL .823.4 Nâng cao khảnăng mởrộng cho mô hình học .95Chương 4 4.97CÀI ĐẶT CHƯƠNG TRÌNH .974.1 Thiết kế.974.1.1 Mô hình tổng thể.974.2 Thuật toán gán nhãn cơsởcho ngữliệu .994.2.1 Thuật toán.994.2.2 Xây dựng cây cú pháp.994.2.3 Xây dựng cây quan hệ.1034.2.4 Thuật toán chuyển đổi theo nguyên tắc .1054.3 Học chuyển đổi cùng cấp .1064.3.1 Xây dựng ngữliệu học .1064.3.2 Xây dựng khung luật cho bộhọc chuyển đổi cùng cấp .1084.3.3 Sơ đồlớp của chương trình học .1144.3.4 Xây dựng bộluật (giai đoạn học cùng cấp) .1144.3.5 Áp dụng bộluật chuyển đổi cùng cấp.1164.4 Học chuyển đổi khác cấp .1174.4.1 Xây dựng ngữliệu học .1174.4.2 Xây dựng khung luật cho quá trình học chuyển đổi khác cấp .1204.4.3 Sơ đồlớp của chương trình học .1254.4.4 Xây dựng bộluật (giai đoạn học khác cấp) .125 4.4.5 Áp dụng bộluật chuyển đổi khác cấp .127Chương 5 5.128THỬNGHIỆM – ĐÁNH GIÁ .1285.1 Thửnghiệm.1285.1.1 Độ đo sửdụng .1285.1.2 Kết quảhọc rút luật chuyển đổi .1295.1.3 Một sốkết quảchuyển đổi .1315.2 Đánh giá .1345.2.1 Ngữliệu thửnghiệm .1345.2.2 Nhận xét .135Chương 6 6.137TỔNG KẾT .1376.1 Kết quả.1376.2 Hướng phát triển.1376.3 Kết luận.138PHỤLỤC 1 .139KHUNG LUẬT VÀ MỘT SỐLUẬT CÙNG CẤP.139PHỤLỤC 2 .141KHUNG LUẬT VÀ MỘT SỐLUẬT KHÁC CẤP .141PHỤLỤC 3 .142MỘT SỐKẾT QUẢDỊCH SỬDỤNG KHỐI CHUYỂN ĐỔI CÂY CÚ PHÁP VCLTRANSFER .142PHỤLỤC 4 .147MỘT SỐCÂU DỊCH CỦA HAI HỆDỊCH .147PHỤLỤC 5 .153HỆTHỐNG NHÃN NGỮPHÁP .153 Luận văn tốt nghiệp Trang 10PHỤLỤC 6 .156CÁC NHÃN QUAN HỆNGỮPHÁP .156TÀI LIỆU THAM KHẢO .157

Mục lục

Lời nói đầu u .5

Mục lục c.6

Danh sách các hình .11

Danh sách các bảng.13

Chương 1 1.14

TỔNG QUAN VỀCHUYỂN ĐỔI CÂY CÚ PHÁP.14

1.1 Đặt vấn đề.14

1.2 Các chiến lược dịch máy.16

1.1.1 Chiến lược dịch trực tiếp.16

1.1.2 Chiến lược dịch dựa trên ngôn ngữtrung gian .17

1.1.3 Chiến lược dịch dựa trên sựchuyển đổi .18

1.2 Vai trò của chuyển đổi cây cú pháp trong cách tiếp cận dựa trên chuyển đổi .20

1.3 Cơsởlý thuyết.22

1.3.1 Cơsởlý thuyết ngôn ngữhọc của việc chuyển đổi .23

1.3.2 Cơsởlý thuyết tin học - Hướng tiếp cận vấn đề.33

Chương 2 2.35

CÁC HƯỚNG TIẾP CẬN CHUYỂN ĐỔI CẤU TRÚC TRONG DỊCH MÁY.35

2.1 Hướng tiếp cận dựa trên luật cố định .35

2.1.1 Cơchếchuyển đổi của cách tiếp cận dựa trên luật cố định .35

2.1.2 Nhận xét .38

2.2 Hướng tiếp cận sửdụng case-frame .39

2.2.1 Chuyển đổi các thông tin cấp độcâu .40

2.2.2 Chuyển đổi ngữ động từ.41

2.2.3 Sựchuyển đổi của định ngữ, bổngữ.42

2.2.4 Tự điển chuyển đổi.43

2.2.5 Nhận xét .44

2.3 Hướng tiếp cận sửdụng TAG đồng bộ(STAG).44

2.3.1 Văn phạm TAG .45

2.3.2 TAG đồng bộ(STAG) .49

2.3.3 Nhận xét .52

2.4 Cách tiếp cận phân tích ngữpháp song song .53

2.4.1 Ngữpháp chuyển dịch đảo có thống kê (SITG) .53

2.4.2 Thuật toán phân tích cú pháp song song với SITG.55

2.4.3 Đánh nhãn cấu trúc.58

2.4.4 Chuyển đổi cây cú pháp song song cho cảhai ngôn ngữ.58

2.4.5 Nhận xét .59

2.5 Cách tiếp cận dựa trên cấu trúc vịtừ- đối số.60

2.5.1 Rút trích các cấu trúc vịtừ- đối số.60

2.5.2 Khối chuyển đổi cấu trúc .62

2.5.3 Nhận xét .64

2.6 Tổng kết chương .65

Chương 3 3.66

MÔ HÌNH CHUYỂN ĐỔI CÂY CÚ PHÁP .66

3.1 Phương pháp học hướng lỗi dựa trên sựchuyển trạng thái .66

3.1.1 Ý tưởng .66

3.1.2 Thuật toán học TBL của Eric Brill.68

3.1.3 Nhận xét .70

3.2 Thuật toán học nhanh FnTBL .71

3.2.1 Hình thức hóa TBL .72

3.2.2 Thuật toán FnTBL.73

3.3 Mô hình chuyển đổi cây cú pháp sửdụng thuật toán FnTBL .78

3.3.1 Mô hình áp dụng chuyển đổi cây cú pháp .80

3.3.2 Mô hình học luật chuyển đổi bằng phương pháp học FnTBL .82

3.4 Nâng cao khảnăng mởrộng cho mô hình học .95

Chương 4 4.97

CÀI ĐẶT CHƯƠNG TRÌNH .97

4.1 Thiết kế.97

4.1.1 Mô hình tổng thể.97

4.2 Thuật toán gán nhãn cơsởcho ngữliệu .99

4.2.1 Thuật toán.99

4.2.2 Xây dựng cây cú pháp.99

4.2.3 Xây dựng cây quan hệ.103

4.2.4 Thuật toán chuyển đổi theo nguyên tắc .105

4.3 Học chuyển đổi cùng cấp .106

4.3.1 Xây dựng ngữliệu học .106

4.3.2 Xây dựng khung luật cho bộhọc chuyển đổi cùng cấp .108

4.3.3 Sơ đồlớp của chương trình học .114

4.3.4 Xây dựng bộluật (giai đoạn học cùng cấp) .114

4.3.5 Áp dụng bộluật chuyển đổi cùng cấp.116

4.4 Học chuyển đổi khác cấp .117

4.4.1 Xây dựng ngữliệu học .117

4.4.2 Xây dựng khung luật cho quá trình học chuyển đổi khác cấp .120

4.4.3 Sơ đồlớp của chương trình học .125

4.4.4 Xây dựng bộluật (giai đoạn học khác cấp) .125

4.4.5 Áp dụng bộluật chuyển đổi khác cấp .127

Chương 5 5.128

THỬNGHIỆM – ĐÁNH GIÁ .128

5.1 Thửnghiệm.128

5.1.1 Độ đo sửdụng .128

5.1.2 Kết quảhọc rút luật chuyển đổi .129

5.1.3 Một sốkết quảchuyển đổi .131

5.2 Đánh giá .134

5.2.1 Ngữliệu thửnghiệm .134

5.2.2 Nhận xét .135

Chương 6 6.137

TỔNG KẾT .137

6.1 Kết quả.137

6.2 Hướng phát triển.137

6.3 Kết luận.138

PHỤLỤC 1 .139

KHUNG LUẬT VÀ MỘT SỐLUẬT CÙNG CẤP.139

PHỤLỤC 2 .141

KHUNG LUẬT VÀ MỘT SỐLUẬT KHÁC CẤP .141

PHỤLỤC 3 .142

MỘT SỐKẾT QUẢDỊCH SỬDỤNG KHỐI CHUYỂN ĐỔI CÂY CÚ

PHÁP VCLTRANSFER .142

PHỤLỤC 4 .147

MỘT SỐCÂU DỊCH CỦA HAI HỆDỊCH .147

PHỤLỤC 5 .153

HỆTHỐNG NHÃN NGỮPHÁP .153

Luận văn tốt nghiệp

Trang 10

PHỤLỤC 6 .156

CÁC NHÃN QUAN HỆNGỮPHÁP .156

TÀI LIỆU THAM KHẢO .157