Luận án Nghiên cứu mô hình thanh điệu trong nhận dạng tiếng Việt từ vựng lớn phát âm liên tục

Mục Lục

Lời nói đầu . 1

Lời cam đoan. 3

Mục Lục . 4

Danh mục các từ viết tắt. 6

Danh mục bảng biểu. 8

Danh mục hình ảnh. 9

Chương 1: Mở đầu . 10

1.1. Tóm tắt chương . 10

1.2. Tổng quan về nhận dạng tiếng nói . 10

1.2.1. Nhận dạng tiếng nói. 10

1.2.2. Ứng dụng . 11

1.2.3. Các vấn đề trong nhận dạng tiếng nói. 13

1.3. Các thành phần chính của một hệ thống nhận dạng tiếng nói . 14

1.3.1. Trích chọn đặc trưng. 15

1.3.2. Mô hình âm học. 19

1.3.3. Mô hình ngôn ngữ . 22

1.3.4. Từ điển ngữ âm. 24

1.4. Đánh giá chất lượng hệ thống nhận dạng tiếng nói. 24

1.5. Tình hình nghiên cứu hiện nay về nhận dạng tiếng nói. 25

1.6. Nhận dạng tiếng Việt và các nghiên cứu hiện nay . 31

1.7. Một số nghiên cứu gần đây trên các ngôn ngữ có thanh điệu . 34

1.8. Kết luận, các nội dung và phạm vi nghiên cứu chính của luận án . 36

Chương 2: Mô hình thanh điệu cho nhận dạng tiếng Việt từ vựng lớn phát âm liên tục. 39

2.1. Tóm tắt chương . 39

2.2. Tổng quan về tiếng Việt. 39

2.2.1. Âm vị tiếng Việt . 40

2.2.2. Thanh điệu tiếng Việt . 41

2.3. Mô hình cho hệ thống nhận dạng tiếng Việt từ vựng lớn. 42

2.4. Mô hình cho hệ thống nhận dạng tiếng Việt từ vựng lớn có thanh điệu . 43

2.5. Thuật toán tạo từ điển ngữ âm tự động có thanh điệu cho tiếng Việt (VN-G2P). 45

2.6. Dữ liệu thử nghiệm . 47

2.6.1. Dữ liệu huấn luyện (Training) . 47

2.6.2. Dữ liệu thử nghiệm (Testing) . 48

2.6.3. Đánh giá kích thước dữ liệu. 48

2.7. Tổng quan về công cụ HTK& HTS cho nhận dạng tiếng nói . 49

2.7.1. Tổng quan về HTK . 49

2.7.2. Tổng quan về HTS. 50

2.8. Thử nghiệm mô hình không có thanh điệu (Hệ thống nhận dạng cơ sở Baseline). 52

2.8.1. Dữ liệu . 53

2.8.2. Chuẩn hoá dữ liệu. 53

2.8.3. Trích chọn đặc trưng. 53

2.8.4. Từ điển. 53

2.8.5. Mô hình âm học. 53

2.8.6. Mô hình ngôn ngữ . 54

2.8.7. Thử nghiệm (Testing) . 54

2.9. Thử nghiệm mô hình có thanh điệu. 54

2.9.1. Thử nghiệm với HTK . 55

2.9.2. Thử nghiệm với công cụ Kaldi sử dụng cơ sở dữ liệu lớn. 56

2.10. Kết luận chương. 58

2.11. Các bài báo đã công bố liên quan đến nội dung của chương. 59

Chương 3: Mô hình thanh điệu sử dụng MSD cho nhận dạng tiếng Việt từ vựng lớn phát âm liên tục. 60

3.1. Tóm tắt chương . 60

3.2. Vai trò của đặc trưng thanh điệu . 60

3.3. Đặc trưng thanh điệu và vấn đề không liên tục. 61

3.3.1. Đặc trưng thanh điệu NCC (giá trị tương quan chéo đã chuẩn hoá). 62

3.3.2. Đặc trưng thanh điệu AMDF (độ lệch biên độ trung bình). 63

3.3.3. Trích chọn NCC và AMDF sử dụng công cụ SNACK. 63

3.4. Tổng quan về mô hình MSD-HMM. 64

3.4.1. Định nghĩa MSD-HMM . 65

3.4.2. Ước lượng tham số cho MSD-HMM. 675

3.5. Các nghiên cứu đã công bố về áp dụng MSD-HMM trong nhận dạng tiếng nói . 70

3.6. Chuẩn hóa đặc trưng AMDF và NCC cho mô hình MSD-HMM . 71

3.7. Áp dụng mô hình MSD-HMM cho nhận dạng tiếng Việt có thanh điệu . 73

3.8. Cài đặt thử nghiệm và kết quả. 74

3.8.1. Dữ liệu, mô hình ngôn ngữ, từ điển. 75

3.8.2. Trích chọn đặc trưng. 75

3.8.3. Thử nghiệm mô hình HMM. 75

3.8.4. Thử nghiệm mô hình MSD-HMM. 77

3.9. Kết luận chương. 77

3.10. Các bài báo đã công bố liên quan đến nội dung của chương. 78

Chương 4: Tăng cường đặc trưng ngữ âm sử dụng mạng nơron. 79

4.1. Tóm tắt chương . 79

4.2. Tổng quan về mạng nơron MLP (Multilayer Perceptron). 79

4.3. Ứng dụng mạng nơron trong nhận dạng tiếng nói. 81

4.4. Trích chọn đặc trưng Bottleneck sử dụng mạng MLP . 83

4.4.1. Tổng quan về đặc trưng Bottleneck . 83

4.4.2. Trích chọn đặc trưng Bottleneck (BNF) . 85

4.5. Cài đặt thử nghiệm. 86

4.5.1. Gán nhãn dữ liệu huấn luyện mạng . 86

4.5.2. Lựa chọn cấu hình mạng MLP . 87

4.5.3. Huấn luyện mạng MLP. 88

4.5.4. Áp dụng đặc trưng BNF với mô hình HMM . 90

4.6. Tối ưu đặc trưng Bottleneck. 91

4.6.1. Huấn luyện mạng MLP với kích thước BN thay đổi . 91

4.6.2. Cài đặt thử nghiệm với đặc trưng BN có kích thước thay đổi . 92

4.7. Kết luận chương. 92

4.8. Các bài báo đã công bố liên quan đến nội dung của chương . 93

Chương 5: Cải tiến đặc trưng thanh điệu sử dụng mạng nơron và mô hình tích hợp MSD-HMM với Bottleneck94

5.1. Tóm tắt chương . 94

5.2. Trích chọn đặc trưng thanh điệu sử dụng mạng nơron. 94

5.2.1. Đặc trưng thanh điệu Tonal Bottleneck (TBNF) . 94

5.2.2. Trích chọn đặc trưng thanh điệu TBNF. 95

5.2.3. Cải tiến đặc trưng TBNF cho mô hình MSD-HMM. 97

5.3. Gán nhãn dữ liệu . 99

5.3.1. Gán nhãn mức trạng thái HMM của thanh điệu (Tone Stage Labeling - TSL). 99

5.3.2. Gán nhãn mức thanh điệu (Tone Labeling - TL) . 101

5.4. Lựa chọn cấu hình mạng MLP. 102

5.4.1. Lựa chọn kích thước lớp ra của mạng MLP . 102

5.4.2. Lựa chọn kích thước lớp Bottleneck (BN). 103

5.5. Thử nghiệm đặc trưng TBNF-MSD với mô hình MSD-HMM. 104

5.5.1. Trích chọn đặc trưng TBNF-MSD. 104

5.5.2. Dữ liệu, Từ điển, Mô hình ngôn ngữ . 104

5.5.3. Huấn luyện mô hình âm học MSD-HMM và kết quả thử nghiệm. 104

5.6. Mô hình tích hợp BNF, TBNF-MSD và MSD-HMM. 105

5.7. Kết luận chương. 106

5.8. Các bài báo đã công bố liên quan đến nội dung của chương . 106