- Cùng với mô hình GMM, luận án đã nghiên cứu nhận dạng phương ngữ với một số bộ phân lớp khác nhau như SVM (SMO), MultilayerPerceptrol, IBk, JRip, PART. - Từ nghiên cứu này, luận án đã chỉ ra bộ phân lớp MultilayerPerceptrol cho kết quả nhận dạng tốt nhất phương ngữ tiếng Việt với tập 384 tham số đặc trưng của tín hiệu tiếng nói. - (4) Luận án đã nghiên cứu mô hình HMM nhận dạng tự động tiếng Việt nói trên ngữ liệu có phương ngữ và kết quả cho thấy vai trò tích cực của việc xác định được phương ngữ trước khi nhận dạng nội dung tiếng nói. - Trường hợp thứ nhất: nhận dạng nội dung tiếng Việt nói trên ngữ liệu có phương ngữ nhưng không dùng thông tin phương ngữ. - Trường hợp thứ hai: nhận dạng nội dung tiếng Việt nói trên ngữ liệu có phương ngữ nhưng dùng thông tin phương ngữ. - Đây là lần đầu tiên mô hình HMM được sử dụng nhận dạng tự động tiếng Việt nói trên ngữ liệu có phương ngữ. - Luận án giới hạn chưa nghiên cứu, xử lý nhận dạng thời gian thực. - Chưa triển khai tổng thể từ nhận dạng phương ngữ đến nhận dạng nội dung tiếng Việt nói. - (4) Xây dựng mô hình nhận dạng tiếng Việt theo hướng ngày càng hoàn thiện nhằm phù hợp với tính đa dạng của phương ngữ tiếng Việt. - Cài đặt hoàn thiện hệ thống từ nhận dạng phương ngữ đến nhận dạng nội dung tiếng Việt nói. - Trên thế giới đã có nhiều nghiên cứu về nhận dạng tiếng nói. - Không chỉ dừng lại ở nghiên cứu mà nhận dạng tiếng nói được triển khai trong các sản phẩm ứng dụng. - Ngoài các khó khăn trong nhận dạng tiếng nói nói chung, nhận dạng tiếng Việt nói còn gặp trở ngại lớn phải kể đến là vấn đề về phương ngữ tiếng Việt. - Tiếng Việt có nhiều phương ngữ khác nhau. - Sự khác biệt đó cũng ảnh hưởng tới các hệ thống nhận dạng tiếng Việt nói, làm giảm hiệu quả nhận dạng. - Chính vì vậy, cần thiết phải nghiên cứu vấn đề nhận dạng tiếng Việt nói theo các vùng phương ngữ khác nhau nhằm tìm ra giải pháp kỹ thuật nâng cao hiệu quả nhận dạng tiếng Việt nói. - Đối tượng và phạm vi nghiên cứu của luận án Đối tượng nghiên cứu trọng tâm của luận án là nhận dạng phương ngữ tiếng Việt. - Từ kết quả nhận dạng phương ngữ, xây dựng mô hình nhận dạng tiếng Việt nói theo phương ngữ. - Mô hình mới sử dụng thông tin về phương ngữ nhằm cải thiện hiệu năng hệ thống nhận dạng tiếng Việt nói. - Phương ngữ tiếng Việt rất phong phú. - Trong hệ thống mới nhận dạng tiếng Việt nói, nhận dạng phương ngữ được xem như bước tiền xử lý nên cần được tiến hành trước khi nhận dạng nội dung, nghĩa là ở thời điểm còn chưa biết nội dung tiếng nói. - Điều này làm cho việc 23 hợp với mô hình nhận dạng GMM. - Bên cạnh đó, luận án đã thực hiện các nghiên cứu một số bộ phân lớp như SVM (SMO), IBk, JRip, MultilayerPerceptron, PART nhận dạng phương ngữ tiếng Việt. - Kết quả nghiên cứu cho thấy các bộ phân lớp này cũng nhận dạng hiệu quả phương ngữ tiếng Việt. - Trên cơ sở các kết quả nghiên cứu, luận án đề xuất mô hình mới nhận dạng tiếng Việt nói trong đó có nhận dạng phương ngữ. - Trong mô hình này, tiếng nói được nhận dạng phương ngữ trước khi nhận dạng nội dung. - Đóng góp khoa học của luận án: Các kết quả nghiên cứu mới và đóng góp khoa học của luận án như sau: (1) Luận án đã xây dựng được bộ ngữ liệu tiếng Việt VDSPEC dùng cho nghiên cứu nhận dạng phương ngữ tiếng Việt và nhận dạng tiếng Việt nói. - (2) Kết quả nghiên cứu đặc điểm của phương ngữ tiếng Việt theo phương diện xử lý tín hiệu, các yếu tố của phương ngữ ảnh hưởng tới hiệu năng của các hệ thống nhận dạng tiếng Việt nói cũng là những đóng góp của luận án. - Sử dụng mô hình mới nhận dạng tiếng Việt nói đã được đề xuất, kết quả cho thấy hiệu năng của hệ thống nhận dạng tiếng Việt nói được cải thiện đáng kể khi có thông tin phương ngữ. - Tiếng Việt có phương ngữ đa dạng, phong phú. - Luận án đã tiến hành nghiên cứu sự khác biệt giữa ba phương ngữ chính của tiếng Việt theo phương thức phát âm, ứng dụng trong hệ thống nhận dạng tự động tiếng Việt nói nhằm cải thiện hiệu năng nhận dạng của hệ thống. - Để thực hiện các nghiên cứu nhận dạng phương ngữ, cần thiết phải có ngữ liệu phương ngữ đáp ứng cho yêu cầu chuyên biệt này. - Luận án đã tiến hành xây dựng bộ ngữ liệu phương ngữ tiếng Việt mới VDSPEC dùng cho các nghiên cứu về nhận dạng phương ngữ cũng như nhận dạng tiếng Việt nói. - Về thực nghiệm: luận án xây dựng bộ ngữ liệu tiếng Việt mới phục vụ cho nghiên cứu nhận dạng phương ngữ tiếng Việt và nhận dạng nội dung tiếng Việt nói. - thực hiện các nghiên cứu, thử nghiệm nhận dạng phương ngữ tiếng Việt, xây dựng và thử nghiệm mô hình nhận dạng phương ngữ cũng như nhận dạng tiếng Việt nói theo phương ngữ. - Nội dung luận án Nội dung chính của luận án được trình bày trong 4 chương như sau: Chương 1: Tổng quan về nhận dạng tiếng nói và nhận dạng phương ngữ. - Chương 2: Xây dựng bộ ngữ liệu cho nghiên cứu nhận dạng phương ngữ tiếng Việt. - Chương 3: Nhận dạng phương ngữ tiếng Việt. - Chương 4: Cải thiện hiệu năng nhận dạng tiếng Việt với thông tin về phương ngữ. - Chương 4 trình bày mô hình nhận dạng tiếng Việt nói dựa trên HMM sử dụng các thông tin về phương ngữ nhằm cải thiện hiệu năng nhận dạng. - TỔNG QUAN VỀ NHẬN DẠNG TIẾNG NÓI VÀ NHẬN DẠNG PHƯƠNG NGỮ 1.1. - Nhận dạng tiếng nói 1.1.1. - 21 Hình 4.11: Sơ đồ hệ thống nhận dạng tiếng Việt nói sử dụng thông tin phương ngữ 4.2.2. - Nhận dạng tiếng Việt nói khi có thông tin phương ngữ Nghiên cứu được thực hiện trên ngữ liệu VDSPEC sử dụng thông tin về phương ngữ. - Nhận dạng nội dung được thực hiện trên cơ sở đã biết về thông tin phương ngữ. - Phương pháp huấn luyện này cũng cho kết quả nhận dạng tốt nhất khi chưa có thông tin phương ngữ (9,37. - Kết chương Kết quả sử dụng HMM nhận dạng tiếng Việt nói khi chưa sử dụng 20 Hình 4.9: Mô hình nhận dạng tự động tiếng nói 4.1.2.2. - Kaldi nhận dạng tiếng Việt nói theo ba phương ngữ chính Nghiên cứu dùng Kaldi nhận dạng phương ngữ tiếng Việt trên bộ ngữ liệu VDSPEC, chưa dùng thông tin phương ngữ. - Thử nghiệm nhận dạng được tiến hành bằng phương pháp đánh giá chéo (5:1). - Cải thiện hiệu năng nhận dạng tiếng Việt nói thông qua sử dụng thông tin phương ngữ 4.2.1. - Mô hình nhận dạng tiếng Việt nói với việc sử dụng thông tin phương ngữ Luận án đề xuất mô hình mới nhận dạng tiếng Việt nói được mô tả trên sơ đồ Hình 4.11. - Tiếng nói trước khi nhận dạng được đưa qua bước tiền xử lý nhận dạng phương ngữ. - Hệ thống căn cứ trên kết quả nhận dạng phương ngữ để có điều chỉnh lựa chọn mô hình thích hợp. - 5 Có nhiều mô hình nhận dạng đã được đề xuất. - Vì thế, HMM vẫn giữ được vị trí quan trọng trong các hệ thống nhận dạng tiếng nói. - Hệ thống nhận dạng tiếng nói cũng có thể phân loại theo số lượng từ vựng. - Phương pháp tiếp cận của nhận dạng phương ngữ cũng giống như các phương pháp được dùng trong nhận dạng ngôn ngữ. - Các mô hình nhận dạng phương ngữ 1.2.1.1. - Nhận dạng phương ngữ theo các phương diện khác nhau 1.2.2.1. - Theo phương diện ngôn ngữ học Nghiên cứu nhận dạng phương ngữ được bắt đầu từ khá sớm. - Việc nhận dạng phương ngữ có thể dựa trên nguyên âm, phụ âm, từ vựng, hệ thống các từ, các đặc trưng âm học, âm vị. - Nghiên cứu nhận dạng tiếng nói và nhận dạng phương ngữ tiếng Việt 19 nhận dạng cho hệ thống nhận dạng phương ngữ tiếng Việt. - CẢI THIỆN HIỆU NĂNG NHẬN DẠNG TIẾNG VIỆT VỚI THÔNG TIN VỀ PHƯƠNG NGỮ 4.1. - HMM nhận dạng tiếng Việt nói 4.1.1. - HMM nhận dạng tiếng Việt nói theo ba phương ngữ chính 4.1.2.1. - Hệ thống nhận dạng bao gồm 2 giai đoạn là: huấn luyện mô hình và nhận dạng. - Nhận dạng phương ngữ tiếng Việt với bộ phân lớp MultilayerPerceptron 3.4.1. - MultilayerPerceptron nhận dạng phương ngữ tiếng Việt Nghiên cứu này sử dụng 384 tham số như đã trình bày ở mục 3.2.3. - Kết quả nhận dạng trung bı̀nh cả 3 phương ngữ là 99,5%. - Bộ phân lớp này cho tỷ lệ nhận dạng đúng cao. - JRip nhận dạng phương ngữ tiếng Việt 3.5.1. - Nhận dạng phương ngữ tiếng Việt với JRip JRip cũng sử dụng 384 tham số. - Nhận dạng phương ngữ tiếng Việt với PART 3.6.1. - Kết quả dùng PART nhận dạng phương ngữ tiếng Việt Bộ 384 tham số cũng được sử dụng cho PART như trong các trường hợp SMO, IBk, MultilayerPerceptron và JRip. - Kết chương Mô hình GMM có khả năng ứng dụng tốt vào nhận dạng phương ngữ tiếng Việt. - Nghiên cứu về hệ thống nhận dạng các số phát âm liên tục bằng tiếng Việt được thực hiện ở [122]. - Hệ thống nhận dạng tiếng Việt nói cũng đã được thực hiện bằng hệ nhúng và hoạt động trên thời gian thực [4]. - Một số mô hình nhận dạng 1.4.1. - Kết chương Nhận dạng tiếng nói nói chung và tiếng Việt nói nói riêng đã được nhiều nhà khoa học trong và ngoài nước nghiên cứu và công bố kết quả. - Việc định danh đúng phương ngữ cho hệ thống nhận dạng tiếng Việt sẽ nâng cao hiệu năng của hệ thống nhận dạng. - XÂY DỰNG BỘ NGỮ LIỆU CHO NGHIÊN CỨU NHẬN DẠNG PHƯƠNG NGỮ TIẾNG VIỆT 2.1. - Tổng quan phương ngữ tiếng Việt 2.1.1. - Kết quả này cho thấy thông tin F0 giúp ích cho nhận dạng phương ngữ. - Kết quả này cho thấy các tham số đặc trưng cho MFCC cũng đóng vai trò khá quan trọng trong nhận dạng phương ngữ. - IBk nhận dạng phương ngữ tiếng Việt 3.3.1. - Kết quả nhận dạng phương ngữ tiếng Việt sử dụng IBk Sử dụng 384 tham số đặc trưng như đã thực hiện ở 3.2. - Các thử nghiệm cho thấy nếu số lượng các hệ số MFCC chọn bằng 13 thì mô hình GMM thích hợp dùng cho nhận dạng phương ngữ tiếng Việt sẽ có tỷ lệ nhận dạng đúng cao nhất. - Tỷ lệ nhận dạng cao nhất đạt 72,2% khi kết hợp với F0sbMSD(t). - Tỷ lệ nhận dạng cao nhất đạt 75,1% khi M bằng 2048. - SVM nhận dạng phương ngữ tiếng Việt 3.2.1. - Thử nghiệm nhận dạng phương ngữ tiếng Việt sử dụng SMO 3.2.2.1. - Cấu trúc âm tiết, âm vị trong phương ngữ tiếng Việt 2.2.1. - Phụ âm đầu trong phương ngữ tiếng Việt 2.3.1. - Trong tiếng Việt, thanh điệu là một trong 15 NHẬN DẠNG PHƯƠNG NGỮ TIẾNG VIỆT 3.1. - Nhận dạng phương ngữ tiếng Việt với GMM 3.1.1. - Kết chương Phương ngữ tiếng Việt phong phú và đa dạng. - Sự khác biệt này có thể được sử dụng làm yếu tố để phân biệt các phương ngữ trong hệ thống nhận dạng phương ngữ tiếng Việt. - Ngữ liệu phương ngữ cần thiết cho các nghiên cứu nhận dạng phương ngữ tiếng Việt. - Các ngữ liệu tiếng Việt hiện có chưa đáp ứng đầy đủ các yêu cầu cần thiết cho nghiên cứu nhận dạng phương ngữ. - Do vậy, luận án tiến hành xây dựng bộ ngữ liệu phương ngữ tiếng Việt mới VDSPEC (Vietnamese Dialect Speech Corpus) dùng cho nghiên cứu nhận dạng phương ngữ và nội dung tiếng Việt nói
Xem thử không khả dụng, vui lòng xem tại trang nguồn hoặc xem
Tóm tắt