- TRỊNH VĂN LOAN Hà nội - 2004 Tương tác người-máy dựa trên tiếng nói 1 Lời nói đầu Chương I. - Các vấn đề về sức khoẻ Sử dụng màu Kiểu tương tác Tương tác người-máy dựa trên tiếng nói 2 Chương II. - Tương tác người-máy sử dụng tiếng nói . - Các phương pháp nhận dạng và tổng hợp tiếng nói . - Nhận dạng tiếng nói Mô hình Markov ẩn. - Tương tác người-máy dựa trên tiếng nói 3 1.2.2 Tính toán tham số theo thuật toán Baum-Welch. - Tương tác người máy dựa trên tiếng nói. - Phần này giới thiệu các điểm riêng khi sử dụng tiếng nói trong tương tác người máy. - Các kỹ thuật tổng hợp tiếng nói và nhận dạng tiếng nói. - Hà nội, ngày 30 tháng 9 năm 2004 Học viên Mai Chí Dũng Tương tác người-máy dựa trên tiếng nói 6 Chương I. - Thật vậy, để thiết kế một Tương tác người-máy dựa trên tiếng nói 8 hệ thống cho ai đó chúng ta cần phải hiểu các khả năng và các hạn chế của người đó. - Mô hình này bao gồm 3 hệ thống con. - Tương tác người-máy dựa trên tiếng nói 10 Trong phần này chúng ta sẽ xem xét các thành phần chính của tương tác này. - Tương tác người-máy dựa trên tiếng nói 11 Như chúng ta đã thấy, với âm thanh chúng ta có thể thu nhận được nhiều thông tin. - Các âm thanh loại khác có thể được sử dụng để. - Tương tác người-máy dựa trên tiếng nói 13 Bộ nhớ dài hạn dùng để lưu trữ các thông tin dài hạn. - Tổng quát hơn, máy tính được sử dụng Tương tác người-máy dựa trên tiếng nói 14 như một công cụ để xử lý và nhận thông tin. - Các thiết bị nhập dữ liệu văn bản như bàn phím, các hệ thống nhận dạng tiếng nói. - Tuy nhiên, có rất nhiều hạn chế đối với các hệ thống nhận dạng chữ viết Tương tác người-máy dựa trên tiếng nói 15 tay hiện nay. - Ba khả năng ứng dụng chính của tiếng nói là. - Norman sử dụng các Tương tác người-máy dựa trên tiếng nói 19 thuật ngữ sự khác biệt trong thực thi (gulfs of execution) và sự khác biệt trong đánh giá (gulfs of evaluation). - Tương tác người-máy dựa trên tiếng nói 22 Vấn đề cần được xem xét đầu tiên là kích thước của người sử dụng. - các giao diện ba chiều Tương tác người-máy dựa trên tiếng nói 24 Chương II. - Tương tác người-máy sử dụng tiếng nói 1. - Hiện tại chưa có ứng dụng nào thực sự tận dụng được toàn bộ khả năng tương tác dựa trên tiếng nói. - Trong phần này sẽ tập trong vào các khía cạnh phát triển của tương tác dựa trên tiếng nói. - Các vấn đề chính trong các ứng dụng tiếng nói hiện tại là các phương pháp tương tác thích nghi và mềm dẻo (adaptive and flexible). - Một số ưu việt của tiếng nói trong giao tiếp người - người không sử dụng được trong tương tác người – máy. - Trong phần này, chúng ta sẽ trình bày những vấn đề của công nghệ tiếng nói có ảnh hưởng đến tương tác sử dụng tiếng nói. - 2.1.1 Các mức xử lý tiếng nói Tiếng nói có thể được xây dựng theo nhiều cách khác nhau tuỳ thuộc vào mục đích sử dụng. - Các công nghệ tiếng nói cơ bản nhất (nhận dạng tiếng nói, tổng hợp tiếng nói) chủ yếu thuộc vào lớp dưới cùng (các mức acoustic, articulator và phoneme), trong khi các ứng dụng chủ yếu làm việc ở lớp cao nhất (các mức discourse, pragmatic và semantic). - Hiện tại, chúng ta thiếu cả trí thức và các phương pháp tương tác mới sử dụng cho tương tác người-máy dựa trên tiếng nói. - Ví dụ, có thể xây dựng các ứng dụng e-mail khá phức tạp sử dụng tiếng nói với kích thước từ vựng khoảng vài chục từ. - Tương tác người-máy dựa trên tiếng nói 29 Trong thực tế, phần lớn các hệ thống nhận dạng có rất nhiều vấn đề khi sử dụng văn phạm mở và vốn từ lớn. - Ngay cả với các Tương tác người-máy dựa trên tiếng nói 30 hệ thống nhận dạng tốt, tỷ lệ nhận dạng chính xác có thể giảm rất nhiều nếu điều kiện sử dụng không giống như các điều kiện mà pha đào tạo của hệ thống được thực hiện. - Điều này làm hạn chế khả năng ứng dụng của tổng hợp tiếng nói ở một số lĩnh vực. - Các hệ thống tổng hợp tiếng nói đa ngôn ngữ vẫn còn hiếm và trong một số lĩnh vực ứng dụng điều này sẽ gây ra rất nhiều vấn đề. - Chúng ta có thể phân loại các hệ thống tổng hợp tiếng nói thành 2 loại: tổng hợp tổng quát và tổng hợp cho lĩnh vực hạn chế. - Thực ra trong một số trường hợp các hệ thống tổng hợp có thể tạo ra tiếng nói chất lượng cao hơn cả tiếng nói của người bình thường. - Tóm lại, các công nghệ tiếng nói có rất nhiều hạn chế. - Trong lớp đầu tiên là các ứng dụng có sử dụng tiếng nói làm phương thức tương tác chính. - Hiện tại có tiếng nói được ứng dụng chính trong các lĩnh vực sau. - Các hệ thống này sử dụng tiếng nói đầu ra và điện thoại làm phương tiện chính trong tương tác. - Ví dụ, người dùng có thể khởi động chương trình, điều khiển cửa sổ và menu bằng cách sử dụng tiếng nói. - Các ứng dụng tiếng nói đa ngôn ngữ. - Các hệ thống thông dịch là một ví dụ về các ứng dụng tiếng nói đa ngôn ngữ (Multilingual Speech Applications). - Các ứng dụng tiếng nói Pervasive. - Rất nhiều hạn chế về mặt kỹ thuật có thể được loại bỏ bằng giao diện Tương tác người-máy dựa trên tiếng nói 33 được thiết kế thích hợp. - Những nhà phát triển ứng dụng tiếng nói hy vọng có thể tận dụng được tất cả bản chất này khi sử dụng tiếng nói trong giao diện. - Tiếng nói có thể là một phương pháp giao tiếp rất hiệu quả. - Tiếng nói có thể biểu đạt nhiều điều. - Bằng cách sử dụng tiếng nói, các đối tượng giống nhau có thể được chọn với một lệnh tiếng nói. - Tiếng nói có nhiều hạn chế khi được sử dụng trong tương tác người máy. - Nhưng những điều này có thể làm nảy Tương tác người-máy dựa trên tiếng nói 35 sinh vấn đề nếu chúng không được thể hiện trong giao tiếp. - Chúng ta có thể thấy ít nhất là 6 điểm mạnh của tiếng nói khi sử dụng làm thể thức giao diện. - Tiếng nói có thể được sử dụng trong các tình huống mà không có một thể thức nào khác có thể sử dụng. - Điều quan trọng là phải biết các lý do để sử dụng tiếng nói trong giao diện. - Nếu tiếng nói không được sử dụng đúng cách, giao diện có thể trở nên khó dùng, không chấp nhận được. - Các kỹ thuật “lần lượt” có thể khó ứng dụng được trong các giao diện chỉ sử dụng tiếng nói. - Các đối tượng di chuyển (navigation) và menu là các thành phần giao diện quan trọng trong nhiều hệ thống tiếng nói. - 2.3.3 Xử lý lỗi Xử lý lỗi là đặc tính quan trọng trong các ứng dụng tiếng nói. - Người dùng có thể thực hiện xử lý lỗi theo nhiều Tương tác người-máy dựa trên tiếng nói 39 cách và điều này cần phải được mô hình trong các thành phần nhận dạng và trong các thành phần hội thoại. - Chức năng trợ giúp trong các hệ thống chỉ sử dụng tiếng nói là một lĩnh vực ít được nghiên cứu. - Các hệ thống tiếng nói thông thường chứa các lời nhắc khởi đầu. - Trong các hệ thống chỉ sử dụng tiếng nói, thì các lệnh viết có thể rất hữu dụng. - Giải pháp này được sử dụng trong dựa án Universal Speech Interface, với mục tiêu là tạo ra một kiểu tương tác chuẩn hoá cho các ứng dụng tiếng nói. - Không thực tế nếu tin rằng việc hiểu ngôn ngữ tự nhiên không hạn chế có thể được sử dụng trong tất cả các ứng dụng tiếng nói. - Âm nhạc cũng có thể được sử dụng trong các biểu tượng âm thanh. - Các tham số này có thể được sử dụng để thu thập thông tin theo cùng cách của biểu tượng Tương tác người-máy dựa trên tiếng nói 41 âm thanh. - Các thành phần âm thanh không phải tiếng nói được sử dụng trong rất nhiều ứng dụng đặc biệt là các ứng dụng cho những người có khả năng nhìn kém. - Tương tác người-máy dựa trên tiếng nói 42 Tóm lại, giao tiếp dựa trên tiếng nói là rất khác nhau. - Nếu kiến trúc cơ bản hỗ trợ các thành phần hệ thống thích nghi và các kỹ thuật tương tác, các ứng dụng tiếng nói có thể được xây dựng hiệu quả hơn trong các điều kiện sử dụng khác nhau. - Phần lớn các hệ thống thực tế còn có module back-end (ví dụ module về xử lý cơ sở dữ liệu) và các ứng dụng tiếng nói thoại phải có module về xử lý điện thoại. - Hình vẽ 2.2 dưới minh hoạ các module trong hệ thống tiếng nói. - Module nhận dạng tiếng nói có thể khá độc lập với các thành phần khác của hệ thống. - Các phương pháp phức tạp hơn cũng có thể được sử dụng. - Tương tác người-máy dựa trên tiếng nói 46 Hiện tại, các hệ thống tạo trả lời phức tạp thường bị giới hạn ở các mô hình nghiên cứu. - Tương tác người-máy dựa trên tiếng nói 47 1. - Các hệ thống tiếng nói không bị giới hạn bởi các module nói ở trên. - 3.2 Quản lý hội thoại trong ứng dụng tiếng nói Bộ phận quản lý hội thoại điều khiển toàn bộ tương tác giữa hệ thống và người dùng. - Nhiều nguyên lý được tìm thấy trong các hệ thống này có thể được sử dụng trong các hệ thống tiếng nói mặc dù tiếng nói là thể thức giao tiếp khác xa so với văn bản. - Không thực tế nếu coi rằng các hệ thống hội thoại dựa trên văn bản có thể được chuyển thành các hệ thống hội thoại dựa trên tiếng nói một cách dễ dàng (ví dụ bằng cách thêm các thành phần nhận dạng và tổng hợp tiếng nói). - Tuy nhiên, các hệ thống tiếng nói có thể tận dụng các tri thức từ các hệ thống hội thoại dựa trên văn bản. - Tương tác người-máy dựa trên tiếng nói 50 Chiến lược hội thoại hệ thống chủ động không phải là thích hợp cho mọi nhiệm vụ. - Tương tác người-máy dựa trên tiếng nói Chiến lược hội thoại chủ động hỗn hợp Chiến lược quản lý hội thoại hỗn hợp giả sử rằng sự chủ động có thể được người sử dụng hoặc hệ thống thực hiện. - Điều này đặc biệt đúng với các hệ thống tiếng nói vì mô hình ngôn ngữ cho các hệ thống chủ động hỗn hợp có thể rất phức tạp. - Kiến trúc này có nền Tương tác người-máy dựa trên tiếng nói 52 tảng nghiên cứu khá chắc. - Các hệ thống dựa trên Frame. - Các hệ thống dựa trên sự kiện. - Các hệ thống chứng minh lý thuyết. - Các hệ thống dựa trên tác tử. - Trong các hệ thống hội thoại và trong Tương tác người-máy dựa trên tiếng nói 53 lý thuyết giao tiếp các tác tử được coi là các thành phần tham gia trong giao tiếp. - Một vấn đề thường xuất hiện trong các hệ thống tiếng nói là cách mà các chiến lược hội thoại khác nhau và các mô hình điều khiển khác nhau có thể hỗ trợ khả năng sử dụng lại hay khả năng chuyển sang các lĩnh vực ứng dụng khác. - Tương tác người-máy dựa trên tiếng nói 54 Chương III. - Các phương pháp nhận dạng và tổng hợp tiếng nói 1. - Nhận dạng tiếng nói Hiện tại có 3 phương pháp chủ yếu được sử dụng trong nhận dạng tiếng nói, đó là. - Tương tác người-máy dựa trên tiếng nói 56 • Hàm phân bố xác suất trạng thái đầu của mô hình, },{iππ= trong đó: Ni1. - Nhờ vậy có thể sử dụng cách giải quyết trong bài toán này để nhận dạng tiếng nói. - Sử dụng mô hình Markov ẩn để nhận dạng từ rời Tương tác người-máy dựa trên tiếng nói 62 1.2.2 Tính toán tham số theo thuật toán Baum-Welch. - Tương tác người-máy dựa trên tiếng nói 63 Tuy nhiên để sử dụng được các công thức trên thì việc đầu tiên là phải tính xác suất Lj(t)
Xem thử không khả dụng, vui lòng xem tại trang nguồn hoặc xem
Tóm tắt