- Bài toán phân tích cú pháp ngôn ngữ tự nhiên bằng máy tính là bài toán lớn và phức tạp. - Tuy nhiên, cho đến nay bài toán phân tích cú pháp tiếng Việt vẫn chưa được giải quyết triệt để. - Khái quát vấn đề phân tích văn bản. - Nghiên cứu các thuật toán phân tích đối với các văn phạm phi ngữ cảnh và các mạng chuyển. - Xây dựng một trình phân tích câu tiếng Anh đơn giản. - Xây dựng một trình phân tích câu tiếng Việt đơn giản. - Tổng quan về vấn đề phân tích văn bản. - Bài toán phân tích cú pháp. - Phân tích từ trên xuống. - Phân tích từ dưới lên. - Đánh giá hai phương pháp phân tích trên. - Phương pháp phân tích tổng hợp. - Phân tích từ trên xuống cho mạng chuyển đệ quy. - Thể hiện kết quả phân tích. - Sau khi phân tích can là NOUN ...18. - Biểu đồ sau khi phân tích cụm NP đầu tiên ...24. - Sau khi phân tích khả năng thứ hai của NP đầu tiên ...25. - Cấu trúc của câu cần phân tích...26. - Mạng chuyển đệ quy làm ví dụ trong phân tích từ trên xuống ...35. - Giao diện chương trình phân tích cú pháp tiếng Anh ...53. - Các phương án phân tích cho một câu tiếng Việt nhập nhằng ...62. - Cây phân tích ứng với cách tách từ đúng...62. - Phân tích từ trên xuống, ưu tiên chiều sâu cho văn phạm phi ngữ cảnh ...15. - Quá trình phân tích từ trên xuống...35. - Phân tích từ trên xuống kết hợp quay lui cho mạng chuyển đệ quy...36. - Phân tích từ vựng. - Phân tích cú pháp. - Phân tích ngữ nghĩa. - Phân tích thực chứng. - Do vậy, quá trình phân tích này rất khó thực hiện được bằng máy tính. - Nội dung thứ nhất là trình bày hai mô hình truyền thống dùng để phân tích cú pháp của ngôn ngữ tự nhiên, gồm các văn phạm phi ngữ cảnh và các mạng chuyển đệ quy. - Vì khuôn khổ của khoá luận có hạn, nên em chỉ trình bày phần cài đặt thuật toán phân tích từ trên xuống cho văn phạm phi ngữ cảnh. - ¾ Nó vừa đủ hạn chế để xây dựng những trình phân tích câu hiệu quả. - Sau đây ta đi vào tìm hiểu việc vận dụng các văn phạm phi ngữ cảnh và các thuật toán phân tích để biểu diễn ngôn ngữ tự nhiên và xây dựng các trình phân tích cú pháp.. - Có hai phương pháp điển hình dùng để phân tích văn phạm phi ngữ cảnh, là phân tích từ trên xuống và phân tích từ dưới lên.. - Phân tích từ trên xuống như sau S → NP VP. - Phân tích từ dưới lên thì ngược lại.. - Với câu John ate the cat, ta có cây phân tích như Hình 2.. - Bây giờ ta xây dựng trình phân tích từ trên xuống cho văn phạm phi ngữ cảnh. - Để mô tả một trạng thái của trình phân tích ta dùng hai thông tin:. - Lưu lại phần nào của câu đã được phân tích rồi. - Ở mỗi bước, trình phân tích xét ký hiệu nằm bên trái nhất của danh sách. - Ta có phân tích từ trên xuống của câu. - quá trình phân tích thành công,. - vì VERB so khớp với cried, và lúc này, danh sách các ký hiệu của văn phạm là rỗng, câu cần phân tích rỗng.. - Phân tích từ trên xuống, ưu tiên chiều sâu cho văn phạm phi ngữ cảnh. - Chú ý rằng trình phân tích đưa các trạng thái được sao lưu vào một ngăn xếp.. - Ðiểm khác nhau chủ yếu giữa phân tích từ trên xuống và phân tích từ dưới lên là cách sử dụng các quy tắc sinh. - Trong phân tích từ trên xuống, khi gặp NP, ta thay nó bằng dãy ART ADJ NOUN.. - Các trạng thái trong phân tích từ dưới lên được lưu dưới dạng một cấu trúc gọi là biểu đồ (chart). - Biểu đồ là một bản ghi vị trí của các từ và các cấu trúc mới phát sinh từ câu đang phân tích. - Thuật toán phân tích cụ thể như sau: Có hai cấu trúc dữ liệu là biểu đồ và danh sách khoá. - Ví dụ, xét thuật toán này với câu cần phân tích là. - Sau khi phân tích can là NOUN. - Phân tích từ dưới lên và phân tích từ trên xuống đều có những ưu nhược điểm riêng. - Giả sử ta cần phân tích câu The bird sang cũng với văn phạm trên. - Nhược điểm này được khắc phục trong phân tích từ dưới lên. - Phương pháp là vừa xây dựng một trình phân tích từ trên xuống vừa bổ sung từng thành phần vào biểu đồ. - Bây giờ, sử dụng thuật toán này, ta xét lại quá trình phân tích câu The green water evaporated. - Khi đó, ta thu được trạng thái của quá trình phân tích và biểu đồ như sau:. - Biểu đồ sau khi phân tích cụm NP đầu tiên. - Câu cần phân tích có ART ( the ) ở vị trí 1, ADJ ( green ) ở vị trí 2, và NOUN ( water ) ở vị trí 3 nên sinh ra một NP thứ hai. - Sau khi phân tích khả năng thứ hai của NP đầu tiên. - Bây giờ ta đã kết thúc mọi phân tích có thể từ việc bắt đầu bằng S, viết lại nó theo quy tắc 1. - Thay vì áp dụng các quy tắc để viết lại NP tại vị trí 1, trình phân tích sử dụng hai NP đã có trên biểu đồ, sinh ra. - Trạng thái (NP VERB [S1]) là trạng thái cho phân tích đúng đắn duy nhất. - Trạng thái lưu còn lại sinh ra phân tích mong muốn, câu cần phân tích có cấu trúc như sau:. - Cấu trúc của câu cần phân tích. - Trên thực tế cũng có nhiều trình phân tích được điều khiển bởi các quy tắc của văn phạm. - còn các trình phân tích dựa trên văn phạm phi ngữ cảnh phải tìm trong dãy các quy tắc những quy tắc nào là có thể áp dụng được.. - Phân tích từ trên xuống cho mạng chuyển đệ quy Trạng thái phân tích tại một thời điểm nào đó được biểu diễn như sau:. - Nút ta đang dừng lại để phân tích. - Mạng chuyển đệ quy làm ví dụ trong phân tích từ trên xuống. - sẽ được phân tích như trên Bảng 3.. - Quá trình phân tích từ trên xuống. - Quá trình phân tích như trên Bảng 4.. - phân tích thành công nil. - Phân tích từ trên xuống kết hợp quay lui cho mạng chuyển đệ quy. - Mục tiêu của ta là xây dựng được một văn phạm vừa đủ để giải quyết bài toán phân tích. - Trong chương trình phân tích cú pháp tiếng Anh, ta dùng bảng băm sau:. - Các từ của câu cần phân tích được chứa trong mảng tokens . - Ta quy bài toán phân tích câu về bài toán tìm dãy trái của ω.. - dãy trái của phân tích. - vòng lặp phân tích. - kết thúc vòng lặp phân tích. - Phương thức xây dựng cây phân tích như sau:. - Giao diện chương trình phân tích cú pháp tiếng Anh. - Nếu trình phân tích không phân tích được câu nhập vào (câu sai cú pháp hoặc câu. - Để thử nghiệm chương trình phân tích cú pháp tiếng Việt, ta có thể nhập vào một số câu có cấu trúc khác nhau. - đều được phân tích đúng. - Khoá luận trình bày việc vận dụng các mô hình văn phạm phi ngữ cảnh và các mạng chuyển vào bài toán phân tích cú pháp tiếng Anh và tiếng Việt. - Trong phân tích cú pháp có những đặc điểm chính sau:. - Tách riêng việc giải quyết phân tách từ vựng và phân tích cú pháp cho tiếng Việt.. - Sử dụng kết quả phân tích cú pháp để hỗ trợ quyết định chọn phương án phân tách từ vựng của câu (Phần Phụ lục).. - Với câu nhập nhằng thì đưa ra mọi phương án phân tích có thể.. - Mọi câu đưa vào đều được thực hiện theo hai bước, gồm tách từ vựng và phân tích cú pháp. - Dùng phương pháp phân tích cú pháp. - Chương trình phân tích cú pháp tiếng Việt hiện tại cũng đã có khả năng nhận biết được một số câu nhập nhằng từ vựng. - Các phương án phân tích cho một câu tiếng Việt nhập nhằng. - Cây phân tích ứng với cách tách từ đúng
Xem thử không khả dụng, vui lòng xem tại trang nguồn hoặc xem
Tóm tắt