- Ứng dụng một số kỹ thuật xử lý ảnh trong phân tích chứng minh thƣ nhân dân. - Luận văn ThS ngành: Công nghệ thông tin. - Tổng quan về phân tích ảnh tài liệu: giới thiệu về hệ thống nhân dạng ảnh tài liệu nói chung và hệ thống phân tích ảnh tài liệu nói riêng. - giới thiệu các hƣớng tiếp cận trong phân tích bố cục và cấu trúc của ảnh tài liệu. - Nghiên cứu một số thuật toán tiền xử lý ảnh: giới thiệu một số thuật toán tiền xử lý ảnh thƣờng đƣợc áp dụng trong hệ thống phân tích và nhận dạng ảnh tài liệu nhƣ nhị phân ảnh, căn chỉnh độ nghiêng, các toán tử hình thái. - Nghiên cứu phƣơng pháp phân tích giấy chứng minh nhân dân: giới thiệu bài toán và các vấn đề cần giải quyết, từ đó áp dụng các kỹ thuật xử lý ảnh và phân tích tài liệu để phân tích ảnh chứng minh nhân dân. - Xử lý ảnh. - Thuật toán. - Một trong những ứng dụng phổ biến hiện nay của nhận dạng mẫu là phân tích và nhận dạng ảnh tài liệu (có nguồn gốc từ hệ thống nhận dạng ký tự quang học), nhằm số hoá các trang tài liệu giấy nhƣ sách, báo, tạp chí,… Bên cạnh lớp bài toán chung ở trên còn có lớp bài toán riêng biệt cho từng ngành, từng lĩnh vực cụ thể, nhƣ: phân tích và nhận dạng bảng biểu, phiếu điều tra, mẫu điền thông tin, danh thiếp, hộ chiếu,… Đối với lớp bài toán này thì việc phân tích cấu trúc của ảnh tài liệu là đặc biệt quan trọng, bởi vì nó sẽ quyết định đến việc tách và nhận dạng chính xác các trƣờng thông tin cần thiết cho tƣờng ứng dụng.. - Trên thế giới đã có nhiều sản phẩm phần mềm phân tích và nhận dạng ảnh thẻ chứa thông tin cá nhân (nhƣ hộ chiếu, danh thiếp. - và đƣợc ứng dụng trong nhiều lĩnh vực, nhƣ: làm thủ tục hải quan, các giao dịch ở các cửa hàng, khách sạn,… Ở Việt Nam loại thẻ chứa thông tin các nhân đƣợc sử dụng nhiểu nhất là Chứng minh thƣ nhân dân (CMT), nhƣng hiện nay chƣa có một giải pháp nào đƣợc đƣa ra cho việc phân tích và nhận dạng CMT. - phân tích ảnh CMT dựa trên việc phân tích và nhận dạng biểu mẫu. - Chƣơng 1: Tổng quan về phân tích ảnh Chƣơng 2: Một số thuật toán tiền xử lý ảnh. - Chƣơng 3: Thuật toán phân tích chứng minh thƣ nhân dân Chƣơng 4: Cài đặt thử nghiệm và đánh giá. - Một hệ thống nhận dạng ảnh tài liệu gồm các bƣớc sau (Hình 1. - Phân tích ảnh tài liệu. - Quá trình phân tích ảnh tài liệu là việc cố gắng phân ly tài liệu thành các vùng và hiểu vai trò chức năng cũng nhƣ mối quan hệ giữa các vùng (Hình 1. - Bố cục tự nhiên của ảnh tài liệu là đề cập đến hình bao và vị trí tự nhiên của các vùng khác nhau trong ảnh tài liệu. - Phân tích bố cục tự nhiên là quá trình phân ly ảnh tài liệu thành các dãy các vùng đồng nhất, nhƣ: hình ảnh, khối văn bản, dòng văn bản, từ, ký tự,…. - Ngoài bố cục tự nhiên, các tài liệu còn chứa các thông tin bổ xung về nội dung của nó nhƣ: nhan đề, tiêu đề,… Một tập các thực thể logic hoặc chức năng trong tài liệu, với các quan hệ bên trong của nó đƣợc hiểu là cấu trúc lôgic của tài liệu. - Phân tích cấu trúc lôgic là việc biểu diễn kết quả của phân tích cấu trúc bố cục.. - Thu nhận và lƣu trữ ảnh Tiền xử lý ảnh. - Phân tích ảnh Nhận dạng. - Hậu xử lý Lƣu văn bản. - 2 Sơ đồ hệ thống phân tích bố cục và cấu trúc tài liệu 2) 1.2.2. - Phân loại ảnh tài liệu. - 3 Các loại tài liệu C. - Phân tích bố cục. - Mục đích chính của phân tích bố cục là xác định các vùng tự nhiên khác nhau trong tài liệu và các đặc trƣng của nó, bao gồm:. - tài liệu. - Phân tích cấu trúc Tài liệu. - Phân tích bố cục Đánh giá. - Tiền xử lý ảnh. - Phân tích bố cục và lôgic. - Phân tích cấu trúc. - Phân tích cấu trúc là quá trình gán các nhãn lôgic cho các vùng tự nhiên đã xác định ở bƣớc phân tích bố cục dựa vào phân tích cú pháp hoặc kết quả nhận dạng.. - CHƢƠNG 2: MỘT SỐ THUẬT TOÁN TIỀN XỬ LÝ ẢNH A. - Trong quá trình thu thập, ảnh có thể bị nghiêng do đó cần phải căn chỉnh độ nghiêng của ảnh bằng các xác định góc nghiêng và xoay ảnh trở lại nhƣ ảnh gốc.. - Phƣơng pháp dựa vào biến đổi Hough rất tốt cho việc xác định góc nghiêng của các đƣờng thẳng trong ảnh. - CMT là yêu cầu bắt buộc trong rất nhiều các giao dịch cũng nhƣ các thủ tục hành chính,… Ví dụ, khi chúng ta muốn mở một tài khoản ở ngân hàng hay đăng ký một thuê bao điện thoại, chúng ta cần photo CMT, đến các địa điểm giao dịch và điền thông tin cá nhân của mình vào các biểu mẫu có sẵn. - Cùng với quá trình tin học hoá, đơn giản các thủ tục hành chính, một yêu cầu đặt ra là: cần có một hệ thống tự động tách và nhận dạng các trƣờng thông tin trên CMT để điền vào các biểu mẫu có sẵn. - Nhƣ vậy cần tách chính xác các trƣờng thông tin yêu cầu trƣớc khi chuyển cho phần nhận dạng, tuy nhiện việc này gặp một số vấn đề khó khăn sau:. - Vì các trƣờng thông tin đƣợc dập/in trên mẫu có sẵn nên có thể bị lệch so với dòng chuẩn hoặc chờm lên phần tiêu đề đã đƣợc in trƣớc.. - Ở mặt sau, trong khá nhiều trƣờng hợp dấu mầu đỏ đè cả lên phần Ngày cấp và Nơi cấp, làm mờ đi một phần thông tin trên hai trƣờng này.. - Yêu cầu của bài toán: Từ ảnh CMT mầu đƣợc quét bằng máy quét với độ phân giải 300 dpi, tách lấy các trƣờng thông tin: Số CMT, Họ tên, Ngày sinh, Nguyên quán, Nơi thường trú, Dân tộc, Ngày cấp và Nơi cấp. - Các trƣờng thông tin này nằm trên cả hai mặt của CMT, mà mỗi mặt lại có các đặc điểm khác nhau nên tôi đề xuất hai thuật toán khác nhau để tách các trƣờng thông tin trên mỗi mặt.. - Tách các trường thông tin ở mặt trước. - Tách các trường còn lại: Tách lấy các dòng thông tin sau đó loại bỏ đi phần tiêu đề của các trƣờng.. - 2 Tiền xử lý ảnh mặt trước CMT a) 1/. - Xác định vùng có thể là trường Số CMT. - a) I Red – I Green b) Các vùng có thể là Số CMT. - 3 Xác định vùng Số CMT b) 2/. - Trƣờng Số CMT nằm ngay dƣới dòng “GCMND”, khi dập/in nó có thể bị chờm lên (hoặc sát vào) dòng. - “GCMND” hoặc khi sử dụng trƣờng Số CMT có thể bị nhoè lên dòng “GCMND”. - Mặt khác, trong quá trình sử dụng trƣờng Số CMT có thể bị mờ (thậm chí mất hẳn). - Nhận thấy rằng, dòng “GCMND” có đặc điểm nổi trội hơn hẳn: có độ dài lớn nhất, ít bị mờ hoặc nhoè trong quá trình sử dụng và nằm ngay bên trên trƣờng Số CMT nên có thể dựa vào dòng này để xác định trƣờng Số CMT.. - a) Vùng Số CMT. - Tách các trường thông tin còn lại. - Các trƣờng thông tin còn lại (bao gồm 4 trƣờng: Họ tên, Ngày sinh, Nguyên quán, Nơi thƣờng trú) đƣợc phân bố trên 7 dòng, các dòng này cách đều nhau và nằm bên dƣới dòng “GCMND” và Số CMT, việc tách các trƣờng thông tin còn lại thực chất là việc tách lấy 7 dòng thông tin này. - Để tách các dòng này, từ ảnh nhị phân thu đƣợc ở bƣớc tiền xử lý và vị trí của dòng “GCMND” đã xác định ở bƣớc trên, xác định “mặt nạ” của các dòng sau đó cố gắng lọc lấy các đối tƣợng (ký tự) thuộc mặt nạ dòng.. - Vị trí của các dòng thông tin còn lại đƣợc xác định thông qua vị trí tƣơng đối của chúng so với dòng. - “GCMND” đã xác định đƣợc ở trên. - Vừa: Gồm các đối tƣợng còn lại, lớp các đối tƣợng có thể là ký tự.. - Để loại bỏ các phần tiêu đề này cần xác định vị trí phân tách giữa phần tiêu đề và phần thông tin trong các dòng đó. - Do phần thông tin đƣợc dập/in vào mẫu có sẵn (đã có phần tiêu đề) nên giữa phần hai phần này có những đặc điểm khác nhau sau:. - Chiều cao trung bình của các ký tự trong phần tiêu đề thƣờng nhỏ hơn chiều cao trung bình của các ký tự trong phần thông tin.. - Theo phƣơng dọc, phần thông tin có thể bị lệch so với phần tiêu đề (dịch lên hoặc dịch xuống).. - Theo phƣơng ngang, giữa phần thông tin và phần tiêu đề thƣờng có khoảng cách lớn hơn khoảng cách giữa các ký tự (các từ) trong dòng.. - Ký tự cuối cùng của phần tiêu đề là chữ in thƣờng, trong khi ký tự đầu tiên của phần thông tin là chữ in hoa nên có sự khác nhau lớn về chiều cao.. - Trong quá trình tách lấy các đối tƣợng thuộc dòng, có thể một số ký tự thuộc dòng nhƣng không đƣợc chọn, nguyên nhân là do:. - Các ký tự này nằm ngoài vùng mặt nạ dòng (không đƣợc dập/in vào vùng thông tin đã đƣợc định trƣớc) do lƣợng thông tin quá nhiều nên “tràn” ra khỏi vùng đã đƣợc định trƣớc [Hinh 3. - Tách các trường thông tin ở mặt sau. - Mặt sau của CMT có cấu trúc dạng bảng, các trƣờng thông tin đƣợc phân bổ vào các ô của bảng: trƣờng Dân tộc ở ô trên cùng, trƣờng Ngày cấp và Nơi cấp ở ô dƣới cùng bên phải. - Do vậy, để tách đƣợc các trƣờng thông tin yêu cầu cần xác định đƣợc cấu trúc bảng sau đó mới tách các trƣờng thông tin này, thuật toán gồm các bƣớc:. - Xác định cấu trúc bảng: Tìm các đƣờng kẻ ngang/dọc để xây dựng lại cấu trúc bảng. - Tách các trường thông tin: Loại bỏ đi phần tiêu đề của các dòng.. - Các thao tác tiền xử lý ở mặt sau là:. - 8 Tiền xử lý mặt sau CMT 2) 3.2.2. - Xác định cấu trúc bảng. - Cấu trúc bảng đƣợc tạo bởi các đƣờng kẻ ngang và dọc liền nét nhƣng trong quá trình sử dụng các đƣờng kẻ này có thể bị mờ hoặc đứt nét. - Mặt khác, trong lúc dập/in thông tin và lăn tay, các ký tự hoặc dấu vân tay có thể chờm lên các đƣờng kẻ, gây khó khăn cho việc xác định cấu trúc bảng. - Nhƣ vậy, để xác định đƣợc cấu trúc bảng cần xác định đƣợc các đƣờng kẻ ngang và dọc của bảng. - Thuật toán xác định đƣờng kẻ ngang của cấu trúc bảng đƣợc chia làm hai phần chính:. - Đầu tiên áp dụng các phép biến đổi hình thái để làm nổi bật các đƣờng kẻ ngang, sau đó phân tích các thành phần liên thông để tách lấy các đường kẻ ngang trong ảnh. - a) Ảnh nhị phân đầu vào b) Các đƣờng kẻ ngang. - c) Các đƣờng kẻ của bảng. - d) Các vùng thông tin Hinh 3. - 9 Xác định cấu trúc bảng. - Sau khi xác định đƣợc các đƣờng kẻ ngang và dọc của bảng (tức là xác định đƣợc cấu trúc của bảng), tách lấy các vùng chứa các trƣờng thông tin cần tìm từ ảnh: vùng Dân tộc nằm giữa đƣờng kẻ ngang thứ nhất và thứ hai. - Từ các vùng này, bƣớc tiếp theo sẽ tách lấy các trƣờng thông tin cần tìm.. - Tách trường thông tin. - Thuật toán đƣa ra trong luận văn tách đƣợc gần nhƣ 100% các trƣờng thông tin yêu cầu. - Một số trƣờng hợp các có thể bị mất một phần thông tin hoặc coi nhiễu nhƣ một phần thông tin của trƣờng. - Thuật toán chỉ thất bại trong trƣờng hợp các trƣờng thông tin in/dập vào CMT bị lệch một góc đánh kể so với các dòng in sẵn trong CMT.. - 1 Kết quả phân tích ảnh CMT Precesion. - Số CMT . - Tìm hiểu và tổng quát hoá các phƣơng pháp phân tích ảnh tài liệu, cũng nhƣ nắm đƣợc các ƣu nhƣợc điểm của từng phƣơng pháp. - Đã áp dụng thành công các kiến thức tìm hiểu đƣợc vào cài đặt thử nghiệm chƣơng trình phân tích ảnh CMT. - Thuật toán mới chỉ dừng lại ở việc phân tích ảnh CMT, chƣa khái quá hoá cho các ảnh thẻ bất kỳ.. - Khái quát hoá thuật toán để có thể xử lý đƣợc ảnh thẻ bất kỳ.