MỘT GIẢI PHÁP TRONG XÂY DỰNG HỆ THỐNG HỖ TRỢ GIỮ XE THÔNG MINH

- MỘT GIẢI PHÁP TRONG XÂY DỰNG HỆ THỐNG HỖ TRỢ GIỮ XE THÔNG MINH Nguyễn Thái Nghe 1 , Nguyễn Văn Đồng 1 và Võ Hùng Vĩ 1.
- Hệ thống giữ xe thông minh, nhận dạng biển số xe, đặc trưng Haar-like, mã vạch Keywords:.
- Bài viết này giới thiệu một giải pháp trong xây dựng “Hệ thống hỗ trợ giữ xe thông minh - IPSS”.
- Nhằm tăng độ an toàn cho bãi xe, IPSS kết hợp các kỹ thuật nhận dạng gồm: Nhận dạng và rút trích biển số tự động (dùng giải thuật Boosting phân tầng cùng với đặc trưng Haar-like và sau đó là giải thuật máy học SVM), nhận dạng mã vạch, và nhận dạng bán tự động qua các camera quan sát.
- Thực nghiệm cho thấy kết quả nhận dạng khá tốt ở cả ba giai đoạn: Định vị biển số đạt độ chính xác 99% khi dùng 750 ảnh để huấn luyện và 243 ảnh để kiểm thử.
- Định vị ký tự chính xác 95.88%.
- Hệ thống đã được cài đặt hoàn chỉnh và có thể đưa vào ứng dụng trong thực tế..
- Trong thực tế, đã có nhiều nhóm nghiên cứu và thương mại hóa bài toán xây dựng hệ thống hỗ trợ giữ xe, chẳng hạn như nhóm Mắt thần thuộc Trung tâm Công nghệ Mô phỏng - Học viện Kỹ thuật quân sự đã cho ra đời sản phẩm “Hệ thống quản lý bãi xe thông minh ứng dụng công nghệ nhận dạng biển số kết hợp với công nghệ thẻ” năm 2006;.
- “Bãi giữ xe thông minh” của công ty AIO , hệ thống này có tích hợp máy nhận dạng vân tay (từ hệ thống chấm công) do đó chỉ có chính người đưa xe vào mới có thể lấy xe ra.
- Tuy nhiên, hệ thống này chỉ sử dụng camera để ghi lại hình ảnh và biển số xe của người gửi để hỗ trợ cho nhân viên giữ xe quan sát chứ chưa nhận dạng tự động, và do vậy việc nhận dạng vẫn phải cần nhân viên thực hiện.
- Đặc biệt trong nghiên cứu này, chúng tôi kết hợp các kỹ thuật gồm việc nhận dạng biển số, nhận dạng ký tự, phân loại ký tự bằng giải thuật máy học SVM, sử dụng công nghệ barcode để kiểm tra thẻ xe vào ra.
- Bên cạnh phương pháp tự động, nhằm tăng độ an toàn tối đa, hệ thống này cũng hỗ trợ lưu trữ và truy xuất lại ảnh biển số xe, ảnh khuôn mặt của người gửi xe để nhân viên có thể so sánh đối chiếu..
- 2 NHỮNG NGHIÊN CỨU LIÊN QUAN TRONG LĨNH VỰC NHẬN DẠNG.
- Các nhà sản xuất máy ảnh như Canon, Nikon, Samsung,… cũng đã tích hợp các giải thuật nhận dạng vào trong sản phẩm của mình về phát hiện mặt người.
- Trong những nghiên cứu trước đây về lĩnh vực nhận dạng biển số xe, các phương pháp có thể trình bày trong 3 nhóm: phương pháp hình thái học, phương pháp so khớp mẫu, và phương pháp máy học (J.-W.
- Ganesan (1995) đã đề xuất như sau: Sử dụng biến đổi Hough để phát hiện các đường thẳng song song được xem như các “ứng cử viên” của biển số..
- Sau đó, các ràng buộc hình học của biển số được áp dụng để kiểm tra xem các ứng viên này có phải.
- là biển số hay không.
- Bên cạnh đó một số ràng buộc chuẩn như chiều cao/rộng của các ký tự phải bằng nhau, tâm các ký tự phải nằm trên một đường thẳng, chiều cao của mỗi ký tự phải lớn hơn phân nửa chiều cao biển số trích xuất được được J.-W..
- Những phương pháp này có ưu điểm là không phụ thuộc vào màu sắc của biển số xe, tuy nhiên chúng phụ thuộc khá nhiều vào bước trích đặc trưng biên cạnh (các đoạn thẳng ứng viên thu được thường ngắn hơn nhiều so với chiều dọc cũng như chiều ngang của biển số)..
- Trong phương pháp so khớp mẫu, các mẫu chuẩn của biển số xe sẽ được nhận dạng trước hoặc nhận dạng các tham số thông qua một hàm.
- Thông qua các giá trị tương quan đó để quyết định có tồn tại biển số xe trong ảnh hay không.
- (2002) giới thiệu phương pháp phát hiện biển số xe bằng cách áp dụng máy học SVM lên trên các “ứng viên” được xem như là các vùng có kết cấu rời rạc (discriminatory texture).
- (2008) đề xuất một nhận dạng bằng cách kết hợp những điểm mạnh của vectơ mô tả SIFT (Scale-Invariant Feature Transform) và máy học SVM thông qua việc trích các đặc trưng của biển số xe cũng như không phải biển số xe đưa vào cho giải thuật SVM học, từ đó có thể phân loại cho các đối tượng mới.
- luyện bằng những mẫu mà bộ phân lớp trước nó nhận dạng sai.
- Mô hình cascade cho nhận dạng đối tượng được biểu diễn trong Hình 4.
- Đối tượng trong nghiên cứu này là ảnh biển số xe ở giai đoạn định vị biển số và là ảnh ký tự ở giai đoạn định vị ký tự..
- Để có thể nhận dạng thuật toán tiến hành lấy mẫu từ 2 tập dữ liệu:.
- Mô hình phân lớp phân tầng kết hợp với các đặc trưng Haar-like được xây dựng nhằm rút ngắn thời gian xử lý, giảm thiểu tỷ lệ nhận dạng sai của bộ nhận dạng (bạn đọc quan tâm xin tham khảo thêm trong tài liệu của P.-A..
- Vapnik, 1995) đã được áp dụng thành công trong rất nhiều ứng dụng như nhận dạng vân tay, nhận dạng mặt người, phân loại bệnh ung thư.
- 4 ĐỀ XUẤT PHƯƠNG PHÁP NHẬN DẠNG VÀ RÚT TRÍCH KÝ TỰ TRONG BIỂN SỐ XE.
- Chúng tôi đề xuất quy trình nhận dạng và rút trích biển số qua các bước chính như mô tả trong Hình 5.
- Ở đó, sau khi hệ thống nhận được ảnh chụp từ camera, hệ thống sẽ định vị và trích ra vùng chứa biển số.
- Từ vùng chứa biển số này, thực hiện tương tự để trích ra ảnh các ký tự có trong vùng biển số đó.
- Các ảnh ký tự này sau đó được chuyển sang dạng nhị phân để làm đầu vào cho bộ phân lớp SVM.
- Hình 5: Quy trình nhận dạng và phân lớp biển số xe Sau đây, chúng tôi sẽ mô tả chi tiết cách thực.
- 4.1 Định vị vùng biển số xe.
- Giai đoạn này sử dụng đặc trưng Haar-like và Boosting phân tầng (mỗi bộ phân lớp trong Hình 3 là một mô hình Boosting với bộ phân lớp yếu là Cây quyết định) để định vị vùng biển số xe, sau đó trích ảnh biển số ra như minh họa trong Hình 6..
- Giải thuật định vị này có sẵn trong thư viện EmguCV 1 , vấn đề ta cần thực hiện là tiền và hậu xử lý ảnh để có được vùng biển số mong muốn..
- Hình 6: Định vị và trích ảnh biển số xe Bước 1: Chuẩn bị tập dữ liệu huấn luyện gồm 2250 ảnh màu.
- Trong đó, 750 ảnh chứa biển số xe (tập ảnh này là tập ảnh dương - positive) và 1500 ảnh không chứa biển số xe (hình bất kỳ như phong cảnh, vật dụng.
- Bước 2: Xác định tọa độ của các vùng chứa biển số xe, sau đó lưu toàn bộ chúng vào tập tin (ví dụ “location.txt”) với nội dung:.
- <số biển số xe>.
- Với: x11, y11 là tọa độ biển số xe.
- w11, h11 là chiều rộng và chiều cao biển số như minh họa trong Hình 7..
- Ở giai đoạn này, chúng tôi đã phát triển một bộ công cụ để đọc ảnh, click-and-drag để chọn vùng biển số và xác định tọa độ đối tượng (sau đó lưu lại vào file location.txt như đã trình bày trên)..
- Hình 7: Xác định tọa độ vùng chứa biển số xe.
- info D:\bienso\location.txt: tập tin chứa tọa độ biển số đã tạo ở Bước 1..
- Nếu kích thước biển số nhỏ hơn 40x30 thì chương trình sẽ cho rằng không có biển số trong ảnh..
- Bước 4: Tạo tập tin chỉ mục các ảnh không chứa biển số xe (ví dụ bg.txt), tập tin này đơn giản là chứa các đường dẫn và tên ảnh background (ảnh âm – ảnh bất kỳ không phải hoặc không chứa biển số xe và có cùng kích thước 640 x 480 pixels với ảnh chứa biển số xe), ví dụ:.
- 4.2 Định vị ký tự.
- Hoàn toàn tương tự như ở giai đoạn định vị biển số, ta thực hiện việc định vị và trích ảnh các ký tự trong biển số xe như minh họa ở Hình 8 (lưu ý: sau bước này ta mới chỉ nhận được các ký tự dưới dạng ảnh)..
- Hình 8: Định vị và trích ảnh ký tự trong biển số xe Chúng tôi sử dụng dữ liệu huấn luyện trong giai đoạn này gồm 5200 ảnh màu.
- Trong đó, 1500 ảnh chứa ảnh ký tự biển số xe và 3700 ảnh không chứa ký tự biển số xe (hình phong cảnh, vật dụng…)..
- Các bước thực hiện hoàn toàn tương tự ở giai đoạn định vị biển số.
- Với mỗi ảnh ký tự thu được, chúng tôi đề xuất chuyển chúng về giá trị nhị phân để làm tập dữ liệu đầu vào cho bộ phân lớp SVM..
- Tách ảnh ký tự.
- Hình 9: Ảnh ký tự sau khi tách 4.3 Chuyển ảnh ký tự sang dạng nhị phân.
- Ở bước này, chúng tôi chuyển các ảnh ký tự (20x48) thành giá trị nhị phân biểu diễn tương ứng cho ảnh, như minh họa trong Hình 11.
- Tuy nhiên, trong thực tế sẽ có lúc những ký tự trong biển số không thẳng đứng mà nghiêng về một bên nào đó, do đó tập dữ liệu phải bao gồm nhiều góc xoay khác nhau.
- Hình 10: Các góc xoay của 1 ký tự.
- Hình 11: Chuyển ảnh ký tự thành ma trận nhị phân 20x48.
- Hình minh họa cho ảnh ký tự D, tuy nhiên ta có thể chuyển toàn bộ thư mục ảnh.
- Ký tự A B C D E F G H K L M N P R S T U V X Y Z.
- Số tương ứng Thực hiện tương tự cho tất cả các ảnh ký tự thu.
- 4.5 Nhận dạng và phân loại cho một ảnh biển số xe mới đến.
- Khi có một ảnh biển số xe mới đến, ta sẽ sử dụng các mô hình đã có để định vị biển số, định vị ký tự, chuyển ký tự về dạng nhị phân và sau cùng là dùng SVM để nhận dạng (phân loại) các ký tự có trong biển số này..
- 5 XÂY DỰNG HỆ THỐNG.
- Sau các bước huấn luyện các mô hình, công việc còn lại là xây dựng hệ thống hoàn chỉnh để tích hợp các mô hình này vào..
- Quản lý xe vào/ra (lưu trữ hình ảnh biển số, khuôn mặt của người gửi xe, lưu trữ các ký tự trong biển số xe sau nhận dạng, thời gian vào/ra..)..
- Quản lý tài khoản hệ thống (quyền, nhóm..)..
- Tìm kiếm xe theo các thông tin như biển số xe, thời gian vào/ra….
- 5.1 Sơ đồ tổng thể của hệ thống.
- Sơ đồ tổng thể của hệ thống được biểu diễn trong Hình 12.
- Cùng lúc đó, camera thứ nhất chụp ảnh gương mặt của người gửi xe, camera thứ 2 sẽ chụp ảnh biển số xe, cả 2 ảnh này đều được hệ thống lưu lại.
- Ảnh biển số xe sẽ được nhận dạng và chuyển thành các ký tự tương ứng.
- Như vậy, các thông tin quan trọng được hệ thống ghi lại là số thẻ xe, ảnh gương mặt người gửi xe, ảnh biển số xe, ký tự biển số, và thời gian vào/ra..
- viên sẽ quét mã vạch trên thẻ nhận từ người gửi xe, hệ thống tự động truy xuất lại các thông tin khi xe vào để so sánh đối chiếu, nếu biển số giống nhau thì chương trình sẽ thông báo đúng và cho xe ra..
- Đối với xe đạp, do không có biển số nên thuộc tính này sẽ không được lưu lại.
- Giải pháp này hỗ trợ tối đa cho nhân viên nhằm giảm sai sót trong nhận dạng bằng mắt qua tính năng nhận dạng biển số tự động và đưa ra các lời cảnh báo chứ không cứng nhắc trong việc “bắt lầm hay tha lầm”..
- Ngoài ra, hệ thống không hoàn toàn phụ thuộc vào thẻ giữ xe barcode mà phải qua các đối chiếu.
- như đối chiếu tự động cho phần biển số (module  trong Hình 12), đối chiếu qua quan sát hình ảnh (gương mặt, quần áo, hình biển số.
- So với các hệ thống hiện tại ở các siêu thị, bệnh viện.
- thì hệ thống IPSS này hoàn toàn khả thi..
- Khi xe ra, hệ thống sẽ load hình ảnh lúc xe vào và hiển thị ở khung 5&6.
- Hình 14: Giao diện chính của phần quản lý xe vào/ra 5.4 Cài đặt và triển khai hệ thống.
- Sơ đồ triển khai hệ thống minh họa trong Hình 15.
- Hình 15: Sơ đồ triển khai hệ thống 6 KẾT QUẢ ĐẠT ĐƯỢC.
- Trong giai đoạn định vị vùng biển số, chúng tôi sử dụng 750 ảnh biển số cho huấn luyện và 243 ảnh cho kiểm thử.
- Ngoài ra, sau khi xây dựng hệ thống xong chúng tôi cũng kiểm tra lại độ chính xác toàn bộ quy trình nhận dạng của hệ thống (gồm định vị và nhận dạng/phân lớp biển số) trên 215 ảnh biển số mới.
- Kết quả cho thấy tỉ lệ nhận dạng đúng hoàn toàn (định vị và phân lớp) đạt 190/215 ảnh (tương đương 88.37%) ở lần chụp thứ nhất của camera.
- Có biển số được định vị đúng nhưng phân lớp sai 1 ký tự (đa phần là sai do điều kiện khách quan như biển số quá cũ do vậy ký tự trên biển số quá mờ hoặc bị chói ánh sáng, hoặc một vài trường hợp các ký tự có hình thái gần giống nhau như H và N.
- Để khắc phục tình trạng trên, trên form giao diện hệ thống (như minh họa trong Hình 16) chúng tôi cài đặt chức năng nhận dạng lại thông qua việc ấn phím nóng  hoặc click vào nút “Đọc tiếp” để cho phép người dùng kích hoạt lại việc chụp và nhận dạng biển số.
- Kết quả cho thấy 25 ảnh bị nhận dạng sai ở lần chụp thứ nhất đã giảm xuống còn 10 ảnh ở lần 2 và không còn ảnh nào bị sai ở lần chụp thứ 3.
- Như vậy, trong thực tế, đối với những biển số bị nhận dạng sai, người dùng sẽ ấn phím  để hệ thống chụp và nhận dạng lại (thao tác ấn phím này không quá 3 lần và chỉ mất khoảng 1 giây/lần do đó giải pháp này hoàn toàn khả thi)..
- tin được truy xuất bao gồm thời điểm, biển số dạng ký tự, ảnh người gửi, ảnh biển số do vậy rất tiện lợi trong việc quản lý..
- 7 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Chúng tôi đã đề xuất giải pháp xây dựng hệ thống hỗ trợ giữ xe thông minh IPSS.
- Đây là hệ thống kết hợp cả ba kỹ thuật nhận dạng nhằm tăng độ an toàn tối đa trong quản lý bãi xe, gồm: Nhận dạng biển số, nhận dạng mã vạch, và nhận dạng bán tự động qua các camera quan sát.
- Nghiên cứu sẽ tiếp tục được hoàn thiện thông qua việc cải thiện độ chính xác của mô hình định vị ký tự.
- Hiện tại, do bộ dữ liệu huấn luyện còn chưa đủ lớn nên một số ký tự gần giống nhau vẫn còn bị nhận dạng sai, như E và F, N và H, 1 và 7.