- PHÁT HIỆN VÀ NHẬN DẠNG BIỂN BÁO GIAO THÔNG ĐƯỜNG BỘ SỬ DỤNG ĐẶC TRƯNG HOG VÀ MẠNG NƠRON NHÂN TẠO. - Hệ thống giao thông thông minh, biển báo giao thông đường bộ, đặc trưng HOG, mạng Nơron, máy học vectơ hỗ trợ. - Trong bài báo này, chúng tôi trình bày thuật toán xử lý ảnh và máy học để tự động phát hiện và nhận dạng biển báo giao thông đường bộ sử dụng đặc trưng cục bộ HOG và mạng Nơron nhân tạo. - Hệ thống của chúng tôi có khả năng phát hiện và nhận dạng hầu hết các loại biển báo giao thông như biển báo cấm, biển báo nguy hiểm, biển hiệu lệnh và biển chỉ dẫn không bị chồng lấp. - Thực nghiệm được tiến hành với 31 video với thời gian trung bình để phát hiện và nhận dạng các biển báo giao thông trên một frame ảnh xấp xỉ 0.021 giây khi sử dụng mô hình phân lớp với mạng nơron nhân tạo và khoảng 0.099 giây khi dùng mô hình phân lớp SVM và độ chính xác nhận dạng khoảng 94%.. - Việc ứng dụng công nghệ thông tin để giải quyết các vấn đề trong lĩnh vực giao thông đang là một chủ đề nóng ở nước ta hiện nay. - Vấn đề phát triển giao thông thông minh để giảm thiểu ùn tắc, tai nạn và tiết kiệm nguồn lực cũng được thảo luận trong nhiều hội thảo, diễn đàn như diễn đàn cấp cao Công nghệ Thông tin – Truyền thông Việt Nam (Vietnam ICT Summit), 2015. - Phát hiện và. - nhận dạng biển báo giao thông là một công cụ hỗ trợ trong hệ thống giao thông thông minh. - Bài báo này trình bày phương pháp phát hiện và nhận dạng các biển báo giao thông đường bộ sử dụng kết hợp các kỹ thuật phân đoạn ảnh, phát hiện biên và phân tích hình dáng đối tượng để phát hiện vùng ứng viên có thể là biển báo giao thông. - Sau đó, rút trích đặc trưng HOG và huấn luyện mạng Nơron nhân tạo để nhận dạng biển báo. - Đầu tiên, ảnh đầu vào sẽ được phân đoạn để loại bỏ nền nhằm làm nổi bật các đối tượng có thể là biển báo giao thông, biên của các đối tượng này sẽ được xử lý lọc kích thước và phân tích hình dáng để chọn ra các vùng ứng viên là biển báo giao thông. - Tiếp theo, các vùng ứng viên sẽ được trích đặc trưng HOG, các đặc trưng trích ra được phân lớp với mô hình mạng Nơron đã được huấn luyện trước đó để nhận dạng loại biển báo.. - Kết quả huấn luyện và nhận dạng cũng được so sánh với mô hình phân lớp sử dụng SVM để xác định mô hình nhận dạng phù hợp nhất. - Mục tiếp theo của bài báo trình bày chi tiết phương pháp nghiên cứu, mục này bao gồm kỹ thuật phân đoạn ảnh dựa trên không gian màu RGB và IHLS, phương pháp ước lượng kích thước và hình dáng của biển báo giao thông dựa trên biên đối tượng để chọn ra các vùng ứng viên, thuật toán trích đặc trưng HOG của các vùng ứng viên là biển báo giao thông, huấn luyện mạng Nơron. - lược một số loại biển báo giao thông đường bộ đang sử dụng ở Việt Nam. - Các kết quả thực nghiệm và thảo luận được trình bài trong mục 3.. - Hình 1: Quy trình tổng quát của thuật toán phát hiện và nhận dạng biển báo giao thông. - đường bộ. - 2.1 Biển báo giao thông đường bộ Việt Nam Biển báo giao thông là phương tiện được dùng để thông báo, chỉ dẫn người tham giao thông điều khiển phương tiện lưu thông nhằm đảm bảo an toàn giao thông và được quy chuẩn trong “Quy chuẩn kỹ thuật quốc gia về báo hiệu đường bộ”.. - Theo đó, biển báo giao thông đường bộ ở nước ta được chia thành 4 nhóm chính, Bảng 1 trình bày một số biển báo tương ứng với mỗi nhóm.. - Bảng 1: Bốn nhóm biển báo chính ở nước ta TT Tên nhóm Nội dung. - 1 Biển báo cấm. - Gồm 40 biển báo được đánh số thứ tự từ 101 đến 140 và tên tương ứng. - Các biển báo trong nhóm này biểu thị các điều cấm hoặc hạn chế mà người sử dụng đường phải chấp hành. - 2 Biển báo nguy hiểm. - Gồm 47 biển báo đượcđánh thứ tự từ 201 đến 247 và tên tương ứng. - Trong nghiên cứu này, chúng tôi tiến hành phân đoạn ảnh dựa vào màu đỏ (Red) trên các biển báo cấm và nguy hiểm. - min(R, G, B) (3) Sau khi chuyển ảnh sang không gian màu IHLS, giá trị H và S được chọn tương ứng với màu đỏ hoặc màu xanh lam trên biển báo giao thông.. - Hình 2, Hình 3 và Hình 4 lần lượt là các ảnh RGB, IHLS và ảnh trắng đen khi phân đoạn dựa màu đỏ trên biển báo.. - 2.3 Phát hiện vùng ứng viên. - Tiếp theo, chúng tôi sử dụng hàm findContours() trong thư viện OpenCV để dò biên của các đối tượng trong ảnh. - Hình 5 trình bày kết quả tìm biên của các đối tượng trong ảnh trắng đen đã trình bày ở Hình 4.. - Hình 5: Kết quả tìm biên của các đối tượng Do hình dạng của các biển báo giao thông đều là các đa giác lồi, để tìm các đa giác lồi này, hàm isContourConvex() trong thư viện OpenCV được sử dụng. - Mặc dù kích thước của vùng ứng viên biển báo giao thông thực sự có tỷ lệ w/h xấp xỉ 1 nhưng khi truy xuất các frame ảnh từ tập tin video, tỉ lệ này sẽ thay đổi tùy theo khoảng cách, thời gian và góc nhìn. - 2.4 Đặc trưng HOG. - Đặc trưng HOG được đề xuất bởi N.Dalal, et al., 2005. - Ý tưởng đặc trưng HOG xuất phát từ hình dạng và trạng thái của vật có thể được đặc trưng bằng sự phân bố về cường độ và hướng của cạnh. - Đặc trưng HOG gồm một số loại như: R- HOG, R2-HOG và C-HOG. - Stallkamp, et al., 2012 đặc trưng HOG cho phép mô tả tốt cho các dạng biển báo giao thông có hình dạng khác nhau. - Vì vậy, trong nghiên cứu này, chúng tôi sử dụng đặc trưng HOG cho mục đích trích đặc trưng biển báo phục vụ cho thao tác nhận dạng. - Nội dung kế tiếp, chúng tôi trình bày các bước thực hiện để trích đặc trưng R-HOG cho các vùng ảnh ứng viên được sử dụng trong nghiên cứu này.. - 2.4.1 Các bước trích đặc trưng HOG trên ảnh Bước 1: Tính cường độ và hướng biến thiên tại mỗi pixel bằng công thức (4), (5).. - Hình 6: Chia khối trích đặc trưng HOG. - Bước 3: Tính vectơ đặc trưng cho từng khối Tính vectơ đặc trưng từng ô trong khối. - Nối các vectơ đặc trưng ô để được vectơ đặc trưng khối. - Số chiều vectơ đặc trưng của khối tính theo công thức size feature/block =n cells *size feature/cell . - Trong đó, n cells là số ô trong khối và size feature/cell là số chiều vectơ đặc trưng của ô bằng 9 (unsigned- HOG) hoặc 18 (signed-HOG).. - Bước 4: Tính vectơ đặc trưng cho ảnh. - Chuẩn hóa vectơ đặc trưng các khối bằng một trong các công thức . - Trong các công thức trên, v là vectơ đặc trưng ban đầu của khối, v k là k-norm của v ( k = 1, 2),. - Ghép các vectơ đặc trưng khối tạo nên ảnh để được đặc trưng R-HOG cho ảnh. - Số chiều vectơ đặc trưng của ảnh tính theo công thức size feature/image. - n blocks/image * size feature/block ,với n blocks/image là khối và size feature/block là số chiều vectơ đặc trưng mỗi khối.. - 2.4.2 Áp dụng các bước trích đặc trưng HOG trên vùng ảnh ứng viên. - Mỗi vùng ảnh ứng viên ở giai đoạn trước được đưa về kích thước 32x32 và tiến hành các bước trích đặc trưng HOG.. - Số chiều vectơ đặc trưng tại mỗi ô là 9 (sử dụng 9 bin) và số chiều vectơ đặc trưng mỗi khối là 9x2x2 = 36 chiều (vì mỗi khối có 2x2 ô). - Do đó, số chiều vectơ đặc trưng của ảnh là 49x36 = 1764 chiều.. - 2.5 Phân lớp. - Phân lớp là một giai đoạn trong bài toán nhận dạng. - Trong bài báo này, mạng Nơron nhân tạo (ANNs) được dùng để huấn luyện mô hình phân lớp dữ liệu cho mục đích nhận dạng các biển báo giao thông trích ra ở giai đoạn trước.. - Tiếp theo, chúng tôi trình bày tổng quát mạng Perceptron đa tầng (MLP).. - 3 KẾT QUẢ VÀ THẢO LUẬN 3.1 Các tập dữ liệu. - Chúng tôi đã thu thập các tập dữ liệu biển báo giao thông, Bảng 2 và Bảng 3 tương ứng trình bày các tập dữ liệu dùng để huấn luyện hai mô hình phân lớp cho mục đích nhận dạng các biển báo được phát hiện ứng với phân đoạn ảnh dựa vào màu đỏ và màu xanh lam.. - Bảng 2: Tập dữ liệu 1 Mẫu Số lượng trong. - tập huấn luyện. - (lớp) Mẫu Số lượng trong tập huấn luyện. - biển báo . - Bảng 3: Tập dữ liệu 2 Mẫu Số lượng trong. - 3.2 Kết quả huấn luyện. - Đối với tập dữ liệu 1, chúng tôi huấn luyện mô hình phân lớp biển báo bằng mạng MLP 3 tầng. - Đối với tập dữ liệu 2, chúng tôi cũng dùng mạng MLP 3 tầng để huấn luyện mô hình phân lớp.. - Kết quả huấn luyện khi dùng tập kiểm tra tương ứng được trình bày ở Bảng 4 bên dưới.. - Bảng 4: Kết quả huấn luyện mạng MLP với đặc trưng HOG. - Số mẫu phân lớp đúng Số mẫu phân lớp sai Tập dữ liệu 1 Tập huấn luyện (11130 mẫu) 3130/3344. - Tập dữ liệu 2 Tập huấn luyện (5127 mẫu) 1350/1358. - (chiếm 0.59%) Ngoài ra, chúng tôi còn sử dụng thư viện. - libsvm huấn luyện mô hình phân lớp trên các tập dữ liệu, đây là một thư viện máy học vectơ hỗ trợ (SVM) được phát triển bởi Chil-Chung Chang và Chil-Jen Lin. - Giá trị các tham số của hàm svm- train trong thư viện dùng để huấn luyện trên cả hai tập dữ liệu là: -s = 0 (loại bài toán huấn luyện là. - Kết quả huấn huyện được trình bày trong Bảng 5 (Trương Hùng Chen, 2015).. - Bảng 5: Kết quả huấn luyện mô hình với SVM và đặc trưng HOG. - Số mẫu phân lớp đúng Số mẫu phân lớp sai Tập dữ liệu 1 Tập huấn luyện (11130 mẫu) 3155/3344. - Tập dữ liệu 2 Tập huấn luyện (5127 mẫu chiếm 99.63%). - Cả hai mô hình nhận dạng SVM và mạng nơron đều cho kết quả khá tốt (độ chính xác khoảng 94. - Một số hình ảnh minh họa quá trình phát hiện và nhận dạng một số biển báo hiệu giao thông được trình bày trong Hình 8. - Kết quả phát hiện và nhận dạng là khá tốt đáp ứng yêu cầu của hệ thống nhận dạng biển báo giao thông đường bộ. - Tuy nhiên, trường hợp các biển báo bị hư hỏng nặng hoặc chồng lấp nhau tương đối lớn hệ thống sẽ không phát hiện được vì bước phân đoạn ảnh sẽ không xây dựng được các đa giác lồi là các vùng ứng viên cho biển báo.. - Hình 8: Một số kết quả phát hiện và nhận dạng biển báo giao thông đường bộ. - Ảnh bên trái với các vùng ứng viên được phát hiện tương ứng ảnh bên phải là kết quả nhận dạng. - Trong nghiên cứu này, chúng tôi đã sử dụng các kỹ thuật xử lý ảnh và máy học để phát hiện và nhận dạng một số loại biển báo giao thông đường bộ ở nước ta. - Kết quả huấn luyện các mô hình máy học (mạng nơron nhân tạo và SVM) sử dụng đặc trưng HOG trên các tập dữ liệu do chúng tôi thu thập khá cao (khoảng 94. - Kết quả thực nghiệm cho thấy thời gian trung bình để phát hiện và nhận dạng các biển báo trên một frame ảnh xấp xỉ 0.021 giây khi sử dụng mô hình phân lớp với mạng nơron nhân tạo và khoảng 0.099 giây khi dùng mô hình phân lớp SVM. - Các kết quả nghiên cứu này đầy hứa hẹn và có thể áp dụng vào phát hiện và nhận dạng các biển báo giao thông trong thực tế.. - Trong tương lai, chúng tôi sẽ nghiên cứu cải tiến phương pháp phát hiện vùng ứng viên để giải quyết trường hợp các biển báo bị hư hỏng hoặc. - Đổng thời nghiên cứu so sánh và tìm đặc trưng phù hợp, tăng số lượng mẫu huấn luyện và kiểm tra để nâng cao độ chính xác của hệ thống.. - Mở rộng hệ thống để phát hiện và nhận dạng thêm các kiểu biển báo khác.. - Phát hiện và phân loại biển báo giao thông dựa trên SVM trong thời gian thực. - Phát hiện biển báo giao thông dùng đặc trưng cục bộ (local features).. - Bộ Giao thông vận tải, Bộ Khoa học Công nghệ, Tổng cục Đường bộ Việt Nam, 2015.. - Xây dựng bộ công cụ phát hiện và nhận dạng bảng hiệu điều khiển giao thông