- 39 Hình 2.17: Ví dụ nhận dạng đối tượng sử dụng LBP Escade. - 54 Hình 3.3: Sơ đồ khối quá trình nhận dạng đối tượng. - 1.2 Mục tiêu nghiên cứu Bài toán nhận diện, theo dõi đối tượng đã và đang thu hút được sự quan tâm của các nhà nghiên cứu và phát triển, đang có xu hướng được ứng dụng rộng rãi trong thực tế như việc giám sát các đối tượng chuyển động từ video, hoặc từ các camera chuyên dụng. - 1.3 Phương pháp nghiên cứu Nghiên cứu các thuật toán, phương pháp nhận dạng, theo dõi đối tượng cùng các ưu nhược điểm của các thuật toán, phương pháp này từ đó rút ra các kết luận và đề xuất phương pháp sẽ thực hiện. - 13 1.4 Đối tượng và phạm vi nghiên cứu Đối tượng: Các phương pháp, thuật toán nhận diện, thu thập dữ liệu hình ảnh đầu vào, video từ các máy quay, máy thu hình, các camera chuyên dụng… Phạm vi: Tập trung nghiên cứu, xây dựng ứng dụng mô hình nhận dạng, phát hiện và theo dõi người và các phương tiện giao thông sử dụng các camera chuyên dụng dựa trên các thuật toán, phương pháp đã nêu ra ở trên để hỗ trợ trong công tác quản lý, từ đó kiểm soát đưa ra các tình huống xử lý kịp thời đối với phương tiện lưu thông trên các điểm giao cắt phức tạp trên cả nước., các trường hợp đối với các phương tiện gây cản trở giao thông. - 1.5 Đóng góp mới của luận văn Kết quả lý thuyết: Hiểu được các khái niệm cơ bản, ưu nhược điểm về các thuật toán, công cụ, các phương pháp tìm kiếm, theo dõi mật độ đối tượng, tìm hiểu được định nghĩa, ứng dụng thuật toán LBP, thuật toán adaboost phương pháp Kalman và thuật toán Hungarian trong bài toán tìm kiếm và theo dõi đối tượng. - Trong chương này, tôi đã tìm hiểu, nghiên cứu và đưa ra một số phương pháp, thuật toán nhận diện đối tượng đang được sử dụng trên thế giới. - Trong chương này sẽ mô tả chi tiết dữ liệu đầu vào, nguyên lý hoạt động của hệ thống, quá trình phát hiện đối tượng và theo dõi đối tượng như thế nào. - 15 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VÀ ĐỀ XUẤT 2.1 Một số phương pháp nhận diện, theo dõi đối tượng và ưu nhược điểm 2.1.1 Tổng quan kiến trúc một hệ thống nhận dạng đối tượng Một bài toán nhận dạng đối tượng thông thường có bốn bước xử lý như sau. - Phát hiện đối tượng: Bước tiếp theo để phát hiện đối tượng có nhiệm vụ do tìm và định vị những vị trí đối tượng xuất hiện trong ảnh hoặc trên các chuỗi ảnh của video. - Phân lớp đối tượng: Những đối tượng thu được qua bước phát triện sẽ tiếp tục được phân lớp thành từng lớp riêng biệt để dễ nhận dạng. - Nhận dạng đối tượng có thể phân loại thành bốn hướng tiếp cận chính: Hướng tiếp cận dựa trên cở sở tri thức Mã hóa các hiểu biết của con người về đối tượng thành các luật. - Dễ dàng xây dựng các luật cơ bản để mô tả các đặc trưng của đối tượng và các quan hệ tương ứng. - Ví dụ: Để nhận dạng khuôn mặt của một đối tượng. - Đối tượng thường có hai mắt đối xứng nhau qua trục thẳng đứng ở giữa đối tượng và có một mũi, một miệng. - Thông thường các tác giả sẽ trích đặc trưng của đối tượng trước tiên để có được các ứng viên, sau đó các ứng viên này sẽ được nhận dạng thông qua các luật để biết ứng viên nào là đối tượng (face) và ứng viên nào không phải đối tượng (none-face). - Nếu các luật nhận diện này quá chi tiết thì khi nhận dạng có thể nhận dạng thiếu các đối tượng có trong ảnh, vì những đối tượng này không thể thỏa mãn tất cả các luật nhận diện đưa ra. - Nhưng các luật nhận diện tổng quát quá thì có thể chúng ta sẽ nhận dạng lầm một vùng nào đó không phải là đối tượng mà lại nhận dạng là đối tượng và cũng khó khăn mở rộng yêu cầu từ bài toán để nhận dạng các đối tượng có nhiều tư thế khác nhau. - Các tác giả cố gắng tìm các đặc trưng không thay đổi của đối tượng để nhận dạng đối tượng. - Dựa trên nhận xét thực tế, con người dễ dàng nhận biết các đối tượng trong các tư thế khác nhau và điều kiện ánh sáng khác nhau, thì phải tồn tại các thuộc tính hay đặc trưng không thay đổi. - Có nhiều nghiên cứu đầu tiên nhận dạng các đặc trưng đối tượng rồi chỉ ra có đối tượng trong ảnh hay không. - Ví dụ: Để nhận diện đối tượng với các đặc trưng như: lông mày, mắt, mũi, miệng, và đường viền của tóc được trích bằng phương pháp xác định cạnh. - Trên cơ sở các đặc trưng này, thực hiện việc xây dựng một mô hình thống kê để mô tả quan hệ của các đặc trưng này và nhận dạng sự tồn tại của đối tượng trong ảnh. - Đôi khi bóng của đối tượng sẽ tạo thêm cạnh mới, mà cạnh này lại rõ hơn cạnh thật sự của nó, vì thế nếu dùng cạnh để nhận dạng sẽ gặp khó khăn [9]. - Trong so khớp mẫu, các mẫu chuẩn của đối tượng (thường được chụp thẳng) sẽ được nhận dạng trước hoặc nhận dạng các tham số thông qua một hàm. - Thông qua các giá trị tương quan này mà các tác giả quyết định có hay không có tồn tại đối tượng trong ảnh. - Lanitis 1995 sử dụng một mẫu có thể biến dạng trong bước phát hiện đối tượng. - Một các tổng quát, các phương pháp theo hướng tiếp cận này áp dụng các kỹ thuật theo hướng xác suất thống kê và máy học để tìm những đặc tính liên quan của đối tượng và không phải là đối tượng. - Các đặc tính đã được học ở trong hình thái các mô hình phân bố hay các hàm biệt số nên dùng có thể dùng các đặc tính này để nhận dạng đối tượng. - Các tiếp cận khác trong hướng tiếp cận dựa trên diện mạo là tìm một hàm biệt số (mặt phẳng quyết định, siêu phẳng để tách dữ liệu, 18 hàm ngưỡng) để phân biệt hai lớp dữ liệu: đối tượng và không phải là đối tượng. - Hoặc dùng SVM (Support Vector Machine) và các phương thức kernel, chiếu hoàn toàn các mẫu vào không gian có số chiều cao hơn để dữ liệu bị rời rạc hoàn toàn và ta có thể dùng một mặt phẳng quyết định phát hiện các mẫu đối tượng và không phải là đối tượng. - 2.1.2 Một số phương pháp nhận dạng đối tượng và ưu nhược điểm 2.1.2.1 Phương pháp Background subtraction Định nghĩa và phương pháp background subtraction Background Subtraction là một kỹ thuật trong xử lý ảnh được dùng để phát hiện và tách phân biệt được đối tượng trong ảnh ra khỏi cảnh tĩnh phía sau nhằm mục đích hậu xử lý như nhận diện các đối tượng, các cử chỉ, chuyển động… trong video. - Cách thực hiện này sẽ chỉ làm việc trong trường hợp các tiền cảnh, đối tượng là di chuyển và hậu cảnh là tĩnh (static background). - Ưu điểm: Có thể triển khai nhúng được trên camera có chip yếu - Hạn chế: Khả năng nhận diện khó trong môi trường có cường độ ánh sáng mạnh sẽ khó tách được đối tượng ra khỏi cảnh vật. - 2.1.2.2 Đặc trưng Haar-like và máy phân lớp Cascade of Adaboost Đặc trưng Haar-like Các đặc trưng Haar-like là các hình chữ nhật đen trắng để xác định khuôn đối tượng gồm có 4 đặc trưng cơ bản: 20 Hình 2.1 Bốn đặc trưng Haar like cơ bản Từ các đặc trưng cơ bản trên của đặc trưng haar – like đã được mở rộng và phân chia thành 3 dạng đặc trưng mở rộng bao gồm: Hình 2.2: Các đặc trưng cạnh Hình 2.3: Các đặc trưng đường Hình 2.4 Các đặc trưng quanh tâm Từ các đặc trưng trên, ta có thể tính được giá trị đặc trưng haar –like dựa trên sự chênh lệch của tổng các pixel của vùng đen và vùng trắng [6]. - Bước 4: So sánh giá trị đặc trưng haar like với ngưỡng cho trước, nếu lớn hơn ngưỡng thì đó là đối tượng và ngược lại. - Ưu điểm và sự hạn chế đặc trưng haar-like và khi nhận dạng đối tượng Ưu nhược điểm: 22 Ưu điểm: mô hình thực hiện haar like mô tả tốt đối với các đặc trưng đối tượng ở chính diện. - Mô hình cũng có khả năng nhận được các đối tượng có góc quay so với trục đọc là 45 độ và 15 độ so với trục ngang. - Không rõ ràng về mức xám giữa nền và đối tượng cũng làm cho hiệu quả vị giảm. - Không phản ánh được đối tượng nghiêng (Tức là đối tượng chỉ nhìn thấy một bên mắt) và đối tượng bị quay ngang. - 2.1.2.3 Đặc trưng HOG và phương pháp máy học SVM Định nghĩa và nhận diện đối tượng sử dụng HOG và SVM Histogram of gradient (HOG) là một đặc trưng được sử dụng trong công nghệ máy tính và xử lý ảnh nhằm mục đích phát hiện đối tượng. - Đặc trưng HOG có một số biến thể như R-HOG, R2-HOG, C-HOG 23 Từ một ảnh cho trước, sau quá trình rút trích đặc trưng trên ảnh đó cho ta một vector đại diện cho đối tượng đó. - Các bước để rút trích đặc trưng HOG của đối tượng như sau [7]: Bước 1: Chuẩn hóa hình ảnh trước khi xử lý - Bước này cần chuẩn hóa hình ảnh, chuyển các ảnh TGB sang ảnh GRAY SCALE, sau đó tiến hành cân bằng histogram trên ảnh GRAY SCALE để cắt giảm đi ảnh hưởng của sự thay đổi ánh sáng. - Trung tâm nhiệm vụ xử lý và nhận diện đối tượng nào đang sử dụng Kiosk này và đưa ra các hướng xử lý khi có sự cố xảy ra. - Mỗi khi có đối tượng qua tầm kiểm soát của camera, hình ảnh người sẽ được xử lý, cập nhật, lưu trữ và đưa về trung tâm điều hành. - Từ trung tâm có thể quan sát mọi hoạt động của đối tượng trên các Kiosk khác nhau, từ đó đưa ra các giải pháp xử lý cho phù hợp. - Ngoài việc theo dõi, các camera có thể phát hiện các trường hợp vi phạm với mục đích xấu, ghi lại các vị trí của đối tượng trong phạm vi theo dõi của camera. - Hình 2.17: Ví dụ nhận dạng đối tượng sử dụng LBP Escade Bởi khả năng phân tách và chi phí tính toán thấp, LBP trở lên phổ biến trong nhận dạng. - 2.2.1.2 Máy phân lớp Cascade of Adaboost Nhận dạng đối tượng với thuật toán AdaBoost sử dụng phương pháp nhận dạng đối tượng bằng thuật toán theo kỹ thuật boosting với thuật toán AdaBoost đã và đang được coi là một phương pháp hiệu quả, vừa đảm bảo tốc độ nhận dạng vừa có độ chính xác cao. - Violas và Jones áp dụng thành công trong việc xây dựng một bộ 41 phát hiện đối tượng nhanh bằng cách dùng thuật toán AdaBoost kết hợp các bộ phân loại yếu sử dụng các đặc trưng Haar-like theo mô hình cascade. - Trích xuất bốn đặc trưng bằng cách sử dụng bộ mặt nạ như hình dưới để phát hiện đối tượng. - Có thể nói, phương pháp này được công nhận là một trong những bước đột phá lớn của lĩnh vực máy học tính nói chung và phát hiện đối tượng nói riêng. - Schneiderman và Kanade cải tiến thành công bằng cách dùng wavelet để trích đặc trưng rồi xây dựng hệ thống học với thuật toán Adaboost, dựa trên xác suất và histogram để xác định đối tượng người. - Chen ước lượng tham số ảnh để điều chỉnh ánh sáng cho phù hợp với các mẫu bằng SVM, sau cùng dùng Adaboost để xác định đối tượng người với tư thế chụp thẳng, tỷ lệ chính xác là 89,7%. - Một cách tiếp cận nhận dạng đối tượng khác đã được giới thiệu bởi Dorko và Schmid đó là dựa trên việc xây dựng và lựa chọn các thành phần bất biến và áp dụng AdaBoost để học cách phân loại. - Một phương pháp phân loại đối tượng mới đã được giới thiệu bởi Thureson và Carlsson trong là dựa trên histogram của ảnh. - Carbonetto và các đồng sự tiếp cận nhận dạng đối tượng theo ngữ cảnh dựa trên một hình ảnh phân đoạn kết hợp thuật toán huấn luyện AdaBoost. - Bởi vì trong các ảnh, mẫu cửa sổ thật sự là đối tượng không nhiều, thậm chí là rất ít so với nhưng cửa sổ không phải là đối tượng. - Ý tưởng: sử dụng một chuỗi các bộ phân lớp từ đơn giản đến phức tạp để loại trừ dần những mẫu, cửa sổ được nhận diện không phải là đối tượng. - Sau đó những cửa sổ được nhận là đối tượng sẽ đi tiếp tới bộ phân lớp tiếp theo. - Sau khi qua tất cả chuỗi các phân lớp, những mẫu, cửa sổ nào còn lại sẽ được coi là đối tượng. - Detection Rate: Số lượng các vùng được nhận dạng là đối tượng và đúng / Số lượng đối tượng thật sự trong ảnh. - False Positive Rate: Số lượng các vùng được nhận dạng là đối tượng và sai / Số lượng các vùng được nhận dạng là đối tượng. - 43 Ưu điểm của LBP và adaboost cho việc nhận dạng đối tượng. - Bài luận văn cung cấp thực tế về bộ lọc Kalman và thực hiện bài toán theo dõi đối tượng (phương tiện giao thông) trong hệ thống thời gian thực. - Phương pháp Hungarian được áp dụng trong bài toán phân n công việc cho n đối tượng một cách hợp lý nhất [2]. - 2.3 Kết luận chương Trong chương này luận văn nếu nên tổng quan các phương pháp nhận dạng đối tượng và các ưu nhược điểm cơ bản của các phương pháp đó. - 52 CHƯƠNG 3: THIẾT KẾ VÀ XÂY DỰNG HỆ THỐNG 3.1 Mô tả bài toán, nguyên lý hoạt động của hệ thống Sơ đồ tổng quan của hệ thống nhận dạng và theo dõi đối tượng: Theo dõi đối tượng qua các liên ảnhĐánh dấu, đo đếm đối tượngNhận dạng đối tượngDữ liệu video đầu vàoThông tin, kết quả đo đếm, theo dõi mục tiêuVideo trên các camera chuyên dụng (giao thông, Kiosk. - Hình 3.1: Sơ đồ hệ thống tổng quan của hệ thống Khi dữ liệu video được trích xuất và nén theo chuẩn nén h.264 và chuẩn ONVIF từ các camera, sau đó dữ liệu video đầu vào được qua bước xử lý tác ra thành từng frame ảnh liên tiếp nhau, bước tiếp theo sử dụng phương pháp LBP và Escade of adaboost để nhận dạng đối tượng. - Việc theo dõi (tracking) đối tượng theo từng frame sử dụng bộ lọc Kalman và thuật toán hungarian. - Cuối cùng để đo, đếm đối tượng tôi tạo ra một đường thẳng ảo vào từng frame trong video. - 3.1.1 Nhận diện đối tượng chuyển động Nhận điện đối tượng chuyển động là việc phát hiện vị trí của đối tượng dựa trên video của camera như kích thước xe, khoảng cách của xe với camera, góc quay của xe. - 3.1.2 Rút trích đặc trưng Để rút trích đặc trưng LBP của đối tượng (người và phương tiện giao thông như ô tô, xe máy), tôi sử dụng hai thư viên Opencv để tiến hành huấn luyện dữ liệu với 53 đặc trưng LBP, quá trình này thu được tập tin car.xml và motorbike.xml, các tập tin này chứa các đặc trưng LBP của phương tiện ở phía sau. - 54 Training_CascadeẢnhTồn tại người và phương tiệnVẽ hình chữ nhật quanh vùng biên của ảnh và trả về tọa độ các vị trí, kích thước của biênSử dụng opencv_createsamples tạo tập tin *.vec chứa hình ảnh mẫuĐúngĐặc trưng LBP của đối tượng(car.xml, motorbike.xml)Sử dụng opencv_traincascade để huấn luyện đặc trưng LBPTạo tập tin chứ dữ liệu không phải là phương tiện(notCar.txt, notMotobike.txt)Sai` Hình 3.2: Sơ đồ quá trình huấn luyện bộ dữ liệu đặc trưng LBP 55 Quá trình huấn luyện đặc trưng LBP tạo ra file car.xml và motorbike.xml như sau: Bước 1: Vẽ hình chữ nhật quanh đối tượng và tạo ra hai file car.txt và motorbike.txt với thông tin mỗi dòng chứa đường dẫn chứa ảnh, số đối tượng trong ảnh, tọa độ (x, y) góc trái phía trên đối tượng, chiều rộng, chiều cao đối tượng. - Tạo hai file notCar.txt và notMotorbike.txt chưa thông tin đường dẫn không phải đối tượng. - /../car001.jpg notCar001.jpg Bước 2: Tạo tập tin car.vec dạng nhị phân chứa số lượng mẫu, độ rộng, chiều cao, phần thân chứa ảnh đối tượng sử dụng lệnh opencv_createsamples. - Bước 3: Thực hiện quá trình huấn luyện nhận dạng đối tượng lệnh opencv_traincascade (có thể sử dụng lệnh opencv_harrtraining để huấn luyện với các đặc trưng Haar like). - Việc huấn luyện đối tượng sử dụng đặc trưng LBP nhanh hơn Haar like nhưng chất lượng của tập dữ liệu gần bằng khi huấn luyện vằng Haar like (Phụ thuộc vào cách dùng các tham số huấn luyện). - 3.1.3 Quá trình phát hiện đối tượng Ảnh, car.xml, motorbike.xmlVideo, car.xml, motorbike.xmlNhận dạng đối tượng vào biên trong ảnh Video mô phỏng sau khi đã khoanh vùng đối tượng Hình 3.3: Sơ đồ khối quá trình nhận dạng đối tượng 56 Sau khi thu được tập file lưu trữ đặc trưng LBP của đối tượng car.xml và motorbike.xml từ việc huấn luyện dữ liệu ảnh. - Ta sử dụng hai file này kết hợp với tập dữ liệu ảnh đầu vào liên tiếp (trích xuất từ video đầu vào) để nhận dạng đối tượng sử dụng hàm detectMultiScale của opencv để nhận dạng. - Cuối cùng khoanh vùng đối tượng đã nhận dạng trong từng frame ảnh để thu được tập dữ liệu frame ảnh đầu ra (Các ảnh đầu ra đã được khoanh vùng đối tượng nhận dạng). - 3.1.4 Các điều kiện theo dõi phương tiện Bằng việc sử dụng các luật theo dõi đối tượng sau khi nhận dạng sử dụng một đường thẳng ảo được đánh dấu giống nhau qua từng frame ảnh. - Vị trí và khoảng cách của camera đến đối tượng cần theo dõi - Cấu hình ảnh thu nhận đầu vào của camera… 3.2 Mô tả dữ liệu thực nghiệm Dưới đây là một số dữ liệu dữ liệu hình ảnh thu thập được sử dụng thuật toán LBP và máy phân lớp Cascade of Adaboost. - Kết quả này sẽ được sử dụng trong việc nhận diện và theo dõi đối tượng như bài toán đã trình bày. - Video sẽ sử dụng một số ảnh liên tiếp sau để dựa theo file training.xml để thực hiện quá trình xử lý như tách ảnh, nhận điện đối tượng sau đó theo dõi đối tượng trong một phạm vi nhất định của khung ảnh. - 3.3 Tiêu chí đánh giá Từ tập dữ liệu đầu vào, sau khi thực hiện quá trình phân tách dữ liệu, nhận diện đối tượng sẽ đưa ra một số tiêu chí đánh giá sau. - Tỉ lệ training đối tượng trong ảnh phụ thuộc vào tỉ lệ nhỏ nhất và tỉ lệ lớn nhất của đối tượng trong video (khoảng cách từ camera tới đối tượng. - Đối tượng bị khuất bởi các đối tượng di chuyển khác - Tỉ lệ góc khuất của đối tượng và camera ghi hình. - Đây là độ phân giải được thiết lập và sử dụng để có thể nhận diện được đối tượng. - 62 Trường hợp đối tượng vẫn chưa nhận diện: Hình 3.7: Kết quả nhận diện chưa được khắc phục được trong video 63 Từ kết quả cho thấy, một số trường hợp không nhận được diện và không theo dõi được đối tượng do một số nguyên nhân sau. - Kích thước của đối tượng nhận diện nằm ngoài vùng kích thước cấu hình trong file dữ liệu cấu hình xml. - Khi hai đối tượng quá sát dẫn đến che lấp nhau và cùng tốc độ sẽ xảy ra trường hợp bị nhận diện không đúng. - Tỷ lệ đối tượng quá lệch so với tỷ lệ trong file dữ liệu cấu hình xml. - 3.5 Tổng kết Bài toán đã nghiên cứu một số kỹ thuật, phương pháp phát hiện đối tượng và theo dõi, đánh dấu đối tượng. - Sau khi xác định đượng vị trí được đối tượng theo dõi, hệ thống xử lý cho kết quả đếm được số lượng phương tiện giao thông, phân loại đối tượng là ô tô hoặc xe máy. - Các phương pháp nhận dạng đối tượng như phương pháp Background subtraction, sử dụng đặc trưng haar-like, đặc trưng HOG, máy phân lớp Cascade of adaboost, phương pháp máy học SVM, bộ lọc Kalman, thuật toán Hungarian… Mỗi phương pháp có điểm mạnh và hạn chế riêng khác nhau và có thể sử dụng cho từng loại đối tượng, mục đích phù hợp với từng yêu cầu. - Luận văn đã đưa ra được hướng tiếp cận ứng dụng của bộ lọc Kalman trong bài toán theo dõi đối tượng, bám đối tượng kết hợp với các phương pháp trích chọn đặc trừng LBP và máy phân lớp cascade of adaboost để theo dõi đối tượng đang chuyển động. - 4.2 Hướng phát triển Dựa theo kết quả nghiên cứu của đề tài, do những hạn chế về kinh nghiệm và thời gian thực hiên đề tài, chương trình được xây dựng chỉ phát hiện chuyển động và theo mục tiêu, đối tượng dựa trên video. - Đối với những đối tượng như xe tải, xe 65 container thì khó nhận diện hơn, hoặc trong trường hợp nhưng xe đi liên kề nhau thì rất khó để tách các xe đó ra với camera có góc quay nhỏ. - Kết hợp việc phát hiện đối tượng và biển số xe, hình dáng của người, phát hiện chủ phương tiện đã vi phạm khi tham gia giao thông
Xem thử không khả dụng, vui lòng xem tại trang nguồn hoặc xem
Tóm tắt