- PHẠM ANH TUẤN NGHIÊN CỨU VÀ PHÁT TRIỂN GIẢI THUẬT PHÁT HIỆN VÀ THEO VẾT NGƯỜI TRÊN MỘT MẠNG CAMERA Chuyên ngành Công nghệ thông tin LUẬN VĂN THẠC SĨ KỸ THUẬT CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS. - TÌM HIỂU CÁC BÀI TOÁN LIÊN QUAN VỀ PHÁT HIỆN VÀ THEO VẾT NGƯỜI TRONG MỘT MẠNG CAMERA. - Phát hiện và theo vết người trên một camera. - Các nghiên cứu liên quan về bài toán phát hiện người. - Các nghiên cứu liên quan về theo vết đối tượng. - Phát hiện và theo vết người trong mạng camera. - PHƯƠNG PHÁP PHÁT HIỆN NGƯỜI TRÊN MỘT CAMERA. - Phương pháp phát hiện người sử dụng các kỹ thuật trừ nền. - Phát hiện và khử bóng. - Khử bóng sử dụng ngưỡng tỷ lệ chiều cao và chiều rộng của đối tượng. - Phát hiện và theo vết đối tượng. - Phát hiện đối tượng người sử dụng HOG - SVM. - Theo vết đối tượng. - KẾT QUẢ THỬ NGHIỆM. - Đánh giá hiệu quả việc kết hợp bộ phát hiện HOG+SVM sau khi trừ nền. - Minh họa bài toán phát hiện người trong ảnh. - Minh hoạ kết quả bài toán theo vết người. - Đối tượng được xác định lên trên nhiều khung hình camera. - 27 Hình 1.10. - Các bước chính của bài toán phát hiện và theo dõi đối tượng người 30 Hình 2.1. - Sơ đồ phương pháp đề xuất phát hiện và theo vết người trên một camera. - (a) Box màu đỏ đánh dấu vùng người phát hiện dựa trên blob của ảnh đã trừ nền. - (b) Ảnh kết quả trừ nền. - 43 Hình 2.10. - Đối tượng được phát hiện bao gồm cả bóng. - 44 Hình 2.11. - Kết quả phát hiện đối tượng với bóng đã được tách. - 45 Hình 2.12. - 47 Hình 2.13. - 47 Hình 2.14. - 48 7 Hình 2.15. - Hàng 3: kết quả phát hiện các pixel bóng . - 48 Hình 2.16. - 49 Hình 2.17. - 50 Hình 2.18. - 50 Hình 2.19. - 51 Hình 2.20. - Kết quả phát hiện người sử dụng HOG và SVM với Threshold=1.0 52 Hình 2.21. - 53 Hình 2.22. - Quá trình thu thập ảnh và kết quả phát hiện các góc của chessboard tại Cam1 được sử dụng cho Calibration. - Ảnh dưới: Vị trí các điểm trên chessboard được phát hiện. - 63 Hình 3.10. - 63 Hình 3.11 Hình chiếu Bird-eye-view từ ảnh quan sát của các camera Cam1 và Cam2 như minh họa trong Hình 3.10. - 64 Hình 3.12. - Kết quả biến đổi ngược của ma trận H, phát hiện các điểm giao nhau giữa các viên gạch. - 64 Hình 3.13. - 64 Hình 3.14. - 65 Hình 3.15. - người phát hiện được khoanh bao bằng 1 hình chữ nhật. - 65 Hình 3.16- Kết quả vẽ hành trình (đường đỏ) của một người di chuyển trong môi trường. - Kết quả kết hợp trừ nền và bộ phát hiện HOG + SVM. - Hàng 3: Kết quả áp dụng bộ phát hiện HOG + SVM . - Bối cảnh và lí do chọn đề tài Bài toán phát hiện và theo vết người sử dụng một mạng camera hình ảnh có nhiều ứng dụng trong giám sát đối với cả môi trường công cộng và môi trường có yêu cầu về an ninh. - Để xây dựng các ứng dụng này, các lĩnh vực nghiên cứu liên quan đến bài toán phát hiện và theo vết người sử dụng trên một camera đã nhận được nhiều sự quan tâm của các nhà nghiên cứu trong lĩnh vực thị giác máy tính, học máy, tự động hóa. - Hai hướng nghiên cứu chính đó là: bài toán phát hiện cho phép xác định sự tồn tại của người trong khung hình thu nhận được ở trong camera, trong khi đó bài toán theo vết cho phép kết nối các vùng phát hiện được của cùng một đối tượng ở các khung hình khác nhau, hoặc giữa các camera khác nhau khi điều kiện về môi trường thay đổi (như che khuất, thay đổi tỉ lệ. - Bài toán phát hiện và theo vết đối tượng nói chung và đối tượng người nói riêng trên một mạng camera mạng camera ngoài phải giải quyết hai nội dung nghiên cứu trên, còn cần phải có các nội dung nghiên cứu khác như: phối ghép các góc nhìn từ nhiều camera. - Xuất phát từ những cơ sở khoa học trên, đề tài tập trung vào việc xây dựng và phát triển giải thuật phát hiện và theo vết người trong một mạng camera. - Trong đó phương pháp đề xuất sẽ có thể phát hiện nhanh chóng, chính xác đối tượng người sử dụng kết hợp luồng dữ liệu hình ảnh thu thập kết hợp từ nhiều camera. - Nhiệm vụ đặt ra Mục đích của đề tài nhằm nghiên cứu thuật toán phát hiện và theo vết người đang chuyển động trên một mạng camera, từ đó xây dựng chương trình hỗ trợ với các chức năng sau. - Phát hiện người và theo vết người trên một mạng camera. - Tìm hiểu và đánh giá các giải thuật phát hiện và theo vết người. - Những đóng góp chính của luận văn Đề tài tập trung nghiên cứu các kỹ thuật phù hợp của thị giác máy tính để thực hiện phát hiện và theo bám, phối ghép thông qua mạng cảm biến camera. - Kết hợp hiệu quả các kỹ thuật trừ nền, khử bóng và phát hiện người sử dụng bộ phát hiện người HOG (Histogram of Gradient). - Tìm hiểu các bài toán liên quan về phát hiện và theo vết người trong một mạng camera: Chương này trình bày những tìm hiểu các hướng nghiên cứu cơ bản trong nước và quốc tế về bài toán phát hiện và theo vết người trong một mạng camera. - Thuật toán phát hiện và định danh lại đối tượng (người) khi quan sát trên các camera khác nhau. - Thuật toán theo vết đối tượng trong một mạng camera. - Phương pháp phát hiện người sử dụng một camera: Chương này đầu tiên trình bày về các thiết lập môi trường của bài toán nghiên cứu. - Để giải quyết vấn đề này, nội dung nghiên cứu của chương này sẽ đề xuất giải pháp cho việc phát hiện người sử dụng một camera trong mạng. - Các kỹ thuật bao gồm: Phát hiện người di chuyển sử dụng các kỹ thuật trừ nền. - Phương pháp kết hợp giữa phát hiện người sau khi trừ nền và mô hình đặc trưng HOG và bộ phân lớp SVM. - Phương pháp theo vết người trên một mạng camera: Sử dụng kết quả về phát hiện người từ một camera trong Chương 4, chương này trình bày về các kỹ thuật đề xuất cho việc theo vết người (đối tượng cần quan tâm) từ các quan sát của các camera khác nhau trong mạng. - Theo vết đối tượng cần quan tâm. - TÌM HIỂU CÁC BÀI TOÁN LIÊN QUAN VỀ PHÁT HIỆN VÀ THEO VẾT NGƯỜI TRONG MỘT MẠNG CAMERA 1.1. - Phát hiện và theo vết người trên một camera Phát hiện và theo vết người từ camera là một trong những chủ đề nghiên cứu sôi nổi nhất trong lĩnh vực thị giác máy tính do khả năng ứng dụng rộng rãi của nó trong các ứng dụng khác nhau như theo vết giám sát, đánh chỉ mục dựa trên nội dung hay tương tác người máy. - Các nghiên cứu liên quan về bài toán phát hiện người Bài toán phát hiện người trong ảnh là bài toán phát hiện sự có mặt của người xuất hiện trong ảnh, nếu có xác định vị trí của họ với một ảnh cho trước. - Hình 1.1 minh họa kết quả của bài toán phát hiện người trong ảnh [1]. - Thông thường, bài toán phát hiện người cho phép khởi tạo các bộ theo vết hoặc tạo các liên kết quan sát đối tượng trong quá trình theo vết. - Minh họa bài toán phát hiện người trong ảnh Mặc dù đã thu hút được nhiều sự quan tâm của các nhà nghiên cứu từ nhiều thập kỷ qua, bài toán phát hiện đối tượng vẫn còn nhiều thách thức do. - Sự che khuất, hoặc có nhiều đối tượng xuất hiện trên phông nền phức tạp. - Phương pháp phát hiện người được chia thành hai hướng tiếp cận chính. - Sau đó, các thuật toán nhận dạng đối tượng sẽ được 13 áp dụng trên các vùng được xem là có người. - Hình 1.2 sẽ biểu diễn sơ đồ khối của hướng tiếp cận thứ nhất. - Một đường biên đóng rõ ràng trong không gian + Sự khác biệt của đối tượng với môi trường xung quanh + Đôi khi, đối tượng là duy nhất và nổi bật trong ảnh Phát hiện đối tượngNhận dạng đối tượngẢnh, khung hình thu nhận được từ cameraBòNgườiVùng chứa đối tượng và nhãn của đối tượng Hình 1.2. - Hướng tiếp cận thứ hai: Các tác giả thực hiện huấn luyện các bộ phân loại nhị phân: có đối tượng quan tâm và không có đối tượng quan tâm. - Như vậy ứng với bài toán cần phát hiện N đối tượng ta phải tiến hành xây dựng N bộ phân lớp. - 14 Phát hiện và nhận dạng đối tượngẢnh, khung hình thu nhận được từ cameraVùng chứa đối tượng và nhãn của đối tượngBòNgười Hình 1.3. - Hình 1.4 giới thiệu một bài toán thuộc hướng tiếp cận này. - Bài toán nhằm phát hiện các xe có trong ảnh. - Tùy thuộc vào từng đối tượng quan tâm mà người ta sẽ xây dựng các bộ phân lớp và trích chọn các đặc trưng phù hợp. - Bài toán phát hiện mặt người [17] hay phát hiện người [6] cũng là các bài toán đi theo hướng tiếp cận này. - Việc phân chia các phương pháp phát hiện và nhận dạng theo hai hướng tiếp cận cho phép làm rõ trật tự thực hiện của từng công việc trong các phương pháp. - Các nghiên cứu liên quan về theo vết đối tượng Bài toán theo vết người trong video hay từ camera được định nghĩa như sau: Theo vết đối tượng ảnh trong video (object tracking) là thực hiện dự đoán quỹ đạo chuyển động của đối tượng trên mặt ảnh phẳng khi đối tượng đó di chuyển. - Các phương pháp theo vết đối tượng người thường gặp một số khó khăn như. - Do cùng một cá thể người nhưng thể hiện ở các khung hình liên tiếp lại rất khác nhau gây khó khăn cho việc gán quan sát đối tượng. - Như vậy, để thực hiện việc theo vết, tại mỗi frame video phải có dữ liệu quan sát về đối tượng. - Dữ liệu này thường lấy được thông qua các bộ phát hiện đối tượng (object detectors). - Hình 1.5 minh họa kết quả của bài toán theo vết người [1]. - Minh hoạ kết quả bài toán theo vết người Tùy thuộc vào mục đích ứng dụng, theo vết đối tượng ảnh trong video có thể chia thành hai trường hợp: bài toán theo vết một đối tượng (single object tracking) và bài toán theo vết nhiều đối tượng (multiple object tracking). - Đối với trường hợp theo vết một đối tượng, việc gán quan sát đối tượng được thực hiện một cách dễ dàng. - Bài toán theo vết nhiều đối tượng thường gặp hơn trong thực tế, do các ứng dụng đòi hỏi giám sát nhiều hơn một đối tượng cùng một lúc rất phổ biến
Xem thử không khả dụng, vui lòng xem tại trang nguồn hoặc xem
Tóm tắt