- ỨNG DỤNG KỸ THUẬT THEO DÕI ĐỐI TƯỢNG CHO BÀI TOÁN NHẬN DẠNG HÀNH VI CỦA KHÁCH HÀNG TRONG SIÊU THỊ Trần Thị Hồng Ân, Phạm Nguyên Khang và Trần Minh Tân. - Nhận dạng hành vi, phân tích hoạt động, theo dõi đối tượng, video giám sát. - Chúng tôi trình bày mô hình sử dụng các kỹ thuật theo dõi đối tượng để phân loại hoạt động của khách hàng trong siêu thị. - Với hình ảnh thu được từ camera giám sát, hệ thống có thể nhận dạng được hầu hết các đối tượng là người đi vào vùng quan sát, theo dõi họ để có được quỹ đạo đường đi và thời gian lưu lại vùng quan sát. - Ngoài ra, trong bài báo, chúng tôi đề xuất các cải tiến nhằm cải thiện tốc độ của giải thuật theo dõi đối tượng trong trường hợp theo dõi nhiều đối tượng cùng lúc. - Ứng dụng kỹ thuật theo dõi đối tượng cho bài toán nhận dạng hành vi của khách hàng trong siêu thị. - Việc xây dựng hệ thống nhận dạng hành vi đối tượng thông qua việc áp dụng kỹ thuật theo dõi đối tượng qua camera xuất phát từ nhu cầu đó.. - Hệ thống theo dõi đối tượng nhận vào các khung hình video thu nhận từ các camera, qua một số bước xử lý, phân tích và cuối cùng là đưa ra quỹ đạo đường đi của đối tượng theo thời gian làm cơ sở cho việc tiếp theo là nhận biết hành vi. - Bắt đầu là quá trình phát hiện đối tượng chuyển động trong các khung hình. - Sau đó các đối tượng này sẽ qua quá trình phân lớp để phân biệt các đối tượng thuộc lớp nào, sự vật nào như: con người, xe, mây bay, cây lắc lư. - Tiếp theo là quá trình xử lý để theo vết nhằm tìm ra đường chuyển động của đối tượng, từ đó có thể phân tích, nhận biết hành vi của đối tượng. - Hình 1 giới thiệu mô hình theo dõi đối tượng chuyển động, trong đó mỗi bước là một lĩnh vực nghiên cứu rộng lớn.. - Hình 1: Mô hình theo dõi đối tượng chuyển động (Ragland &. - Tharcis, 2014) 2 THEO DÕI ĐỐI TƯỢNG THEO GIẢI THUẬT CMT (CONSENSUS-BASED TRACKING AND MATCHING). - biểu diễn cho đối tượng đang theo dõi càng chính xác càng tốt.. - Mô hình hình dáng tĩnh dựa trên mô hình hình dáng khởi tạo của đối tượng được tạo nên từ bộ mô tả của tập các keypoint. - Tuy nhiên, mô hình này không thể phát hiện thêm các keypoint mới cho đối tượng đang được theo dõi.. - Ý tưởng chính là sử dụng độ đo D phản ánh sự khác nhau giữa các tương ứng m i và m j dựa trên khả năng tương thích hình học của chúng, điều này phản ánh trực tiếp sự biến dạng của đối tượng. - xuống có sử dụng ngưỡng . - Giả sử là cụm lớn nhất chứa các keypoint liên quan đến đối tượng.. - (4) 2.3 Tránh nhầm lẫn cho các tương ứng Bộ mô tả hình dáng tương tự nhau trên nhiều phần của đối tượng hoặc nền dẫn đến vấn đề chính của việc so khớp dựa trên các bộ mô tả (Hình 2). - kết hợp với các keypoint đã được loại bỏ sự nhầm lẫn trong lần so khớp thứ hai sẽ hình thành tập chứa tất cả các keypoint thuộc đối tượng đang theo dõi trong khung ảnh t.. - bộ mô tả. - Tiêu chuẩn đầu ra của giải thuật theo dõi là một hình chữ nhật bao quanh đối tượng. - Vì vậy, chúng ta tính toán tâm của đối tượng theo công thức:. - Với các thông số tâm đối tượng µ, tỷ lệ s, và góc quay α tư thế của đối tượng đang theo dõi được xác định tương tự như giải thuật CMT.. - 3 MÔ HÌNH HỆ THỐNG. - Hình ảnh thu nhận từ camera giám sát sẽ được chuyển đến hệ thống phát hiện đối tượng đi vào vùng quan sát, thông tin đối tượng kích hoạt hệ thống khởi động bộ theo dõi đến khi đối tượng biến mất (bị che khuất) hoặc rời khỏi vùng quan sát, tiếp theo thông tin quỹ đạo thu được từ bước theo dõi sẽ chuyển qua giai đoạn nhận dạng hoạt động (hành vi) của khách hàng là có quan tâm đến gian hàng đang được trưng bày hoặc không.. - Hình 3: Các bước chính trong mô hình theo dõi đối tượng và nhận dạng hành vi Ở Hình 3, hệ thống gồm có các giai đoạn chính:. - nhận thông tin đầu vào từ video giám sát, phát hiện đối tượng (người trong siêu thị), theo dõi với giải thuật CMT, nhận dạng hành vi.. - 3.1 Phát hiện người. - Kết quả của bước này là một danh sách các khung hình chữ nhật bao quanh đối tượng phát hiện được trong khung hình hiện tại. - Tuy nhiên, một số đối tượng sẽ không nằm trong phạm vi của khu vực cần quan sát hoặc là đối tượng đã được phát hiện từ khung hình trước.. - Vấn đề đặt ra ở đây là “Làm sao phân biệt được đối tượng nào là đối tượng mới phát hiện lần đầu và đối tượng nào đã được phát hiện ở khung hình trước và đang được theo dõi ở khung hình hiện tại?”. - Mô hình hệ thống chi tiết. - Video giám sát Phát hiện người Theo dõi với giải thuật. - CMT Nhận dạng hoạt động sử dụng SVM Bắt đầu. - Phát hiện đối tượng. - Theo dõi (CMT) Xuất hiện đối. - sai Mô hình. - Nhận dạng hành vi Mô hình. - Hình 4: Mô hình chi tiết hệ thống theo dõi đối tượng qua camera giám sát và nhận dạng hành vi Để giải quyết vấn đề này, chúng tôi đề xuất một. - phương pháp dựa trên độ chồng lấp của khung bao đối tượng, độ chồng lấp được tính toán bằng diện tích chồng lấp của 2 hình chữ nhật: một là kết quả của đối tượng mới được phát hiện và một thể hiện cho đối tượng đang được theo dõi.. - Độ chồng lấp sẽ có một ngưỡng để phân biệt, nếu vượt khỏi ngưỡng này thì xem như đối tượng đã được phát hiện trước đó và ngược lại đây là đối tượng mới. - Để xác định được ngưỡng này, chúng ta cần xem xét dựa trên môi trường cài đặt hệ thống, ở những môi trường có mật độ xuất hiện các đối tượng dày đặc, đan xen lẫn nhau thì chúng ta sử dụng ngưỡng thấp (<50. - nếu như ở môi trường thông thoáng, các đối tượng trong ảnh ít bị che khuất thì cần đặt thông số ngưỡng cao (>50%) (Hình 5).. - Phát hiện đối tượng trong ảnh một cách chính xác là một bài toán có lịch sử lâu đời, tuy nhiên các phương pháp nhận dạng chủ yếu dựa trên các mô tả đặc trưng cục bộ. - Hình 5: Mô tả độ chồng lấp (a: trên, b: dưới) Hình 5a bên trái là khung hình đầu tiên của video, bộ phát hiện cho kết quả là 2 đối tượng được khoanh vùng màu đen (hình a, bên trái), do đối tượng không chồng lấp lên đối tượng đang theo dõi nên đây là đối tượng mới phát hiện. - Ở Hình 5a bên phải, bộ phát hiện vẫn phát hiện được 2 đối tượng như khung hình 5a trái, nhưng do 2 đối tượng này chồng lấp khung hình màu trắng (kết quả của giải thuật theo dõi) nên đây không phải là đối tượng mới xuất hiện.. - 3.2 Theo dõi đối tượng. - Sau khi phát hiện đối tượng mới xuất hiện đi vào vùng quan sát, việc khởi tạo bộ theo dõi được kích hoạt và thực hiện việc theo vết đối tượng ở khung hình tiếp theo. - Việc theo dõi lúc này không đơn thuần là một đối tượng mà là nhiều đối tượng cùng lúc. - 1) Khởi tạo bộ theo dõi cho từng đối tượng phát hiện và tính toán mô tả các đặc trưng cục bộ. - Giải thuật CMT của tác giả G. - Pflugfelder, 2014) sử dụng bộ phát hiện đặc trưng FAST (Rosten &. - 2) Truy vết các đặc trưng cục bộ của từng đối tượng trong khung ảnh trước đó bằng phương pháp luồng quang học (optical flow (Lucas et al., 1981)).. - Mục tiêu là xác định vị trí của các điểm đặc trưng đại diện cho đối tượng được xác định ở khung hình. - (5) Ước lượng tỷ lệ và góc quay của đối tượng ở khung ảnh hiện hành so với đối tượng xác định ở khung ảnh khởi tạo, hệ thống chỉ theo dõi người theo dáng đứng thẳng nên thông số góc quay được bỏ qua.. - Hình 6: Các bước theo dõi đối tượng (6) Tìm cụm lớn nhất bằng phương pháp consensus, có sử dụng giải thuật phân cụm phân cấp từ trên xuống.. - (7) So khớp cục bộ: bước 6 tìm được cụm lớn nhất cũng có nghĩa là tìm được tâm đối tượng. - Như vậy, ở lần so khớp này, mỗi điểm đặc trưng trong khung ảnh hiện tại được so khớp (cục bộ) với các keypoint trong tập P0 đã loại bỏ đi một số điểm nào đó xa trung tâm đối tượng.. - Kết quả cho ra tập các đặc trưng theo dõi được của khung ảnh hiện hành . - Với các active point là kết quả của bước (8), khung bao của đối tượng cần theo dõi (bounding box) được tính toán bằng cách tính khung bao của các đặc trưng kết hợp với tỷ lệ và góc quay so với khung bao của đối tượng trong khung ảnh khởi tạo.. - Ở mỗi khung hình, bước theo dõi đối tượng bằng giải thuật CMT sẽ xác định được vị trí tâm đối tượng. - Với nhiều khung hình liên tiếp, ta sẽ thu được một danh sách vị trí đối tượng tạo nên vĩ đạo đường đi từ khi đối tượng xuất hiện đến khi biến mất khỏi hệ thống.. - 3.3 Nhận dạng hành vi. - Trong hệ thống này, chúng tôi sử dụng phương pháp máy học véc-tơ hỗ trợ (SVM).. - Tuy nhiên, để áp dụng được máy học véc-tơ hỗ trợ trong việc nhận dạng hành vi là quan tâm hay không quan tâm đến gian hàng mà đối tượng đi qua trong siêu thị, chúng tôi cần xây dựng được tập dữ liệu chứa thông tin đặc trưng với số thuộc tính cố định.. - Mục tiêu là xây dựng được tập dữ liệu các thuộc tính thể hiện đặc trưng của quá trình theo dõi, chúng ta cần rút trích các thông tin quan trọng từ kết quả theo dõi đối tượng. - Các kết quả đó là quỹ đạo đường đi của đối tượng và thời gian (hoặc số khung ảnh) mà đối tượng lưu lại trong vùng quan sát. - Quỹ đạo chuyển động của đối tượng được mô tả từ một tập hợp điểm. - Ứng với mỗi quỹ đạo chuyển động khác nhau của đối tượng thì số n cũng khác nhau. - Giả sử chọn k=16 và thông tin về số khung hình mà đối tượng lưu lại trong vùng quan sát thì ta sẽ có:. - 3.4 Cải thiện tốc độ xử lý của hệ thống 3.4.1 Thay đổi bộ mô tả đặc trưng. - 3.4.2 Giới hạn phạm vi đối tượng trước khi rút trích các đặc trưng. - Thông thường sau khi phát hiện đối tượng sẽ dùng hình chữ nhật để bao quanh và tiến hành rút trích các đặc trưng trong hình chữ nhật đó. - Tuy nhiên, đối với trường hợp đối tượng là dáng người đứng thì sẽ có khoảng trống không thuộc đối tượng người mà thuộc nền dẫn đến việc rút các đặc trưng nhầm lẫn từ nền sang người. - Trong trường hợp nền có cấu trúc phức tạp, số keypoint nền bị nhầm lẫn sang người nhiều hơn số lượng keypoint thực sự thuộc người thì theo dõi bằng giải thuật CMT không còn chính xác nữa.. - dựa trên số lượng các CMT được tạo ra Ngoài ra, số lượng keypoint thuộc đối tượng giảm làm cho giải thuật theo dõi chạy nhanh hơn ở một số bước như theo dõi (tracking) ở bước 2, so khớp cục bộ (local matching) ở bước 7 (Hình 6).. - Biểu đồ 2: So sánh thời gian theo dõi một đối tượng của giải thuật CMT từ khung hình thứ. - Chúng tôi đề xuất một giải thuật mới cải tiến tốc độ xử lý việc theo dõi bằng cách sử. - 4.1 Kết quả xây dựng mô hình nhận dạng người và hành vi. - 4.1.1 Xây dựng mô hình nhận dạng người sử dụng phương pháp cascade classifier. - Tạo tập dữ liệu để xây mô hình cho phương pháp cascade classifier có giai đoạn quan trọng là xây dựng tập ảnh chứa đối tượng (tập positive) và tập chứa ảnh nền (tập negative). - THỜI GIAN KHỞI TẠO CỦA GIẢI THUẬT CMT. - THỜI GIAN THEO DÕI CỦA MỘT ĐỐI TƯỢNG BẰNG GIẢI THUẬT. - Bảng 1: Kết quả đánh giá mô hình. - Tập ảnh Tổng số ảnh Tổng số đối tượng % phát hiện đúng % phát hiện sai % không phát hiện được. - 4.1.2 Xây dựng mô hình nhận dạng hành vi dùng máy học SVM. - Trong đó, 16 cột đầu tiên là tọa độ điểm x, 16 cột sau là tọa độ điểm y, cột cuối cùng là số khung hình mà đối tượng xuất hiện trong vùng quan sát. - Trong đó, 16 cột đầu tiên là tọa độ điểm x, 16 cột sau là tọa độ điểm y, cột cuối cùng là số khung hình mà đối tượng xuất hiện trong vùng quan sát.. - 4.2 Kết quả cải thiện tốc độ hệ thống Kết quả cho thấy giải thuật cải tiến cho hiệu quả xử lý tăng lên trung bình gấp 7 lần ở giai đoạn khởi tạo bộ theo dõi (khi có đối tượng mới xuất hiện) và tăng lên trung bình 2,8 lần ở giai đoạn theo dõi khi chạy trên máy tính 2 cores (4 threads/core).. - Tốc độ hệ thống tăng rõ rệt khi kết hợp cùng lúc 2 phương pháp cải tiến là sử dụng bộ mô tả ORB và xử lý đa luồng trong khi độ chính xác trước và sau khi cải tiến giải thuật là như nhau.. - Qua quá trình nghiên cứu, chúng tôi đã xây dựng thành công mô hình nhận dạng người, theo dõi và cuối cùng là nhận dạng hành vi của họ trong siêu thị.. - Từ đó đáp ứng tốt vào bài toán thực tế theo dõi nhiều đối tượng xuất hiện cùng lúc, Tuy nhiên, do môi trường đặt camera quan sát là siêu thị đông người, cấu trúc ảnh nền phức tạp, có quá nhiều các chi tiết nhỏ có đặc trưng giống nhau.. - Chính vì những đặc trưng giống nhau này gây ra việc nhầm lẫn khi nhận dạng cũng như theo dõi đối tượng, trực tiếp ảnh hưởng đến độ chính xác của cả hệ thống.. - 1) Khởi tạo bộ theo dõi. - điểm đặc trưng 3) So khớp toàn cục. - 4) Kết hợp các điểm đặc trưng 5) Ước lượng tỷ lệ. - Hình 8: Cải tiến giải thuật CMT theo phương pháp đa luồng