Nghiên cứu ứng dụng kỹ thuật theo dõi đối tượng xây dựng hệ thống camera giám sát thông minh

- NGHIÊN CỨU ỨNG DỤNG KỸ THUẬT THEO DÕI ĐỐI TƯỢNG XÂY DỰNG HỆ THỐNG CAMERA GIÁM SÁT THÔNG MINH Phạm Nguyên Khang, Đỗ Thanh Nghị và Phạm Thế Phi.
- Camera giám sát, đặc trưng cục bộ, luồng quang học, so khớp đặc trưng, theo dõi đối tượng.
- Bài báo trình bày các kết quả nghiên cứu về việc xây dựng hệ thống camera giám sát thông minh sử dụng kỹ thuật theo dõi đối tượng.
- Phần cốt lõi của hệ thống là bộ theo dõi đối tượng, hoạt động dựa trên trên việc kết hợp giữa (i) truy vết đối tượng bằng luồng quang học, (ii) so khớp các đặc trưng cục bộ và (iii) tìm sự đồng thuận lớn nhất của các đặc trưng cục bộ.
- Cũng trong bài báo này, một thuật giải thuật mới đã được đề xuất nhằm tăng tốc độ xử lý các khung ảnh bằng kỹ thuật ống dẫn (pipeline) trên các hệ thống máy tính đa nhân.
- Điều này giúp tăng tốc độ xử lý lên đến 3,3 lần trên hệ thống máy tính 4 nhân.
- Hệ thống camera giám sát thông minh sẽ theo dõi đối tượng liên tục và phát tín hiệu cảnh báo khi đối tượng cần theo dõi biến mất trong một khoảng thời gian được định trước.
- Nghiên cứu ứng dụng kỹ thuật theo dõi đối tượng xây dựng hệ thống camera giám sát thông minh.
- Theo dõi đối tượng (object tracking) là một những lĩnh vực nghiên cứu đầy tiềm năng của thị giác máy tính (computer vision).
- Việc theo dõi chủ.
- yếu dựa trên hình ảnh của các đối tượng thu được từ các camera giám sát.
- Có thể chia bài toán theo dõi đối tượng thành hai nhóm tiêu biểu: biết trước mô hình của đối tượng và không biết trước mô hình.
- Dựa trên thông tin đã biết trước về đối tượng như màu sắc hoặc hình dáng của đối tượng, các giải thuật theo dõi sử dụng thông tin này để định vị đối tượng trong các khung hình (frame) của video.
- Sử dụng màu sắc để mô hình hoá đối tượng là phương pháp đơn giản nhất và phù hợp đối với các đối tượng cần theo dõi có màu (gần) đồng nhất.
- Phương pháp này hiệu quả khi màu của đối tượng tương đối khác đối với màu nền.
- Các giải thuật liên quan đến phương pháp này có thể kể đến Mean Shift (Cheng, Y., 1995), CAMShift (Bradski, 1998).
- Một số phương pháp khác sử dụng thông tin về hình dáng hoặc kết cấu hình học của đối tượng (Lowe, 1992.
- Đối với nhóm bài toán thứ hai, do không cần phải cung cấp trước mô hình của đối tượng cần theo dõi là gì nên ứng dụng của nó cũng rộng rãi hơn, cho phép theo dõi các đối tượng phức tạp.
- Do phương pháp này không đòi hỏi phải huấn luyện hay bất cứ thông tin đặc biệt nào về đối tượng cần theo dõi nên còn gọi là theo dõi phi mô hình (model-free tracking).
- Một trong các đặc tính quan trọng của các thuật toán theo dõi là khả năng xử lý hình dáng (bề ngoài) phức tạp của đối tượng trong một thời gian bất kỳ.
- Mặc dù đã có nhiều tiến triển trong các phương pháp theo dõi đối tượng phi mô hình làm cho nó trở nên mạnh hơn, chịu đựng nhiễu tốt hơn, nhưng bản thân của bài toán cũng phải đối mặt với các khó khăn và trở nên khó giải hơn vì các lý do: hình dáng của đối tượng phức tạp, bị che khuất một phần, ảnh hưởng của ánh sáng, màu sắc, góc chụp/quay của camera (Maggio and Cavallaro, 2011).
- Ngoài ra, do đối tượng không được biết trước khi theo dõi nên không thể huấn luyện máy học để nhận dạng đối tượng.
- Một số tác giả sử dụng chiến lược học trực tuyến (online) trong quá trình theo dõi (Safari et al., 2009).
- Hướng tiếp cận được xem là nhiều hứa hẹn nhất hiện nay đối với bài toán theo dõi đối tượng phi mô hình là dựa trên các đặc trưng cục bộ bất biến về hình dáng của đối tượng.
- Các phương pháp có thể kể đến là chia đối tượng thành các vùng nhỏ (patches) và biểu diễn đối tượng như một tập hợp các vùng này.
- Việc chia đối tượng thành các vùng nhỏ có thể dựa trên lưới hoặc tìm các vùng bất biến (Adam et al., 2006.
- Việc xác định vị trí đối tượng trong khung ảnh sau đó dựa trên việc so khớp các điểm đặc biệt ở khung ảnh trước và khung ảnh sau..
- Việc truy vết đối tượng dựa trên sự đồng thuận của các đặc trưng truy vết được (Nebehay, 2015)..
- Phương pháp này có ưu điểm là có thể theo dõi được ngay cả khi đối tượng bị quay hay camera bị thay đổi vị trí..
- Phần tiếp theo của bài báo được tổ chức như sau: kỹ thuật theo dõi đối tượng dựa trên sự đồng thuận được mô tả trong phần 2.
- 2 THEO DÕI ĐỐI TƯỢNG DỰA TRÊN SỰ ĐỒNG THUẬN.
- 2.1 Phương pháp CMT.
- So khớp và theo dõi dựa trên sự đồng thuận (Consensus-based matching and tracking hay CMT) được (Nebehay et al., 2014) đề xuất, là một phương pháp dựa trên keypoint để theo dõi đối tượng theo kỹ thuật phi mô hình kết hợp giữa so khớp (matching) và theo dõi (tracking).
- Để định vị đối tượng trong mỗi khung hình (frame), mỗi keypoint sẽ bình chọn tâm của đối tượng.
- Trong quá trình so khớp các keypoint giữa hai khung liên tiếp, so khớp sai (false matching: hai keypoint được giải thuật cho khớp với nhau nhưng thực chất chúng không khớp nhau) là điều khó tránh khỏi..
- đã đề xuất một mô hình dựa trên sự đồng thuận (consensus-based) để phát hiện các keypoint bị so khớp sai.
- Bằng cách áp dụng các biến đổi hình học (phép quay, thay đổi tỉ lệ) lên bình chọn, phương pháp này cho phép theo dõi được đối tượng bị biến đổi hình dạng trong quá trình theo dõi.
- Ngoài ra, phương pháp này không sử dụng các thông tin hình ảnh của các keypoint và chỉ đơn thuần dựa vào vị trí của chúng, và do đó tránh được các sai sót nghiêm trọng trong trường hợp hai vùng keypoint có bề ngoài giống nhau nhưng không có liên quan nhau về mặt hình học.
- Để tăng tốc độ tính toán, các keypoint được mô tả bằng một vector nhị phân..
- I n , và một vùng theo dõi b 1 (chứa đối tượng cần được theo dõi) trong khung ảnh I 1 , với mỗi khung.
- đang theo dõi hoặc nói rằng đối tượng không có trong khung ảnh..
- Việc ước lượng tư thế của đối tượng dựa vào tâm μ, tỉ lệ s và góc quay α của nó, trong đó s và α được ước lượng dựa trên hình dạng ban đầu của đối tượng trong vùng b1.
- Để đơn giản, giả sử rằng vùng theo dõi b1 có dạng hình chữ nhật có các cạnh song song với các trục toạ độ.
- So khớp và truy vết các điểm đặc trưng Mô hình đối tượng được mô tả dựa trên tập các keypoint:.
- Tập các keypoint O được khởi tạo bằng kỹ thuật trích đặc trưng BRISK hoặc SIFT từ khung hình đầu tiên I 1 bên trong vùng khởi tạo b 1 , sau đó quy tâm (mean-normalisation) vị trí của các keypoint.
- Để bảo tồn hình dáng của đối tượng, mỗi khung hình I t với t  2, cần tìm ra tập các keypoint tương ứng:.
- Trong đó, a là vị trí các keypoint trong ảnh, m là chỉ số (index) của keypoint tương ứng trong O..
- Xác định các keypoint trong khung ảnh thứ I t , mỗi keypoint cũng có vị trí a và bộ mô tả f.
- (3) Mỗi keypoint trong tập P, cần phải tính khoảng cách Hamming theo công thức (4) giữa bộ mô tả của nó với bộ mô tả của từng keypoint được tìm thấy trong I 1 , bao gồm cả các keypoint nền..
- Để so khớp các keypoint trong P với các keypoint trong I 1 , khoảng cách đến láng giềng gần nhất phải gần hơn các láng giềng khác theo một tỷ lệ cố định ρ nào đó (Lowe, 2014).
- Tập các keypoint M là một tập con chứa các keypoint đã so khớp giữa keypoint trong P và các keypoint trong O, sau đó bổ sung thêm các chỉ số (index) của keypoint tương ứng (là các định danh m trong công thức (2)).
- Tại thời điểm t=2, K 1 bằng với tập các keypoint của O.
- Tập các keypoint T được tìm ra bằng cách cập nhật vị trí của keypoint trong K t-1.
- Sau đó thực hiện kết hợp hai tập T và M và đưa vào tập K’ với kích thước NK’, khi kết hợp hai tập T, M thì các keypoint giống nhau ở hai tập này sẽ được loại bỏ.
- Đến bước này trong tập K’ vẫn còn chứa các keypoint ngoại lai hoặc các điểm mơ hồ không chính xác..
- Để xác định vị trí của đối tượng, mỗi keypoint (a, m) trong K’ sẽ bình chọn một giá trị h(a,m.
- ℝ 2 vào tâm của đối tượng, tập các bình chọn đó được thể hiện như sau:.
- Ta có thể xem mỗi bình chọn (vote) là một phép biến đổi hình học affine gồm: tịnh tiến, tỉ lệ và quay lên các keypoint trong không gian 2 chiều..
- Khi đối tượng bị thay đổi tỉ lệ (ví dụ thu nhỏ), các vector bình chọn này tiến gần đến trung tâm đối tượng (các vector bị thu ngắn lại xem Hình 5).
- Để tính s, chúng ta tính khoảng các Euclide giữa các cặp ai và aj trong K’, và so sánh khoảng cách vừa tính được với khoảng cách của các keypoint tương ứng và trong O..
- Khi đối tượng bị quay, các vector bình chọn bị quay theo, và tâm quay là tâm của đối tượng:.
- Khi có một keypoint trong K’ không thuộc về đối tượng (key point ngoại lai) thì vector bình chọn của nó sẽ không hướng đến tâm của đối tượng mà nó chỉ đến một vùng hình ảnh bất kỳ nào đó.
- Trước khi tìm tâm của đối tượng µ, chúng ta cần loại bỏ các keypoint ngoại lai này và các vector bình chọn của nó bằng cách tìm kiếm sự đồng thuận của các vector bình chọn..
- Gọi tập con V c là tập có số thành phần lớn nhất trong số các cụm thu được ở bước phân cụm, hay có thể gọi V c bằng một cái tên khác là cụm đồng thuận (consensus cluster), và gọi K t là tập các keypoint nằm trong K’ sao cho các keypoint này có vector bình chọn nằm trong tập V c.
- thì xem như đối tượng không xuất hiện.
- Ngược lại chúng ta sẽ tính tâm của đối tượng dựa trên các thành phần của cụm đồng nhất này..
- Với tâm của đối tượng µ, tỷ lệ s, và góc quay α chúng ta xác định được tư thế của đối tượng đang quan tâm..
- Hình 1: Các bước trong quá trình theo dõi đối tượng bằng giải thuật CMT.
- Mặc dù phương pháp này có khả năng loại bỏ nhiều.
- 2.2 Tăng tốc độ xử lý bằng phương pháp ống dẫn.
- Vì thế, một giải thuật mới đã được đề xuất để cải tiến tốc độ xử lý việc theo dõi bằng cách sử dụng kỹ thuật ống dẫn (pipeline) trên các hệ thống đa nhân (multicores)..
- Thread 3 thực hiện truy vết các đặc trưng của bước trước đó bằng phương pháp luồng quang học và lưu kết quả vào trong hàng đợi.
- Hình 2: Giải thuật CMT cải tiến sử dụng kỹ thuật ống dẫn 3 KẾT QUẢ THỰC NGHIỆM.
- Giải thuật mới đã được sử dụng để xây dựng một hệ thống camera giám sát thông minh.
- Hệ thống này có khả năng theo dõi đối tượng do người dùng chỉ định và phát tín hiệu cảnh báo khi đối tượng biến mất khỏi khung quan sát trong một khoảng thời gian định trước..
- Để minh hoạ hiệu quả của hệ thống camera theo dõi an ninh, các thí nghiệm đã được thiết lập để theo dõi trong ngôi nhà với camera theo dõi IP hiệu SmartZ.
- Camera được điều chỉnh hướng vào đối tượng là một bức tranh trên tường (Hình 3)..
- Người dùng sử dụng chuột để xác định đối tượng cần theo dõi (bức tranh).
- Hệ thống theo dõi khởi động và tính toán các điểm đặc trưng của bức tranh.
- Nếu số lượng đặc trưng quá ít (nhỏ hơn), hệ thống sẽ thông báo rằng không thể theo dõi đối tượng..
- Đối tượng lúc này bị lệch đi so với vị trí ban đầu nhưng vẫn còn nằm trong tầm nhìn của hệ thống.
- Hệ thống vẫn phát hiện được (Hình 4)..
- Hình 4: Đối tượng vẫn tiếp tục được theo dõi mặc dù camera bị quay một góc.
- Hình 5: Đối tượng bị lấy ra khỏi vùng theo dõi.
- Hình 6: Đối tượng được trả về chỗ cũ.
- Hình 7: Đối tượng vẫn còn được theo dõi nếu phần nhìn thấy còn >.
- Bức tranh được lấy ra khỏi vị trí (Hình 5), lúc này hệ thống còn thấy được đối tượng nên khởi động bộ đếm.
- Nếu thời gian (số khung ảnh) không nhìn thấy đối tượng vượt ngưỡng, hệ thống sẽ báo động liên tục cho đến khi ta trả bức tranh về chỗ cũ (Hình 6) hoặc hủy bỏ việc theo dõi..
- Ngoài ra, do sử dụng các đặc trưng cục bộ, hệ thống có thể theo dõi được đối tượng ngay cả khi đối tượng bị che khuất hoặc ngoài tầm nhìn một phần (phần nhìn thấy được khoảng 30.
- Khi phần nhìn thấy được còn ít hơn giá trị ngưỡng, hệ thống.
- sẽ xem như không còn nhìn thấy được đối tượng nữa (Hình 7)..
- Để minh hoạ cho khả năng theo dõi đối tượng động của hệ thống, một thí nghiệm khác đã thiết lập dựa trên video thu được bằng camera giám sát ở một siêu thị.
- Đối tượng được theo dõi là một nhân viên phụ trách quầy bán sữa.
- Hình 8 mô tả tình hình siêu thị trước khi theo dõi.
- Sau khi chọn đối tượng cần theo dõi, các đặc trưng của đối tượng được hiển thị (ảnh phải)..
- Hình 8: Chọn đối tượng cần theo dõi.
- Hình 10: Đối tượng được theo dõi cho đến khi rời khỏi vùng quan sát Khi đối tượng di chuyển, hệ thống sẽ tự động.
- theo dõi và ghi nhận lại vị trí của đối tượng (Hình 9) cho đến khi đối tượng ra khỏi vùng quan sát (Hình 10).
- 4 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Bài báo đã trình bày một giải pháp về việc xây dựng một hệ thống camera giám sát thông minh sử dụng kỹ thuật theo dõi đối tượng với phương pháp CMT và đề xuất cải tiến tốc độ xử lý của giải thuật CMT bằng kỹ thuật ống dẫn trên các hệ thống máy tính đa nhân.
- Hệ thống camera giám sát thông minh đã được cài đặt và kiểm thử