ĐIỀU KHIỂN ROBOT PIONEER P3-DX BÁM SÁT ĐỐI TƯỢNG

- ĐIỀU KHIỂN ROBOT PIONEER P3-DX BÁM SÁT ĐỐI TƯỢNG.
- Control of robot Pioneer P3- DX for object tracking.
- Camshift, meanshift, phát hiện đối tượng, bám sát đối tượng, đặc trưng haar-like, adaboost, robot Pioneer, cấu trúc phân tầng.
- Trong bài này, chúng tôi trình bày cách kết hợp các giải thuật máy học vào Robot Pioneer P3-DX nhằm điều khiển các hành vi, di chuyển và bám sát của Robot theo thời gian thực.
- Giải thuật máy học Cascades of Boosted Classifiers sử dụng đặc trưng Haar-Like Feature có thể phát hiện, nhận dạng đối tượng.
- Tiếp theo chúng tôi sử dụng giải thuật CamShift (Continuously Adaptive MeanShift) để giám sát hoạt động của đối tượng trong phạm vi mặt phẳng ảnh.
- Bước cuối cùng là tính toán vị trí và kích thước của đối tượng trên mặt phẳng ảnh để điều khiển Robot hoạt động và bám sát theo đối tượng.
- Kết quả thử nghiệm cho thấy Robot đã hoạt động đảm bảo các mục tiêu đặt ra như điều khiển các hành vi, di chuyển và bám sát đối tượng..
- Trong các hướng nghiên cứu khác nhau về Robot, nghiên cứu theo dõi, bám sát đối tượng là một trong những bài toán hay và được ứng dụng nhiều trong thực tế..
- Những Robot này có thể thực hiện nhiều hành động khác nhau thông qua hành vi của đối tượng.
- Hiện nay các nghiên cứu liên quan đến phát hiện và bám sát đối tượng bao gồm các hướng tiếp cận như sau: dự đoán chuyển động của đối tượng đang quan sát như bộ lọc Kalman [7][5] kết hợp với thuật toán MeanShift [14] do Fukunaga và Hostetler trình bày nhằm mục đích nâng cao khả năng việc bám sát..
- Ngoài ra, hướng tiếp cận được nhiều người hướng đến là bám sát theo màu sắc như thuật toán CamShift [11], MeanShift [20].
- hay hướng tiếp cận theo đặc trưng góc cạnh của Cox và Hingorani đã sử dụng MHT [12] (Multiple Hypothesis Tracking), hoặc là sự kết hợp của.
- Với những hướng tiếp cận trên đều tiến tới mục đích là làm cho Robot di chuyển và bám theo đối tượng..
- Nếu nói về các thuật toán dùng để bám đối tượng trong ảnh rất đa dạng, phải kể đến một số thuật toán như: Thuật toán KLT, Correlation-base template matching, thuật toán Meanshift, thuật toán Camshift..
- Trong bài báo này, chúng tôi áp dụng thuật toán Camshift để bám sát đối tượng dựa trên màu sắc đối tượng trên ảnh để Robot di chuyển theo, do tính hiệu quả về độ chính xác, độ phức tạp về thời gian.
- Chúng tôi đã sử dụng Robot Pioneer P3-DX kết hợp với máy học để giải quyết bài toán: “Điều khiển Robot bám sát đối tượng”.
- Chúng tôi trích các đặc trưng Haar-Like [18][16] kết hợp với bộ phân tầng Cascades of Boosted Classifiers và Adaboost [16][17] để huấn luyện cho Robot nhận dạng đối tượng - đối tượng được sử dụng để Robot nhận dạng là quả bóng.
- Sau khi Robot phát hiện và nhận dạng được đối tượng, chúng tôi sẽ sử dụng giải thuật CamShift để Robot bám lấy quả bóng..
- Từ đó, dựa trên mặt phẳng ảnh có đối tượng đang hiện hữu trong đó sẽ cho Robot di chuyển thông qua việc tính khoảng cách và lấy tỷ lệ cho vận tốc để Robot di chuyển theo đối tượng quan sát.
- vào việc xám hóa ảnh khi phát hiện và nhận dạng sẽ giúp cho đối tượng có thể linh động, giải thuật CamShift [11] sẽ hiệu quả hơn trong bám sát.
- Với trường hợp, giải thuật CamShift bám sai đối tượng thì bộ phận phát hiện và nhận dạng đối tượng sẽ liên tục tìm đối tượng trên ảnh (lúc này Robot sẽ đứng yên hoặc xoay tìm đối tượng) cho đến khi phát hiện và giải thuật CamShift được thực hiện..
- Kết quả cho thấy Robot đã hoạt động như mục tiêu đặt ra và hạn chế được tình trạng mất bám trong các môi trường khác nhau cũng như kiểm soát được khoảng cách và vận tốc di chuyển của Robot..
- Phần tiếp theo của bài báo được tổ chức như sau: phần 2 trình bày ngắn gọn về Robot di động – Robot Pioneer P3-DX.
- Phần 3: trình bày điều khiển Robot bám sát đối tượng: phát hiện và nhận dạng đối tượng với Haar-Like feature kết hợp Cascades of Boosted Classifiers và Adaboost, trình bày thuật toán Camshift để bám sát đối tượng và cách di chuyển của Robot trên mặt phẳng ảnh, cách tính khoảng cách tương ứng với vận tốc điều khiển Robot.
- 2 ROBOT DI ĐỘNG – ROBOT PIONEER P3-DX.
- Mobile Robot hay còn gọi là Robot di động, Robot tự hành.
- Cùng với sự phát triển của các hệ thống về lĩnh vực công nghệ thông tin, Robot di động đã góp phần mạnh mẽ trong công nghiệp, y tế và cuộc sống thực tế hiện nay.
- Robot di động là một loại máy móc tự động có khả năng di chuyển trong một phạm vi môi trường nhất định..
- Robot được sử dụng trong bài viết là Robot Pioneer P3-DX [2].
- Đây là dòng Robot di động chế tạo bởi hăng Adept Mobile Robot.
- Robot Pioneer là một trong những Robot được nhiều nhà chuyên gia đa lĩnh vực nghiên cứu đến và được sử dụng phổ biến nhất trên thế giới hiện nay.
- Robot Pioneer P3-DX [2] là loại Robot di động nhỏ, trọng lượng nhẹ với 3 bánh xe (2 bánh trước chủ động (bánh chính) và bánh sau di chuyển tự do (bánh phụ - rẽ.
- Hình 1: Cấu tạo Robot Pioneer P3-DX [2].
- Robot Pioneer P3-DX có thể di chuyển tới và di chuyển lui với vận tốc tối đa là 1.2 m/s và có tải trọng đồ vật lên đến 23 kg..
- 3 ĐIỀU KHIỂN ROBOT PIONEER P3-DX BÁM SÁT ĐỐI TƯỢNG.
- Hệ thống đề xuất cho Robot bám sát đối tượng.
- Hình 2: Mô hình hoạt động của hệ thống Robot sẽ được tích hợp một Webcam/Camera để quan sát, dựa vào frame ảnh thu được hệ thống sẽ sử dụng Haar-Like features và Adaboost để phát.
- hiện đối tượng cần nhận dạng trên từng frame ảnh..
- Dựa vào đối tượng đã được nhận dạng ở trên, hệ thống sẽ sử dụng thuật toán CamShift để bắt bám đối tượng trong quá trình di chuyển (sử dụng MeanShift để lấy vị trí và trọng tâm mới của đối tượng).
- Sau khi đã bắt, bám được đối tượng thì hệ thống sẽ dựa vào kích thước và mặt phẳng ảnh để điều khiển Robot di chuyển.
- Trong trường hợp thuật toán CamShift bị mất bám thì bộ phận phát hiện và nhận dạng đối tượng sẽ thực hiện lại việc dò tìm..
- 3.1 Phát hiện và nhận dạng đối tượng 3.1.1 Trích đặc trưng Haar-Like và Cascades.
- Đặc trưng Haar-Like [18][16] là những đặc trưng ảnh số được sử dụng trong nhận dạng đối tượng.
- Thông thường, những đặc trưng cơ bản Haar-Like dùng để dò khuôn mặt trong thời gian thực, do đó Haar-Like là sự lựa chọn phù hợp cho hệ bám sát đối tượng nhằm nhận dạng nhanh chóng, chính xác trong thời gian thực..
- Hình 3: Đặc trưng Haar-Like của Viola và Jones [16].
- Đặc trưng Haar-like sẽ diễn đạt được tri thức về các đối tượng trong ảnh (bởi vì nó biểu diễn mối liên hệ giữa các bộ phận của đối tượng), điều mà bản thân từng điểm ảnh không diễn đạt được – dựa trên việc co giãn của khung cửa sổ tìm kiếm.
- Nghiên cứu của Viola và Jones [16] xây dựng Adaboost dựa trên dữ liệu đầu vào là các đặc trưng Haar- Like để hình thành một phân lớp mạnh hơn (strong classifier) theo nguyên tắc của boosting [19]: “tăng trọng số của các mẫu bị nhận dạng sai và giảm trọng số của các mẫu được nhận dạng đúng bởi phân lớp yếu (weak classifier) vừa xây dựng”.
- (X = (x 1, x 2 ,…,x n ) là vector đặc trưng mẫu);.
- f k : giá trị của đặc trưng Haar-like (1);.
- 3.1.3 Nhận dạng và phát hiện đối tượng.
- Hình 5: Mô hình phát hiện và nhận dạng đối tượng 3.2 Bám sát đối tượng với thuật toán Camshift.
- Thuật toán CamShift [11] (Continuously Adaptive MeanShift) được xuất phát và dựa trên nền tảng của thuật toán MeanShift, do vậy việc tính trọng tâm của đối tượng và dịch chuyển cửa sổ tìm kiếm sẽ thực hiện bằng MeanShift [14] [theo vết màu MeanShift - Comaniciu 2003] và Moment ảnh.
- Ý tưởng chính của Camshift là tính lại trọng tâm của đối tượng dựa vào frame ảnh trước đó và kích thước của cửa sổ tìm kiếm được thay đổi động theo đối tượng (với MeanShift thì cửa sổ tìm kiếm là cố định)..
- 3.2.1 Thuật toán MeanShift [3] [20].
- vùng ảnh (area), trọng tâm của đối tượng và một số thông tin đi kèm với đối tượng đang xét.
- Đây là việc tính toán những đặc trưng Moment và ước lượng chiều dài, chiều rộng của đối tượng dựa vào.
- 3.2.3 Lưu đồ thuật toán CamShift.
- 3.3 Tính khoảng cách và di chuyển 3.3.1 Tính khoảng cách của đối tượng đến.
- 3.3.2 Robot di chuyển theo mặt phẳng ảnh.
- Robot chỉ thực hiện việc di chuyển khi quả bóng có kích thước nằm trong khoảng cho phép (Hình 9).
- Nếu di chuyển qua vùng có cùng màu sắc với màu sắc mà thuật toán CamShift đang bắt thì hệ thống sẽ cho bắt lại (vì mảng màu lớn x>290px)..
- Bài báo nghiên cứu trên Robot Pioneer P3- DX của hãng Adept Mobile Robot được trình bày ở phần 2..
- Loại Tên và kích thước sử dụng.
- OpenCV gói thư viện cài đặt nhận dạng và bám sát) Thư viện.
- Vận tốc ban đầu của Robot khi di chuyển là V 0 = 200 mm/s;.
- Khoảng cách xa nhất mà Robot không thể dò tìm đối tượng là: 333 cm (vì bộ huấn luyện nhận dạng với thông số min là 20 x 20 px  tương ứng với kích thước quả bóng);.
- Khoảng cách ngắn nhất mà Robot không thể dò tìm đối tượng là: nhỏ hơn 22 cm(290px);.
- 4.3.1 Huấn luyện nhận dạng và phát hiện đối tượng.
- -nneg 4200: Số lượng ảnh không có đối tượng (quả bóng) là 4200 ảnh;.
- -npos 1600: Số lượng ảnh có đối tượng (quả bóng) là 1600 ảnh;.
- -mem 1100: sử dụng 1.1 GB Ram (bộ nhớ) để training;.
- -minhitrate 0.999: tỷ lệ nhận dạng đối tượng (quả bóng) tối thiểu là 0.999;.
- -maxfalsealarm 0.5: tỷ lệ nhận dạng sai đối tượng tối đa là 50%;.
- -mode ALL: sử dụng tất cả các đặc trưng bao gồm cả đặc trưng mở rộng;.
- Kết quả nhận dạng với độ chính xác (recall) 98% khi kiểm thử với 200 ảnh có đối tượng quả bóng (Dương) và 200 ảnh không có đối tượng quả bóng (Âm):.
- 4.3.2 Robot di chuyển.
- Dựa trên mặt phẳng ảnh (mục 3.3.2) và các thông số liên quan (mục 4.2) để điều khiển Robot, kết quả Robot đã di chuyển như sau (phần phụ lục):.
- Robot di chuyển thẳng tới (Hình 10);.
- Robot di chuyển rẽ phải (Hình 11);.
- Robot di chuyển rẽ trái (Hình 12);.
- Robot di chuyển lùi (Hình 13)..
- Chúng tôi vừa trình bày sự kết hợp giữa Robot Pioneer P3-DX và máy học để điều khiển các hành vi, di chuyển và bám sát của Robot theo thời gian thực.
- Robot có khả năng tự di chuyển đúng như yêu cầu đặt ra cho bài toán (tiến tới, lùi, rẽ trái, rẽ phải), giảm thiểu khả năng mất bám trong thời gian ngắn.
- Nhờ sự kết hợp của việc phát hiện đối tượng liên tục khi bị mất bám (mất quan sát) đã giúp Robot có thể nhanh chóng tìm lại đối tượng và di chuyển đúng yêu cầu.
- Robot di chuyển với vận tốc phụ thuộc vào khoảng cách từ đối tượng đến Robot.
- Tốc độ bắt bám đối tượng dao động 25÷30 ms..
- Hướng nghiên cứu tiếp theo của bài báo là việc nâng cao khả năng bám sát đối tượng (tracking object) với việc tích hợp thêm bộ lọc Kalman để dự đoán đối tượng trên mặt phẳng ảnh.
- Robot trong nghiên cứu di chuyển động không theo một bản đồ cụ thể, do đó có thể tích hợp thêm một số bản đồ tĩnh nhằm giúp Robot có thể di chuyển trong một phạm vi nhất định và bám sát theo đối tượng (ví dụ: Robot đá bóng) hoặc Robot sẽ tránh được những chướng ngại vật trước mắt mà không làm ảnh hưởng khả năng bám sát..
- Hình 8: Bảng điều khiển và đối tượng được bám sát.
- Hình 9: Bắt bám theo đối tượng quả bóng TÀI LIỆU THAM KHẢO.
- Nhận dạng đối tượng sử dụng thuật toán Adaboost.
- Robot di chuyển thẳng tới.
- Hình 10: Robot di chuyển thẳng tới.
- Robot di chuyển rẽ trái.
- Hình 12: Robot di chuyển rẽ trái 3.
- Robot di chuyển rẽ phải.
- Hình 11: Robot di chuyển rẽ phải 4.
- Robot di chuyển lùi.
- Hình 13: Robot di chuyển lùi 4 5