- PHÁT TRIỂN THUẬT TOÁN XỬ LÝ ẢNH ĐỂ PHÁT HIỆN VÀ ƯỚC LƯỢNG KHOẢNG CÁCH TỪ HỆ CAMERA. - ĐẾN TÂM QUẢ CÀ CHUA CHÍN TRÊN CÂY Trương Quốc Bảo 1 , Quách Tuấn Văn 2 và Nguyễn Minh Luân 1. - Robot thu hoạch trái cây, phát hiện và nhận dạng quả cà chua chín, mặt phẳng kết tủa màu r-g, phân tích hình dáng, hiệu chỉnh camera. - Nghiên cứu này đề xuất một giải thuật xử lý ảnh mới để nhận dạng và định vị quả cà chua chín trên cây đồng thời ước lượng khoảng cách từ hệ camera đến tâm của trái. - phân đoạn ảnh, gán nhãn, lọc kích thước, xác định đường biên cho các vùng ứng viên là quả cà chua chín, rút trích các đặc trưng hình dáng để định vị quả cà chua chín trên cây và cuối cùng là ước lượng khoảng cách sử dụng hệ 2 camera. - Thực nghiệm được tiến hành trên tập dữ liệu 100 ảnh thực nghiệm với 244 quả cà chua chín cần nhận dạng. - Độ chính xác của phương pháp được đề nghị là 96.7% đối với phương pháp nhận dạng dựa trên mặt phẳng kết tủa màu r-g và 88.9% đối với phương pháp phân tích màu sắc.. - Hệ thống nhận dạng và ước lượng vị trí tâm của trái trên cây sử dụng các kỹ thuật xử lý ảnh và ước lượng khoảng cách từ tâm của trái đến hệ thông quan sát là phần đầu tiên và quan trọng nhất trong. - Bài báo đề xuất một giải thuật mới để nhận dạng và định vị quả cà chua chín trên cây sử dụng kỹ thuật phân đoạn ảnh và phân tích hình dáng.. - Khoảng cách từ tâm quả cà chua chín đến hệ camera được ước lượng dựa trên kỹ thuật hiệu chỉnh camera và phương pháp đo khoảng cách do Manaf A. - Quy trình xử lý của phương pháp được trình bày như Hình 1.. - Hình 1: Quy trình xử lý của phương pháp được đề xuất 2 NỘI DUNG NGHIÊN CỨU. - 2.1 Hệ thống quan sát và thu nhận hình ảnh Nhằm mục đích thu nhận hình ảnh quả cà chua chín, đưa về máy tính xử lý để nhận dạng, định vị, ước lượng vị trí tâm cũng như khoảng cách từ tâm quả cà chua chín được phát hiện trên cây đến hệ thống quan sát (Hình 2), mô phỏng thay cho cánh tay robot.. - Phần thứ nhất là một giá đỡ có khả năng tăng giảm độ cao trong khoảng 50-150 cm và có thể xoay từ 0 o -360 o mô phỏng giống như một cách tay robot có thể chuyển đổi vị trí trong không gian với hai camera quan sát để xác định vị trí quả cà chua cần hái trên cây. - nhằm tách quả cà chua chín cần nhận dạng ra khỏi nền. - Chúng tôi tiến hành so sánh 2 thuật toán phân đoạn ảnh để phát hiện quả cà chua chín là phương pháp phân tích màu sắc và phân đoạn ảnh dựa trên mặt phẳng kết tủa màu r-g.. - 2.2.1 Phương pháp phân tích màu sắc a. - Từ nghiên cứu thực nghiệm, chúng tôi tiến hành xét cà chua chín là những quả có màu chuyển sang đỏ hơn 90%. - Kết quả đạt được sẽ bao gồm những quả cà chua chín và gần chín. - Xác định các quả cà chua thật sự chín Từ ảnh đã được loại bỏ nền (Hình 3b), ta thực hiện:. - R 1.3* G (2) Bước 3: Trích xuất một số điểm ảnh màu đỏ đại diện để xác định quả cà chua thật sự chín. - Các điểm ảnh còn lại của một vùng sẽ đại diện cho quả cà chua chín tương ứng. - Các vùng không có điểm đại diện đồng nghĩa với việc các quả cà chua tương ứng sẽ bị loại bỏ.. - Bước 5: Sử dụng phương pháp 8 lân cận tái cấu trúc (Luc Vincent, 1993) ảnh 3e từ ảnh kết quả 3d để loại bỏ quả cà chua màu cam trong ảnh 3d.. - Bước 6: Thêm lại phần màu vàng cho quả cà chua chín bằng cách lấy ảnh kết quả của bước 5 cộng với ảnh 3c.. - Bước 7: Từ ảnh kết quả bước 6, tiếp tục tái cấu trúc thêm lần nữa, ta sẽ nhận được quả cà chua cần xác định để thu hoạch (Hình 3f).. - Hình 3: Kết quả nhận dạng quả cà chua cần thu hoạch 2.2.2 Phương pháp phân đoạn ảnh dựa trên. - Trong thực tế, quả cà chua chín cần được ra khỏi nền bằng một kỹ thuật phân đoạn ảnh. - Nếu chúng ta sử dụng không gian màu RGB thì cần phân tích trên từng kênh màu riêng biệt sẽ làm giảm hiệu suất và tăng thời gian xử lý chung của cả hệ thống như phương pháp phân tích màu sắc trên.. - Phương pháp phân đoạn ảnh dựa trên mặt phẳng kết tủa màu r-g cho phép ta thiết lập ngưỡng màu để nhận dạng đối tượng một cách linh hoạt bằng cách thiết lập các giá trị ngưỡng cho bộ bốn. - 2.3 Thuật toán ước lượng vị trí tâm quả cà chua chín trên cây. - Sau khi lọc bỏ nền, bước kế tiếp ta sẽ tiến hành gán nhãn, lọc kích thước, xác định đường biên cho các vùng ứng viên là quả cà chua chín được thực hiện theo quy trình sau.. - 2.4 Thuật toán ước lượng vị trí tâm quả cà chua chín trên cây. - Chúng tôi sử dụng phương pháp chập mặt nạ đơn giản (Alain Boucher, 2012) để đánh dấu các vùng liên thông trên ảnh và gán nhãn cho tất cả các vùng liên thông là vùng ứng viên cho quả cà chua.. - Trong các vùng ứng viên, có những vùng kích thước quá lớn hoặc quá nhỏ sẽ không thể là quả cà chua. - Ngoài ra, từ thực tế cho thấy tùy thuộc vào khoảng cách từ camera đến cây cà chua mà kích thước của các quả cà trên ảnh sẽ thay đổi. - Quá trình trích lọc chu vi tương tự như quá trình dò tìm đường biên theo phương pháp 4 lân cận. - 2.4.2 Định vị vị trí quả cà chua chín sử dụng phương pháp biến đổi Hough Circle. - Trong trường hợp một nhóm nhiều quả cà chua chồng lấp lên nhau, Hough Circle có thể nhận dạng thừa hoặc thiếu một vài quả hoặc xác định vị trí tâm không phù hợp (Hình 6).. - Hình 6: Hough Circle phát hiện không đúng số quả và ước lượng tâm không phù hợp Để khắc phục nhược điểm của phương pháp. - phân tích Hough Circle, chúng tôi đề nghị một phương pháp ước lượng vị trí tâm và độ dài bán kính dựa trên ý tưởng của Hannan M. - et al, 2009 gọi là kỹ thuật phân tích hình dáng của đường biên (contour) để xây dựng đường tròn đại diện cho vị trí quả cà chua chín.. - 2.4.3 Định vị vị trí quả cà chua chín sử dụng phương pháp phân tích hình dáng. - Phương pháp phân tích hình dáng cho việc phát hiện và xây dựng đường tròn đại diện cho vị trí của quả cà chua bao gồm 2 giai đoạn là tính toán các tham số đường tròn cho các cung ứng viên trên đường chu vi và ước lượng vị trí tâm cùng độ dài bán kính của đường tròn đại diện.. - Ước lượng vị trí tâm, độ dài bán kính của đường tròn đại diện cho vị trí quả cà chua. - Vị trí trung tâm này được xem là tâm của đường tròn đại diện cho vị trí quả cà chua (Hình 7).. - Hình 7: Quá trình nhận dạng và định vị vị trí quả cà chua chín trên cây. - Phương pháp Hough Circle (b). - Phương pháp phân tích hình dáng (c) So với phương pháp được đề nghị bởi Hannan. - Phương pháp cải tiến của chúng tôi tìm giá trị chính xác của các thông số thay cho giá trị gần đúng. - Ngoài ra, độ chính xác đối với phương pháp do chúng tôi đề nghị sẽ càng tăng khi độ dài phân đoạn càng nhỏ. - Qua quá trình thực nghiệm phương pháp cải tiến mất trung bình 0.18 giây/ảnh để xác định tâm và bán kính so với phương pháp của Hannan M. - 2.5 Ước lượng khoảng cách từ hệ camera quan sát đến vị trí tâm quả cà chua chín trên cây. - Một số phương pháp thường sử dụng để ước lượng khoảng cách từ hệ camera quan sát đến vật thể như sử dụng sóng siêu âm, sóng laser, sóng hồng ngoại. - 2013 để ước lượng khoảng cách từ hệ camera đến tâm quả cà chua chín trên cây.. - Hình 9: Sơ đồ nguyên lý được sử dụng để ước lượng khoảng cách từ hệ camera đến vật thể. - Hình 10: Ảnh kết quả so sánh trước (a) và sau khi hiệu chỉnh cameras (b) 2.5.2 Ước lượng khoảng cách từ hệ camera. - đến tâm quả cà chua chín trên cây a. - (12) Từ các phương trình (12) và (13) ta có khoảng cách D từ hệ camera đến vật thể:. - Xác định khoảng cách từ hệ cameras đến vật thể. - Áp dụng ước lượng khoảng cách từ hệ cameras đến tâm quả cà chua chín trên cây. - Để ước lượng khoảng cách từ hệ camera quan sát đến tâm các quả cà chua chín được xác định, chúng tôi tiến hành áp dụng thuật toán định vị vị trí tâm của các quả cà chua chín cho ảnh bên trái, sau đó tiến hành tìm kiếm các tâm tương ứng của các quả cà chua chín trên ảnh bên phải. - Phương pháp sử dụng được gọi là tìm tổng bình phương sự khác biệt về mức xám giữa các pixels (Sum of Square Differences – SSD). - for mỗi pixel là tâm của quả cà trên ảnh bên trái do. - quá trình xác định vị trí tâm quả cà trên ảnh camera phải hoàn toàn phù hợp với vị trí tâm quả cà được ước lượng trên ảnh camera trái. - Qua quá trình 26 lần thực nghiệm đo khoảng cách trên các ảnh có nhiều quả cà chua chín cần nhận dạng. - Tổng số quả cà chua cần nhận dạng là 56 quả, kết quả đo khoảng cách từ hệ camera quan sát đến vị trí tâm quả cà cần xác định trên cây là rất khả quan với sai số trung bình khi ước lượng là 0.41 cm. - Hình 11: Kết quả ước lượng khoảng cách từ hệ camera đến tâm quả cà chua chín trên cây 3 KẾT QUẢ VÀ THẢO LUẬN. - Để đánh giá hiệu quả của phương pháp đề nghị, chúng tôi tiến hành chụp và sưu tập dữ liệu ảnh cà chua từ các vườn cà chua thuộc phạm vi thành phố Đà Lạt. - Tập dữ liệu bao gồm 100 ảnh với 244 quả cà chua chín cần nhận dạng. - Tập 1 gồm những ảnh không chứa quả cà chua chín cần nhận dạng nào,. - Tập 2 gồm những ảnh chỉ chứa đúng 1 quả cà chua chín cần nhận dạng,. - Tập ảnh thứ i gồm những ảnh chứa đúng i - 1 quả cà chua chín cần nhận dạng (i =3..8).. - Chúng tôi tiến hành thực nghiệm nhận dạng các quả cà chua chín trên các tập dữ liệu ảnh đã phân chia bằng 3 phương pháp: (1) kỹ thuật phân tích hình dáng dựa trên không gian kết tủa màu r-g đã đề nghị. - (2) kỹ thuật nhận dạng dựa trên sự kết hợp phân tích màu sắc và hình dáng. - Đối với mỗi phương pháp chúng tôi thống kê số lượng quả cà chua chín được phát hiện trên từng ảnh, số lượng quả nhận dạng đúng. - Bảng 1: Thống kê kết quả nhận dạng của ba phương pháp đối với từng tập dữ liệu ảnh. - Số lượng quả cần nhận dạng . - Số quả đã nhận dạng. - Phương pháp . - Phương pháp biến đổi Hough Circle Số quả nhận. - Phương pháp biến đổi Hough Circle Từ thống kê ở Bảng 1 ta thấy trong tất cả các. - trường hợp, đặc biệt, đối với ảnh càng phức tạp (số quả cần nhận dạng nhiều) thì sự vượt trội của 2 phương pháp được đề nghị càng thể hiện rõ so với. - số quả nhận dạng đúng nhiều hơn hẳn so với phương pháp biến đổi Hough Circle. - Ngoài ra phương pháp nhận dạng dựa trên không gian kết. - tủa màu r-g cũng cho kết quả hứa hẹn hơn so với phương pháp phân tích màu sắc.. - Kết quả so sánh tổng hợp hiệu quả của 3 phương pháp được trình bày như trong Bảng 2.. - Độ chính xác tổng hợp của quá trình nhận dạng theo các phương pháp phân tích hình dáng dựa trên các không gian màu khác nhau được đề nghị có độ chính xác lần lượt là 96.7% (phương pháp 1) và 88.9% (phương pháp 2) vượt trội hơn hẳn so với phương pháp biến đổi Hough Circle chỉ là 71.7%.. - Tóm lại, các kết quả phân tích và so sánh ở Bảng 1 và Bảng 2 chỉ ra rằng phương pháp phân tích hình dáng do chúng tôi đề nghị tốt hơn hẳn hướng tiếp cận theo phép biến đổi Hough Circle và hướng tiếp cận dựa trên mặt phẳng kết tủa màu r-g cho kết quả tốt nhất.. - Bảng 2: Kết quả so sánh tổng hợp độ chính xác của 3 phương pháp nhận dạng. - Số lượng quả cần nhận dạng 244 Phương pháp. - 96.7 Phương pháp. - 88.9 Phương pháp. - Trong nghiên cứu này, chúng tôi đã đề xuất một giải thuật xử lý ảnh hiệu quả để phát hiện, nhận dạng và ước lượng vị trí của quả cà chua chín trên cây cũng như khoảng cách từ tâm quả cà chua chín được xác định đến hệ thống quan sát. - Kết quả của nghiên cứu này có thể là tiền đề cho việc thiết kế robot hái trái cà chua chín tự động. - Các kết quả thực nghiệm và so sánh độ chính xác của phương pháp cho thấy phương pháp mặt phẳng kết tủa màu r-g kết hợp với kỹ thuật phân tích hình dáng là cho kết quả cao nhất (96.7. - Vì vậy, có thể áp dụng cho bài toán nhận dạng, định vị vị trí và ước lượng khoảng cách từ hệ camera quan sát đến quả cà chua chín trên cây.. - Trong tương lai, chúng tôi sẽ tiến hành nghiên cứu, phân tích, so sánh phương pháp đề xuất, cải tiến giải thuật để giảm thời gian xử lý cũng như. - tăng hiệu quả nhận dạng. - Đồng thời tiến hành thiết kế và thử nghiệm mô hình robot tự động hái quả cà chua chín trên cây và có mở rộng phương pháp để áp dụng cho các loại trái cây khác.