- Ôtô tự hành (AVG), Phát hiện làn đường, Vectơ-làn đường, Non-uniform Bspline (NUBS), Độ cong của làn đường. - Trong bài báo này, chúng tôi trình bày một giải thuật xử lý ảnh đơn giản giúp ôtô tự di chuyển trong giới hạn làn đường của mình. - Giải thuật sẽ tiến hành phát hiện là đường sử dụng khái niệm vectơ-làn đường và ước lượng độ cong của làn đường. - Nhiều dạng khác nhau của ảnh làn đường đã được sử dụng để minh họa cho tính hiệu quả của giải thuật được đề nghị. - Đa phần các hệ thống đều nhận dạng làn đường dựa trên các giả thuyết định trước về mô hình toán học biểu diễn cho làn đường. - Vì vậy, bài toán phát hiện và nhận dạng làn đường vẫn là đề tài cần tiếp tục nghiên cứu và phát triển.. - Bộ phận điều khiển sẽ điều khiển ôtô hay robot tự hành chuyển động dọc theo giới hạn làn đường của mình và có thể tránh các vật cản trên đường nếu cần. - Trong nghiên cứu này, chúng tôi đề xuất một giải thuật đơn giản cùng mô hình tính toán thích nghi dựa trên các kỹ thuật xử lý ảnh nhằm giúp ôtô tự hành có thể di chuyển và điều khiển lái để chỉ trong giới hạn làn đường của mình tùy theo độ cong của làn đường. - Đầu tiên, chúng tôi sử dụng khái niệm vectơ làn đường dựa trên lý thuyết Non-uniform Bspline (NUBS) để xây dựng các đường giới hạn cho làn đường trái và phải. - Tiếp theo, chúng tôi ước lượng độ cong của các làn đường trái và phải một cách riêng biệt. - chính xác cho ôtô từ vị trí hiện tại trên làn đường.. - Giải thuật ước lượng độ cong của làn đường sẽ được trình bày trong mục 3.. - Tiếp đến, phương pháp điều khiển góc lái để cho phép ôtô tự hành di chuyển đúng làn đường quy định được mô tả chi tiết trong mục 4. - 2 THUẬT TOÁN PHÁT HIỆN LÀN ĐƯỜNG Các thuật toán xử lý ảnh cho phát hiện làn đường có thể được phân chia thành ba nhóm chính:. - Hầu hết các nghiên cứu đều đi theo hướng tiếp thứ ba này, sử dụng mô hình toán học để mô hình hóa làn đường [1-4]. - Giải thuật cho phương pháp phát hiện làn đường của chúng tôi được trình bày như trong sơ đồ Hình 1. - Đây là một hướng tiếp cận dựa trên sự mở rộng của mô hình hóa làn đường.. - Đầu tiên, các điểm ảnh thuộc đường biên ảnh giới hạn làn đường sẽ được phát hiện nhờ thuật toán phát hiện đường biên Canny. - Phép nôi suy NBUS được sử dụng để xây dựng đường cong đại diện cho làn đường trái và phải một cách riêng biệt. - Trong nghiên cứu của chúng tôi, các làn đường trái và phải được phát hiện và xây dựng một cách tách biệt. - Hình 1: Lưu đồ giải thuật phát hiện làn đường 2.1 Mô hình hóa làn đường bằng đường cong B-Spline. - Chúng tôi đề xuất mô hình làn đường như mô tả ở Hình 2 mà chúng tôi gọi là khái niệm vectơ- làn đường (vecto-lane concept).. - Hình 2: Mô hình vectơ-làn đường cho bài toán phát hiện làn đường. - Đầu tiên, chúng tôi xét 2 đường quét ngang trong ảnh bản đồ làn đường đạt được từ ảnh phát hiện đường biên và định nghĩa các điểm điều khiển là A l , B l cho làn đường bên trái. - A r , B r cho làn đường bên phải. - Xây dựng các vectơ làn đường. - l 1 cho làn đường bên trái, r 1 A r B r cho làn đường bên phải. - Tiếp theo, chúng tôi ước lượng góc biểu diễn độ cong của đường biên biểu diễn làn đường sử dụng công thức (3):. - Sử dụng góc biểu diễn độ cong của làn đường được định nghĩa trong công thức (3) ở trên, chúng tôi phát triển giải thuật để tìm kiếm các điểm điều khiển trên đường cong B-Spline. - Bước 2: Xây dựng 2 vectơ làn đường l 1 và r 1 , sau đó tính góc nghiên của 2 vectơ này l và r theo công thức (3).. - hạn mô tả làn đường Xây dựng đường biên có độ. - Bước 3.1: Xác định vị trí của điểm C l ' dựa trên hướng của vectơ làn đường l 2 ' là một sự mở rộng (nối dài) của vectơ làn đường l 1 (Hình 2).. - Bước 3.2: Xác định vị trí của điểm C r ' dựa trên hướng của vectơ làn đường r 2 ' là một sự mở rộng (nối dài) của vectơ làn đường r 1 (Hình 2).. - Bước 3.4: Quét từ điểm C M sang trái để tìm điểm điều khiển C l nằm trên làn đường bên trái.. - Nếu không tìm được C l do làn đường bên trái không liên tục hoặc ảnh bị nhiễu ta sẽ sử dụng C l ' thay cho C l. - Bước 3.5: Quét từ điểm C M sang phải để tìm điểm điều khiển C r nằm trên làn đường bên phải.. - Nếu không tìm được C r do làn đường bên phải không liên tục hoặc ảnh bị nhiễu ta sẽ sử dụng C r ' thay cho C r. - Quá trình này bảo đảm rằng ta có thể phát hiện được gần như đầy đủ làn đường (Hình 3). - Ở đây chúng tôi chọn làn đường có độ dài dài hơn (làn đường bên trái) vì vậy điểm điều khiển đầu tiên không xuất hiện trên đường quét ngang ở làn đường bên phải.. - Hình 3: Phát hiện làn đường sử dụng khái niệm vectơ-làn đường. - DELTA_ANGLE là giá trị khác biệt của giá trị 2 góc nghiêng liên tiếp trên làn đường trái hoặc phải.. - Hình 4: Kết quả phát hiện làn đường với ảnh bị nhiễu giữa 2 làn đường. - Sau khi phát hiện được giới hạn của các làn đường, việc tiếp theo chúng tôi sẽ rút trích thông tin để ước lượng độ cong hay hướng của các làn đường. - Chúng tôi đề xuất thuật toán sau để ước lượng độ cong của các làn đường trái và phải một cách riêng biệt (Hình 5).. - Hình 5: Mô hình ước lượng độ cong làn đường Giải thuật ước lượng độ cong của các làn đường. - Bước 1: Tính 3 góc ước lượng độ cong cho mỗi làn đường sử dụng 4 đường quét từ cuối ảnh như minh họa ở Hình 5 và công thức (4):. - Bước 2.1: Đối với làn đường bên trái:. - Bước 2.2: Đối với làn đường bên phải:. - Bước 3.1: Đối với làn đường bên trái:. - l 1 c l l 1 (7) Bước 3.2: Đối với làn đường bên phải:. - Để lần vết làn đường và điều khiển góc lái cho ôtô tự hành chuyển động dọc theo làn đường quy định thì góc lái của xe cần phải được xác định. - Độ cong của làn đường trái l và làn đường phải r. - Ở đây p Vehicle phải thỏa mãn điều kiện 0 p Vehicle W với W là độ rộng của làn đường. - Hình 6: Minh họa vị trí ôtô trong làn đường Dựa trên các tham số đã định nghĩa trên, chúng tôi tiến hành xác định giá trị của góc lái cần thiết để điều khiển ôtô tự hành có thể chuyển động trong làn đường quy định.. - Bước 1: Tính toán 2 hệ số k l và k r tương ứng lần lượt cho các làn đường trái và phải sử dụng các công thức (11) sau:. - Trục thẳng đứng của làn đường. - 5 MỘT SỐ KẾT QUẢ THỰC NGHIỆM 5.1 Kết quả thực nghiệm minh họa giải thuật phát hiện làn đường. - Giải thuật phát hiện làn đường được kiểm tra trên tập ảnh sưu tập từ camera trong các điều kiện khác nhau về thời gian và vị trí chụp ảnh. - Hình 7 trình bày một số kết quả kiểm tra giải thuật được đề xuất trong một số trường hợp tiêu biểu sử dụng khái niệm vectơ-làn đường.. - Trường hợp 1: Làn đường có dạng gần như đường thẳng, không có nhiễu và độ dài của 2 làn đường trái và phải là xấp xỉ nhau. - Trong trường hợp này, giải thuật của chúng tôi phát hiện làn đường rất tốt và xây dựng lại đầy đủ làn đường bằng cách sử dụng hàm nội suy NUBS bậc 3 như minh họa sau:. - Trường hợp 2: Làn đường có dạng cong lệch sang trái hoặc sang phải và ảnh bị nhiễu bởi bóng cây trên đường. - Trong trường hợp này, hàm nội suy NBUS bậc 2 hoặc bậc 3 sẽ được sử dụng để xây dựng lại làn đường tùy thuộc vào số lượng điểm điều khiển được phát hiện nhờ kỹ thuật vectơ làn đường.. - Trường hợp 2.1: Làn đường có dạng cong lệch sang trái một ít và ảnh thu được không có nhiễu. - Trong trường hợp này, số điểm điều khiển được phát hiện trên 2 làn đường là không bằng nhau. - Tuy nhiên, làn đường vẫn được xây dựng lại một cách đầy đủ.. - Trường hợp 2.2: Làn đường có dạng cong lệch sang nhiều sang phải và ảnh thu được có nhiễu bóng cây trên làn đường phải. - Trong trường hợp này, sử dụng vectơ-làn đường giúp ta vượt qua vấn đề khó khăn về nhiễu. - Làn đường được phát hiện và xây dựng lại đầy đủ.. - Trường hợp 3: Làn đường có dạng cong lệch sang trái hoặc sang phải và ảnh bị nhiễu khá nhiều bởi bóng cây hay trụ đèn trên đường. - Trường hợp 3.1: Làn đường có dạng cong lệch sang trái và nhiễu do bóng cây xuất hiện nhiều trên làn đường:. - Trường hợp 3.2: Làn đường có dạng cong lệch sang phải và nhiễu do bóng cây xuất hiện khá dày trên làn đường:. - Trường hợp 3.3: Làn đường có dạng cong lệch sang trái và nhiễu do bóng cột đèn hiện nhiều trên làn đường:. - Trường hợp 4: Làn đường có dạng cong lệch nhiều sang một phía và làn đường còn lại bị mất (ảnh do camera chụp không nhìn thấy được làn đường còn lại). - Ngoài ra, làn đường còn bị nhiễu rất dày nhưng giải thuật của chúng tôi vẫn phát hiện và xây dựng lại thành công dạng làn đường này.. - Trường hợp 5: Trường hợp nhiễu khá nhiều xuất hiện trong vùng giới hạn của 2 làn đường giải thuật của chúng tôi định giá trị ngưỡng của DELTA_ANGLE kết hợp với vectơ làn đường cho phép xây dựng được các điểm điều khiển cho phép phát hiện và xây dựng lại các làn đường một cách chính xác.. - Hình 7: Một số kết quả thực nghiệm minh họa giải thuật phát hiện làn đường. - Trong trường hợp ảnh bị nhiễu quá nặng và nhiễu che khuất hầu hết vết sơn đánh dấu làn đường thì giải thuật phát hiện làn đường của chúng tôi bị thất bại không xây dựng lại được làn đường (Hình 8).. - Trường hợp 1: Làn đường có dạng cong lệch nhiều sang phải và vết sơn đánh dấu làn đường bị nhiễu bóng cây che phủ gần như toàn bộ. - Trong trường hợp này, giải thuật của chúng tôi không xây dựng được vectơ làn đường cho làn đường bên phải và không phát hiện được làn đường bên phải này.. - Trường hợp 2: Làn đường có dạng cong lệch nhiều sang phải và nhiễu do bóng cây che phủ phần. - lớn lòng đường và một phần làn đường. - Trong trường hợp này, đôi khi giải thuật của chúng tôi phát hiện và xây dựng được làn đường nhưng không chính xác hoàn toàn. - Hình 8: Các trường hợp giải thuật phát hiện làn đường bị thất bại. - Đối với tập ảnh đầu tiên, giải thuật của chúng tôi phát hiện làn đường thất bại trong 5 trường hợp và với tập ảnh thứ 2 là 7 trường hợp. - Nói tóm lại, phương pháp của chúng tôi phát hiện một làn đường thất bại nếu không thể xác định được 2 điểm điều khiển đầu tiên để xây dựng vectơ làn đường cho làn đường này.. - 5.2 Kết quả thực nghiệm ước lượng độ cong làn đường và xác định góc lái. - Trong phần này, chúng tôi trình bày một số kết quả mô phỏng minh họa cho giải thuật ước lượng độ cong của làn đường tính giá trị đầu ra của góc điều khiển lái cho ôtô tự hành.. - Trường hợp 1.1: Các làn đường có dạng gần như đường thẳng và không bị nhiễu. - Trường hợp 1.2: Làn đường có dạng cong sang phải và làn đường bị nhiễu một ít.. - Trường hợp 1.3: Làn đường có dạng cong sang trái và không bị nhiễu.. - Trường hợp 1.4: Làn đường bên phải có dạng cong rất nhiều sang trái, làn đường bên phải và làn đường bên trái bị mất.. - Một số dạng của trường hợp này được mô phỏng với dạng làn đường như sau:. - Kết quả này cũng rất phù hợp vì vị trí hiện hành của ôtô là ở gần làn đường giới hạn trái và làn đường chỉ cong sang trái một ít.. - Kết quả này cũng rất phù hợp vì vị trí hiện hành của ôtô là ở gần làn đường giới hạn phải và làn đường lại cong sang trái một ít.. - Một số dạng của trường hợp này được mô phỏng với dạng làn đường sau:. - Bài báo đã đề xuất một giải thuật xử lý ảnh mới và đơn giản cho bài toán phát hiện, xây dựng làn đường và điều khiển góc lái cho ôtô tự hành có thể chuyển động trong phạm vi làn đường cho phép.. - Phương pháp phát hiện làn đường có thể được áp dụng cho việc nhận dạng và xây dựng nhiều dạng làn đường khác nhau và có độ cong lớn dựa trên khái niệm vectơ-làn đường.. - Làn đường trái và phải được phát hiện và xây dựng tách biệt không giống như một số nghiên cứu đã có dựa trên giả thuyết 2 làn đường là đồng nhất.. - Ước lượng độ cong của các làn đường để cho phép điều khiển góc lái của ôtô chuyển động theo đúng giới hạn làn đường cho phép.