- CHƯƠNG 2: PHƯƠNG PHÁP ADABOOST VÀ CÁC ĐẶC TRƯNG HAAR FEATURE Giới thiệu chi tiết về phương pháp Adaboost và các đặc trưng Haar feature CHƯƠNG 3: XÂY DỰNG HỆ THỐNG Đưa ra các yêu cầu thực thi hệ thống : các yêu cầu về thiết bị tương tác và ngôn ngữ lập trình. - Hướng tiếp cận dựa trên đặc trưng không thay đổi. - Đánh giá hướng tiếp cận dựa trên đặc trưng bất biến. - Các khuôn mặt riêng (Eigenfaces. - 28 5 CHƯƠNG 2: PHƯƠNG PHÁP ADABOOST VÀ CÁC ĐẶC TRƯNG HAAR FEATURE. - Các đặc trưng Haar-Like. - Lựa chọn đặc trưng. - Trích chọn đặc trưng. - Xác định khuôn mặt sử dụng dữ liệu depth stream từ đầu Kinect. - Xác định khuôn mặt dựa trên phân tích thống kê. - 12 HÌNH 1.3: MỘT TRI THỨC VỀ KHUÔN MẶT. - 29 HÌNH 2.2: CÁC ĐẶC TRƯNG MỞ RỘNG CỦA CÁC ĐẶC TRƯNG HAAR-LIKE CƠ SỞ. - 30 HÌNH 2.3: CÁC ĐẶC TRƯNG HAAR-LIKE MỞ RỘNG MỚI. - 31 HÌNH 2.4: LỢI ÍCH CỦA ĐẶC TRƯNG HAAR-LIKE. - 35 HÌNH 2.8: ĐẶC TRƯNG 3 VÀ SỰ TƯƠNG QUAN MỨC XÁM. - Haar-like feature Các đặc trưng của đối tượng trong ảnh. - Các đặc trưng này thường được định nghĩa bằng các tính toán với tổng điểm ảnh của một vùng nào đó trên bức ảnh. - Hướng tiếp cận dựa trên đặc trưng bất biến (Feature-based methods) 3. - Dễ dàng để có được luật đơn giản để thể hiện các đặc trưng mặt người và mối quan hệ của chúng. - Tầng giữa: Sử dụng các tập luật mô tả chung về khuôn mặt. - Tầng cuối cùng: Dùng các tập luật xem xét một cách chi tiết các đặc trưng khuôn mặt. - Tầng cuối cùng: Dùng các tập luật của tầng này xem xét đặc trưng khuôn mặt các ứng viên qua được tầng giữa. - Ví dụ đặc trưng về mắt, miệng … Nhận xét: phương pháp này khá đơn giản, dễ thực hiện, tuy nhiên , kết quả lại chưa cao. - đặc trưng xám ngang. - đặc trưng xám dọc. - Các đặc trưng này đủ để phát hiện được các ứng viên khuôn mặt. - Phương pháp của họ tìm ra được đúng các ứng viên khuôn mặt. - Tỷ lệ phát hiện đúng là 86.5% và định vị đúng các đặc trưng của khuôn mặt như mắt, mũi, môi … Nhận xét: phương pháp của Kotropoulos Pitas khá đơn giản, dễ thực hiện, tuy nhiên, phương pháp này lại chỉ cho hiệu quả cao với các ảnh có một khuôn mặt, tư thế chụp thẳng và nền ảnh không quá phức tạp. - Dễ dàng xây dựng những nguyên tắc đơn giản để mô tả các đặc trưng của khuôn mặt và mối quan hệ giữa chúng. - Khó có thể mở rộng phương pháp này cho bài toán phát hiện khuôn mặt trong các trường hợp, tư thế khác nhau. - Khác với hướng tiếp cận dựa trên tri thức, theo hướng tiếp cận này các nhà khoa học cố gắng tìm ra các đặc trưng bất biến của khuôn mặt phục vụ việc phát hiện khuôn mặt. - Trên tư tưởng các đặc trưng bất biến này vẫn tồn tại và có thể được nhận biết trong nhiều trường hợp và tư thế khác nhau, đã có nhiều nghiên cứu trước là nhằm xác định các sự tồn tại đặc trưng khuôn mặt và sau là chỉ ra có khuôn mặt hay không. - Các đặc trưng như lông mày, mắt, mũi, miệng, và đường viền của tóc được trích bằng phương pháp xác định cạnh. - Phương pháp của Leung - Random Graph Matching Leung đã phát triển một mô hình xác suất để định vị khuôn mặt trong ảnh nền phức tạp dựa vào việc xác định các đặc trưng cục bộ và bộ so sánh đồ thị ngẫu nhiên (random graph matching) [3]. - Đưa ra quy tắc định vị khuôn mặt thông qua các đặc trưng của mặt bằng việc tìm ra một trật tự hình học các đặc trưng sao cho gần nhất với mẫu khuôn mặt nhất. - Các đặc trưng được xác định bởi giá trung bình các đáp ứng đa hướng, đa tỷ lệ qua bộ lọc đạo hàm Gauss. - Học các cấu hình của đặc trưng khuôn mặt với phân bố Gauss của các khoảng cách qua lại giữa các đặc trưng. - Dựa trên sự gần giống nhau giữa các đặc trưng, dung bộ lọc Gauss để định vị các đặc trưng là ứng viên. - Cuối cùng, dung bộ khớp đồ thị ngẫu nhiên (random graph matching) đối với các đặc trưng ứng viên trên để xác định khuôn mặt. - Cụ thể hơn, ông mô tả khuôn mặt chuẩn thông qua 5 đặc trưng : 2 mắt, 2 lỗ mũi, đoạn giữa môi và mũi. - Chọn hai đặc trưng với đáp ứng tốt nhất để làm cơ sở cho việc tìm 16 các đặc trưng khác của khuôn mặt. - Vì rằng các đặc trưng không thể xuất hiện tùy tiện nên có thể mô hình xác xuất để định vị chúng qua khoảng cách. - Các hình sao được hình thành từ các đặc trưng ứng viên trong vùng thích hợp. - Việc tìm kiếm hình sao tốt nhất được xem như việc khớp đồ thị mà các nút tương ứng với các đặc trưng khuôn mặt, còn các cạnh ứng với khoảng cách giữa các đặc trưng. - Đánh giá hướng tiếp cận dựa trên đặc trưng bất biến Ưu điểm. - Phát hiện được khuôn mặt trong nhiều tư thế và kiểu chụp khác nhau vì đặc trưng khuôn mặt không thay đổi theo tư thế chụp. - Sau đó ông dùng 40 mẫu để tìm ra các đặc trưng khuôn mặt và dùng một phương pháp để chỉ ra và đánh giá kết quả từ những mẫu của các đặc trưng trên. - chính vì vậy sử dụng các chỉ số này ta có thể tạo ra một mẫu với các tỉ số tương ứng với các đặc trưng như mắt, hai má và trán. - Dùng mẫu biến dạng Yuille phát triển một phương pháp dùng các mẫu biến dạng để mô hình hóa các đặc trưng khuôn mặt [8]. - Ở đây, các đặc trưng khuôn mặt được mô tả bởi các mẫu được tham số hóa. - Bây giờ để bắt đầu, ông định nghĩa vùng chữ nhật có các đặc trưng cần xem xét. - Phân tích các nhân tố ứng với đặc trưng được huấn luyện để có được hàm phân 21 bố. - Các phương pháp sử dụng mô hình xác suất dựa trên ý tưởng như sau: một ảnh hay một véc tơ đặc trưng xuất phát từ ảnh đầu vào sẽ được xem như một biến x và thêm nữa là giá trị ngẫu nhiên mô tả cho khuôn mặt và không phải khuôn mặt bởi hàm mật độ xác suất có điều kiện p(x | khuôn mặt) và p(x | không phải khuôn mặt), sau đó dùng các phương pháp để phân loại. - Các khuôn mặt riêng (Eigenfaces) Theo Kirby và Sirovich [10], các ảnh khuôn mặt có thể biểu diễn tuyến tính bởi một số hữu hạn các ảnh cơ sở dựa trên phép biến đổi KL - kĩ thuật phân tích thành phần chính (PCA). - Và để phát hiện khuôn mặt trong ảnh cần phải áp dụng trên toàn bộ ảnh. - Phần 1 là phát hiện vị trí mắt áp dụng phướng pháp Adaboost kết hợp với các đặc trưng Haar-Like. - Dựa vào các đặc trưng này, sau khi nhận diện được vị trí của mắt, ta có lọc ra vị trí của con ngươi sau đó chuyển ảnh sang dạng binary tức chỉ còn hai màu đen và trắng. - 29 CHƯƠNG 2: PHƯƠNG PHÁP ADABOOST VÀ CÁC ĐẶC TRƯNG HAAR FEATURE 2.1. - Các đặc trưng Haar-Like Một đối tượng được đặc trưng bởi tập hợp các pixel, các pixel này tạo lên những điểm khác biệt so với các vùng pixel khác . - Tư tưởng kết hợp các vùng pixel với nhau tạo ra đặc trưng có khả năng phân loại tốt các vùng của khuôn mặt được đưa ra nhiều. - Trong số đó đặc trưng haarlike đã được ứng dụng và tỏ ra rất hiệu quả. - Viola và Jones dùng 4 đặc trưng cơ bản để xác định khuôn mặt người. - Mỗi đặc trưng Haar–like là sự kết hợp của hai hay ba hình dạng được mô tả như sau:. - Hình 2.1: 4 đặc trưng Haar-like cơ bản Mỗi đặc trưng có một kích cỡ bất kì và nhỏ hơn kích cỡ của cửa sổ con (của sổ dùng để quét bức ảnh để xác định ra vùng đối tượng mong muốn). - Kích cỡ của mỗi hình dạng trong mỗi đặc trưng cũng có thể khác nhau. - Các đặc trưng này không chỉ được dùng để phát hiện khuôn mặt mà còn có thể được dùng để phát hiện một đối tượng bất kì trong ảnh. - Trong luận án, tôi dùng các đặc trưng này để phát hiện vị trí của “mắt người” trong ảnh. - Các đặc trưng này sẽ được kết hợp với phương pháp Adaboost. - Phương pháp này sẽ được trình bày trong các phần sau của chương này Để áp dụng các đặt trưng này vào việc bài toán xác định đối tượng trong ảnh, 4 đặt trưng Haar-like cơ bản được mở rộng ra, và được chia làm 3 tập đặc trưng như sau: 30 1. - Đặc trưng cạnh (edge features): 2. - Đặc trưng đường (line features): 3. - Đặc trưng xung quanh tâm (center-surround features): Hình 0.2: Các đặc trưng mở rộng của các đặc trưng Haar-like cơ sở Sau này các đặc trưng này còn được mở rộng ra rất nhiều, để nâng cao tính chính xác cho bài toán phát hiện đối tượng trong ảnh. - 31 Hình 2.3: Các đặc trưng Haar-Like mở rộng mới Lợi ích của các đặc trưng Haar-like là nó diễn đạt được tri thức về các đối tượng trong ảnh (bởi vì nó biểu diễn mối liên hệ giữa các bộ phận của đối tượng), điều mà bản thân từng điểm ảnh không diễn đạt được. - Để tính giá trị các đặc trưng haar-like, ta tính sự chênh lệch giữa tổng của các pixel của các vùng đen và các vùng trắng như trong công thức sau: f(x. - Tổngvùng trắng(pixel) Lấy ví dụ phát hiện khuôn mặt, ta dùng giá trị của các đặc trưng haar-like để xác định vùng ảnh tương ứng có phải là khuôn mặt hay không. - Trong bức ảnh thứ hai thì giá trị đặc đặc trưng sẽ nhỏ vì hai vùng có màu sắc gần giống nhau. - Dựa vào các giá trị đặc trưng đó kết hợp với một giá trị mức ngưỡng ta sẽ xác định được vùng ảnh đó có phải là khuôn mặt hay không. - 32 Hình 2.4: Lợi ích của đặc trưng Haar-Like Như vậy ta có thể thấy rằng, để tính các giá trị của đặc trưng Haar-like, ta phải tính tổng của các vùng pixel trên ảnh. - Nhưng để tính toán các giá trị của các đặc trưng Haar-like cho tất cả các vị trí trên ảnh đòi hỏi chi phí tính toán khá lớn, không đáp ứng được cho các ứng dụng đòi hỏi tính run-time. - Tổng quan về Adaboost Học theo “adaboost” là một cách trong hướng tiếp cận dựa trên diện mạo, Viola và Jones dùng AdaBoost kết hợp cascade để xác định khuôn mặt người với các đặc trưng dạng Haar wavelet-like. - Xây dựng weak classifier ứng với đặc trưng F cho mỗi mẫu với các giá trị Threshold và parity tìm được ở trên Với cách xác lập trên bộ phân loại yếu vẫn thỏa mãn được tính chất: tỷ lệ phân loại đúng. - xkm) là vector đặc trưng và yk (-1, 1) là nhãn của mẫu (1 ứng với object, -1 ứng với background). - T Với mỗi đặc trưng trong vector đặc trưng, xây dựng một weak classifier hj với ngưỡng θj và lỗi εj. - Xây dựng bộ phân loại mạnh theo mô hình Cascade Ta thấy quá trình huấn luyện, bộ phân loại phải duyệt qua tất cả các đặc trưng của các mẫu trong tập training. - Đối với những mẫu này, ta chỉ cần xét một hay vài đặc trưng đơn giản là có thể nhận diện được chứ không cần xét tất cả các đặc trưng. - Nhưng đối với các bộ phân loại thông thường thì cho dù mẫu cần nhận dạng là dễ hay khó thì nó vẫn sẽ xét tất cả các đặc trưng mà nó rút ra được trong quá trình học. - Hình 2.12. - Classifier ở stage thứ 2 sử dụng 10 đặc trưng loại được 80% mẫu background với độ chính xác vẫn là 100%. - Kết luận Trong suốt Chương 2, tôi đã tìm hiểu, phân tích về phương pháp adaboost và các đặc trưng haarfeature cũng như việc ứng dụng chúng trong bài toán nhận dạng khuôn mặt và hướng mắt của một số tác giả. - Trên cơ sở những kiến thức tìm hiểu được, tôi thấy việc sử dụng thuật toán adaboost kết hợp với các đặc trưng haarfeature là một hướng đi phù hợp, đáp ứng được nhu cầu thực tế khi xây dựng hệ thống trong Chương 3 luận văn này. - Xác định khuôn mặt sử dụng dữ liệu depth stream từ đầu Kinect 3.2.1. - “verticalIntensityStatistics” của class “NbasicImageProcessing” Hình 3.9: Biểu đồ thống kê 56 Hai biểu đồ này đặc trưng cho đường biên bao đối tượng trong ảnh, và sự biến thiên về hình dạng của đối tượng. - Dựa vào đó ta có thể dễ dàng tìm xác định các điểm đặc trưng ví dụ như các điểm cực trị cả đồ thị để từ đó cắt lấy ra đối tượng mong muốn. - Như vậy tổng cộng là 5000 mẫu kết hợp 59 với khoảng 5 loại đặc trưng haar-like (xem phần 3.3.1). - Với 5 loại đặc trưng này nếu dùng của sổ quét là 20x20 thì tạo ra khoảng 78.460 đặc trưng với các kích cỡ và vị trí khác nhau. - File này đặc trưng cho một cascade classifier. - Kết nối đến camera Tách vùng đầu người trong ảnh Phát hiện vị trí mắt sử dùng Adaboost kết hợp đặc trưng haar-like Phát hiện vị trí con người Xác định hướng nhìn của mắt dựa vào vị trí con ngươi 3.4.2. - “convertToGray” chuyển anh sang dạng gray scale - “getIntegral”: tính ảnh tích phân - “findPeakAndValley”: tìm các điểm cực trị của đồ thi thống kê Class “NTrainedSet”: đọc dữ liệu từ file training Class “NDetector”: chứa các hàm dùng để phát hiện đối tượng trong ảnh sử dụng phương pháo Adaboost kết hợp với các đặc trưng haar-like. - Kết luận và hướng phát triển Kết luận: Trên cơ sở nghiên cứu bài toán phát hiện mặt người, đặc biệt là thuật toán Adaboost kết hợp với các đặc trưng Haar-Like, tôi đã đạt được một số bước tiến trong việc giải quyết một hướng đi nhỏ của bài toán là nhận diện hướng mắt. - Về mặt thuật toán thì ngoài thuật toán Adaboost kết hợp các đặc trưng Haar-Like, ta có cũng có thể sử dụng mạng neutron để huấn luyện, phân loại mặt và mắt hoặc một hướng đi khác là sử dụng ảnh depth kết hợp với các đặc trưng Haar-Like để phân loại mặt người
Xem thử không khả dụng, vui lòng xem tại trang nguồn hoặc xem
Tóm tắt