- Tìm hiểu và sử dụng cảm biến nhận dạng vân tay R305 và khóa điện 12v. - SVTH: Hà Duy Thiện 2 ĐỒ ÁN TỐT NGHIỆP GVHD: ThS.Trần Hoàn NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN. - SVTH: Hà Duy Thiện 4 ĐỒ ÁN TỐT NGHIỆP GVHD: ThS.Trần Hoàn TÓM TẮT ĐỒ ÁN Thị giác máy tính và sinh trắc vân tay là những lĩnh vực khá mới mẻ và hứa hẹn nhiều bước phát triển nhảy vọt trong tương lai. - Đặc biệt là những nơi có yêu cầu bảo mật cao như các cơ quan pháp luật, nơi lưu trữ thông tin,… Đề tài: “Khóa điện bảo mật 2 lớp bằng vân tay và nhận diện gƣơng mặt ” được thực hiện dựa trên ý tưởng đó. - Trong đề tài này, ngoài những kiến thức về xử lý ảnh số, OpenCV, nhận dạng vân tay từ arduino, giao tiếp giữa raspberry và arduino, đề tài còn tập trung đi sâu nghiên cứu về mô hình Cascade of Boosted Classifer dùng đặc trưng Haar-like Feature, thực hiện huấn luyện các bộ nhận dạng dùng ứng dụng HaarTraining. - Sử dụng raspicam thu nhận hình ảnh chuyền về cho raspberry xử lý nhận dạng khuôn mặt và sử dụng arduino thực thi chức năng quét nhận dạng vân tay và điều khiển khóa điện. - Nhận dạng vân tay. - Nhận dạng khuôn mặt. - Hệ thống xử lý ảnh. - Xử lý vân tay. - Cảm biến nhận dạng vân tay R305. - 31 SVTH: Hà Duy Thiện 6 ĐỒ ÁN TỐT NGHIỆP GVHD: ThS.Trần Hoàn 2.8.5. - 60 SVTH: Hà Duy Thiện 7 ĐỒ ÁN TỐT NGHIỆP GVHD: ThS.Trần Hoàn DANH MỤC HÌNH ẢNH Hình 2.1. - Mô hình phân tần kết hợp các bộ phân loại yếu để xác định khuôn mặt. - 24 Hình 2.10. - 24 Hình 2.11. - 25 Hình 2.12. - 27 Hình 2.13. - 28 Hình 2.14. - 30 Hình 2.15. - 31 Hình 2.16. - 32 Hình 2.17. - 46 Hình 3.10. - 47 Hình 3.11. - 47 Hình 4.1 Sơ đồ nối dây. - 48 Hình 4.2 Mô hình mặt trước. - 48 Hình 4.3 Mô hình mặt sau. - 49 Hình 4.4 Giao diện hiển thị. - 49 SVTH: Hà Duy Thiện 8 ĐỒ ÁN TỐT NGHIỆP GVHD: ThS.Trần Hoàn DANH M C BẢNG BI U Bảng 1. - Các điểm lân cận của điểm ảnh. - Ở nước ta, hoạt động nghiên cứu và thiết kế các hệ thống nhận dạng đang có những bước đầu phát triển trong các trường đại học. - Các đề tài nghiên cứu khoa học và đồ án trước đây chủ yếu tập trung vào các mảng nhận dạng dấu vân tay để hỗ trợ điều khiển trong các hệ thống an ninh… Tuy nhiên, các đề tài liên quan tới giao tiếp giữa người và máy tính thông qua nhận dạng khuôn mặt kết hợp với nhận dạng vân tay vẫn chưa được phát triển đầy đủ. - Nhận thấy đây là hướng phát triển mới và có tiềm năng ứng dụng cao, đồ án “Khóa điện bảo mật 2 lớp bằng vân tay và nhận diện gƣơng mặt” tập trung vào việc kết hợp những kiến thức về thị giác máy tính và xử lí ảnh số để xây dựng nên một hệ thống mà trong đó con người có thể điều khiển đối tượng thông qua việc nhận diện khuôn mặt và vân tay. - Mục tiêu đề tài - Nhận diện được khuôn mặt người, nhận diện được vân tay. - Tìm hiểu cách thức vận hành của quá trình nhận dạng khuôn mặt. - SVTH: Hà Duy Thiện 11 ĐỒ ÁN TỐT NGHIỆP GVHD: ThS.Trần Hoàn 1.3. - Cảm biến: cảm biến nhận dạng vân tay R305. - Các phương pháp, thuật toán để phục vụ cho việc phát hiện và nhận diện khuôn mặt người và vân tay - Nghiên cứu các bộ thư viện phục vụ cho quá trình xử lý: OpenCV, Adafruit_Fingerprint. - Phạm vi nghiên cứu - Tìm hiểu và sử dụng cảm biến nhận dạng vân tay R305 và khóa điện 12v. - Tập trung nghiên cứu, tìm hiểu về nhận dạng khuôn mặt (Face Recognition) chứ không chú trọng tìm hiểu phát hiện khuôn mặt (Face Detection. - Việc xử lý ảnh, nhận dạng khuôn mặt thỏa mãn các điều kiện. - SVTH: Hà Duy Thiện 12 ĐỒ ÁN TỐT NGHIỆP GVHD: ThS.Trần Hoàn CHƢƠNG 2. - Vân tay đã được biết tới với tính phân biệt (tính chất cá nhân) và ổn định theo thời gian cao nhất, vì vậy nó là đặc trưng sinh trắc được sử dụng rộng rãi nhất. - Nhận dạng sinh trắc đề cập đến việc sử dụng các đặc tính hành vi và thể chất (ví dụ: vân tay, gương mặt, chữ kí…) có tính chất khác biệt để nhận dạng một người một cách tự động. - Nhận dạng vân tay và nhận dạng khuôn mặt được xem là một trong những kỹ thuật nhận dạng hoàn thiện và đáng tin cậy nhất. - chúng được xem là đáng tin cậy hơn trong nhận dạng một người so với các phương pháp trên. - Vân tay và khuôn mặt là những đặc điểm khá đặc biệt của con người bởi vì tính đa dạng của nó, mỗi người sở hữu một dấu vân tay và khuôn mặt khác nhau. - Chưa có thông tin trường hợp mà có những người cùng dấu vân tay và khuôn mặt trùng nhau. - Bằng việc sử dụng vân SVTH: Hà Duy Thiện 13 ĐỒ ÁN TỐT NGHIỆP GVHD: ThS.Trần Hoàn tay và khuôn mặt, việc xác nhận một người có thể được thực hiện bằng một hệ thống nhận dạng vân tay và khuôn mặt hoàn toàn an toàn. - Nhận dạng vân tay Ngày nay, người ta cũng lợi dụng các đặc điểm riêng biệt của vân tay để xây dựng các hệ thống bảo mật các thông tin riêng tư cho người sở hữu chúng, từ việc dùng các ổ khóa vân tay thay thế cho các ổ khóa thông thường cho đến việc dùng vân tay thay thế mật khẩu đã quá phổ biến trong thời đại công nghệ thông tin. - Người ta chỉ cần quét dấu vân tay của mình qua các thiết bị chức năng là có thể mở được một cánh cửa, đăng nhập vào hệ thống máy vi tính, qua một phòng bí mật hay các trạm bảo vệ bí mật. - Trong lĩnh vực quản lý nhân sự, phương pháp nhận dạng vân tay còn hỗ trợ đắc lực cho việc quản lý và chấm công tại các nhà máy, xí nghiệp, công ty bằng máy các máy chấm công vân tay. - Tuy nhiên, phổ biến nhất có lẽ là dấu vân tay của chúng ta qua mặt sau của chứng minh thư để xác định một cách nhanh nhất các đặc điểm, hồ sơ của một công dân đã được lưu trong cơ sở dữ liệu 2.3. - Nhận dạng khuôn mặt Các công ty lớn như Facebook, Apple và Google đang tích cực nghiên cứu vấn đề này để cung cấp các dịch vụ như tìm kiếm trực quan, tự động gắn thẻ bạn bè trong các bài đăng trên phương tiện truyền thông xã hội và khả năng sử dụng khuôn mặt của bạn để mở khóa điện thoại di động, hay có thể thanh toán dịch vụ. - Phát hiện tội phạm nguy hiểm công nghệ nhận dạng khuôn mặt đang được một số lực lượng cảnh sát sử dụng để hỗ trợ vào việc thực thi pháp luật. - Hỗ trợ trong việc thanh toán vào tháng 7/2018, một công ty Phần Lan, Uniqul đã tạo ra một hệ thống có thể thanh toán tiền thông qua nhận dạng khuôn mặt. - Một bài báo của Huffington Post mô tả công nghệ mới này, họ đã sử dụng nhận dạng khuôn mặt làm phương pháp bảo mật chính. - Sơ đồ tổng quát của một hệ thống xử lý ảnh: SVTH: Hà Duy Thiện 15 ĐỒ ÁN TỐT NGHIỆP GVHD: ThS.Trần Hoàn Thu nhận Tiền xử lý Phân đoạn Nhận dạng Biểu diễn ảnh ảnh ảnh và nội suy Cơ sở tri thức Hình 2.2. - Phân vùng ảnh là tách một ảnh đầu vào thành các vùng thành phần để biểu diễn phân tích, nhận dạng ảnh. - Ví dụ: để nhận dạng chữ (hoặc mã vạch) trên phong bì thư cho mục đích phân loại bưu phẩm, cần chia các câu, chữ, về địa chỉ hoặc tên người thành các từ, các chữ, các số (hoặc các vạch) riêng biệt để nhận dạng. - Kết quả nhận dạng ảnh phụ thuộc rất nhiều vào công đoạn này. - Ví dụ: trong nhận dạng ký tự trên phong bì thư, chúng ta miêu tả các đặc trưng của từng ký tự giúp phân biệt ký tự này với ký tự khác. - Nhận dạng ảnh và nội suy ảnh (Image Recognition and Interpretation). - Nhận dạng ảnh là quá trình xác định ảnh. - Nội suy là phán đoán theo ý nghĩa trên cơ sở nhận dạng. - SVTH: Hà Duy Thiện 16 ĐỒ ÁN TỐT NGHIỆP GVHD: ThS.Trần Hoàn Theo lý thuyết về nhận dạng, các mô hình toán học về ảnh được phân theo hai loại nhận dạng ảnh cơ bản. - Nhận dạng theo tham số. - Nhận dạng theo cấu trúc. - Một số đối tượng nhận dạng khá phổ biến hiện nay đang được áp dụng trong khoa học và công nghệ là: nhận dạng ký tự (chữ in, chữ viết tay, chữ ký điện tử), nhận dạng văn bản (Text), nhận dạng vân tay, nhận dạng mã vạch, nhận dạng mặt người… Cơ sở tri thức (Knowledge Base). - SVTH: Hà Duy Thiện 17 ĐỒ ÁN TỐT NGHIỆP GVHD: ThS.Trần Hoàn Mức xám của ảnh: Một điểm ảnh (pixcel) có hai đặc trưng cơ bản là vị trí (x, y) của điểm ảnh và độ xám của nó. - SVTH: Hà Duy Thiện 19 ĐỒ ÁN TỐT NGHIỆP GVHD: ThS.Trần Hoàn 2.5. - Khi tiến hành nhận dạng một mẫu X, kết quả sẽ được quyết định bởi sự thoả thuận của 3 bộ C1 , C2 , và C3 . - Là một cải tiến của tiếp cận boosting, AdaBoost sử dụng thêm khái niệm trọng số (weight) để đánh dấu các mẫu khó nhận dạng. - Trong quá trình huấn luyện, cứ mỗi weak classifiers được xây dựng, thuật toán sẽ tiến hành cập nhật lại trọng số để chuẩn bị cho việc xây dựng weak classifier kế tiếp: tăng trọng số của các mẫu bị nhận dạng sai và giảm trọng số của các mẫu được nhận dạng đúng bởi weak classifier vừa xây dựng. - Kết hợp các bộ phân loại yếu thành bộ phân loại mạnh SVTH: Hà Duy Thiện 21 ĐỒ ÁN TỐT NGHIỆP GVHD: ThS.Trần Hoàn 2.6. - Vậy ta có thể viết lại biểu thức tính D ở trên như sau: Hình 2.10. - Xử lý vân tay Hai phương pháp nhận dạng vân tay thường được sử dụng là. - Phương pháp 2: So sánh toàn bộ đặc tính của dấu vân tay. - Thực tế đây là hai mức độ của nhận dạng và dễ thấy rằng phương pháp 2 đã bao gồm phương pháp 1. - Tuy nhiên do đặc điểm của vân tay, nếu ta không phải so sánh quá nhiều (cơ sở dữ liệu không quá lớn) các đặc điểm đặc biệt trên dấu vân tay đủ để ta nhận dạng ra dấu vân tay đó của ai. - Identification (Nhận diện dấu vân tay): Dấu vân tay sẽ được đưa thu thập từ một sensor để đối chiếu với database chứa các vân tay để truy ra các đặc điểm muốn truy xuất. - Việc đối sánh ảnh vân tay cần nhận dạng chỉ cần được tiến hành trên các vân tay (có trong cơ sở dũ liệu) thuộc loại đã được xác định nhờ quá trình phân loại. - Đây là giai đoạn quyết định xem hai ảnh vân tay có hoàn toàn giống nhau hay không và đưa ra kết quả nhận dạng, tức là ảnh vân tay cần nhận dạng tương ứng với vân tay của cá thể nào đã được lưu trữ trong cơ sỏ dữ liệu. - Để đánh giá một hệ thống nhận dạng vân tay ta cần phân tích hai loại lỗi đó là: Lỗi từ chối nhầm (False Reject Rate: FRR) và lỗi chấp nhận nhầm (False Accept Rate: FAR). - FFR= (số lỗi từ chối nhầm của các vân tay khác nhau. - FAR= (số lỗi chấp nhận nhầm của các vân tay khác nhau. - Hình 2.11. - Quan hệ FAR, FRR, SUM và EER Như vậy dựa theo cách trên, để nhận diện vân tay theo đúng tên gọi của mình, cảm biến vân tay sẽ quét vân tay và so sánh với một hình ảnh quét vân tay đã được lưu lại từ trước. - Do mỗi người có một vân tay khác nhau nên hệ thống có thể nhận dạng người sử dụng một cách an toàn. - SVTH: Hà Duy Thiện 25 ĐỒ ÁN TỐT NGHIỆP GVHD: ThS.Trần Hoàn 2.8. - Hình 2.12. - Hình 2.13. - Arduino uno SVTH: Hà Duy Thiện 27 ĐỒ ÁN TỐT NGHIỆP GVHD: ThS.Trần Hoàn Arduino UNO có thể sử dụng 3 vi điều khiển họ 8bit AVR là: ATmega8 (Board Arduino Uno r2), ATmega168, ATmega328 (Board Arduino Uno r3). - Hình 2.14. - Giao diện arduino IDE SVTH: Hà Duy Thiện 29 ĐỒ ÁN TỐT NGHIỆP GVHD: ThS.Trần Hoàn 2.8.3. - Cảm biến nhận dạng vân tay R305 Cảm biến nhận dạng vân tay R305 được tích hợp nhân xử lý nhận dạng vân tay phía trong, tự động gán vân tay với 1 chuỗi data và truyền qua giao tiếp UART ra ngoài nên hoàn toàn không cần các thao tác xử lý hình ảnh, đơn giản chỉ là phát lệnh đọc/ghi và so sánh chuỗi UART nên rất dễ sử dụng và lập trình. - Cảm biến nhận dạng vân tay R305 có khả năng lưu nhiều vân tay cho 1 ID (1 người), thích hợp cho các ứng dụng bảo mật, khóa cửa, sinh trắc học. - Hình 2.15. - Cảm biến nhận dạng vân tay R305 Thông số kỹ thuật. - Nguồn cấp: 3.6 - 6VDC - Giao tiếp: TTL-UART hoặc USB 1.1 - Dòng điện hoạt động: 100 - 150mA - Chế độ nhận dạng: 1:1 hoặc 1:N (1 ID nhiều vân tay, tùy thuộc vào cấu hình