- PHẠM TRẦN THIỆN NGHIÊN CỨU MỘT SỐ KỸ THUẬT XỬ LÝ VIDEO VÀ ỨNG DỤNG VÀO XÂY DỰNG PHẦN MỀM GIÁM SÁT, QUẢN LÝ TỰ ĐỘNG CÁC TRANG TRẠI Ngành: Công Nghệ Thông Tin Chuyên ngành: Công Nghệ Phần Mềm Mã số: 60 48 10 LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC TS. - 4 Chương 1:- TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ VIDEO. - 7 1.1 Tổng quan về xử lý ảnh. - 7 1.1.1 Xử lý ảnh và sơ đồ tổng quát. - 7 1.1.2 Một số vấn đề cơ bản của xử lý ảnh. - 10 1.1.2.1 Các khái niệm cơ bản của xử lý ảnh. - 10 1.1.2.2 Các kỹ thuật cơ bản trong xử lý ảnh. - 14 1.2 Tổng quan về xử lý Video Error! Bookmark not defined. - Chương 2:- CÁC KỸ THUẬT ĐÁNH GIÁ VẬN ĐỘNG CỦA ĐỐI TƯỢNG TRONG VIDEO Error! Bookmark not defined. - 2.1 Kỹ thuật bắt đối tượng chuyển động Error! Bookmark not defined. - Phương pháp Heikkila và Olli Error! Bookmark not defined. - 2.2 Các thuật toán đánh giá vận động của đối tượng trong Video Error! Bookmark not defined. - 2.2.1 Sự quan trọng của đánh giá chuyển động trong xử lý ảnh Error! Bookmark not defined. - 2.2.3 Một số vấn đề liên quan đánh giá chuyển động Error! Bookmark not defined. - 2.2.4 Các phương pháp đánh giá chuyển động Error! Bookmark not defined. - 2.2.4.2 Phương pháp phát hiện chuyển động nổi trội Error! Bookmark not defined. - 2.2.4.3 Phương pháp đánh giá vận động toàn diện Error! Bookmark not defined. - 3.1 Một số đặc điểm hành vi liên quan đến bệnh tật và động dục ở bò sữa Error! Bookmark not defined. - 3.3 Cài đặt các kỹ thuật liên quan Error! Bookmark not defined. - 3.3.5 Phát hiện và đánh dấu chuyển động của đối tượng Error! Bookmark not defined. - 3.3.6.1 Phát hiện đối tượng chuyển động dựa theo hướng tiếp cận trừ khung hình liền kề Error! Bookmark not defined. - 3.3.6.2 Phát hiện đối tượng chuyển động theo hướng tiếp cận kết hợp Error! Bookmark not defined. - 3.3.7 Thuật toán phát hiện vận động toàn diện của đối tượng Error! Bookmark not defined. - Các vấn đề liên quan đến giám sát tự động như: dự đoán, cảnh báo đối tượng đột nhập. - Từ dữ liệu thu được qua camera quan sát dưới dạng video lưu trữ trên máy tính rồi tiến hành tìm hiểu, nghiên cứu các vấn đề liên quan đến nó để từ đó đưa ra các phương pháp, thuật toán và cài đặt phần mềm ứng dụng cho vấn đề nghiên cứu này. - Với những tiến bộ trong lưu trữ dữ liệu video và thiết bị công nghệ máy tính, nhiều ứng dụng mới liên quan đến hệ thống thông tin video đang ngày càng nổi trội. - Để khai thác tốt được thông tin trong dữ liệu video thì cần tìm hiểu, nghiên cứu nhiều hơn nữa các vấn đề liên quan đến phân tích, đánh giá thông tin trên dữ liệu video và xây dựng thuật toán cho xử lý các vấn đề này. - Lĩnh vực giám sát tự động cũng đang phát triển cả về công nghệ và lĩnh vực phần mềm liên quan. - Nhưng để một ứng dụng giám sát tự động có kết quả tốt cần phải có hệ thống các kỹ thuật, các phương pháp, các thuật toán liên quan đến xử lý và nhận dạng đối với ảnh kỹ thuật số và video, để từ đó xây dựng nên các phần mềm kết hợp với các thiết bị trong vấn đề giám sát tự động. - Ngày nay, trên thế giới cũng đã có nhiều thành tựu về các sản phẩm ứng dụng liên quan đến xử lý và nhận dạng video trong lĩnh vực giám sát tự động như: giám sát chống trộm. - và một số các nghiên cứu liên quan đến nhận diện hành vi con người, loài vật. - Xuất phát từ thực tế này, vấn đề nghiên cứu các kĩ thuật xử lý video quan sát và ứng dụng cài đặt phần mềm liên quan để hỗ trợ tốt nhất cho các công việc giám sát đối với tình hình ở các trang trại chăn nuôi bò sữa này là cần thiết. - Trong đó, vấn đề liên quan đến xử lý và nhận dạng video trong giám sát tự động phục vụ cho nhu cầu phát hiện và cảnh báo một số hành vi bất thường của bò sữa như phát hiện ra dấu hiệu bất thường của một con bò sữa nào đó trong trang trại với các dấu hiệu, động dục, sinh nở, ốm đau. - Phạm Việt Bình tôi tiến hành thực hiện đề tài “Nghiên cứu một số kỹ thuật xử lý Video và ứng dụng vào xây dựng phần mềm giám sát, quản lý tự động các trang trại”. - Trong khuôn khổ của luận văn này, mục tiêu của đề tài là tìm hiểu và nghiên cứu một số kỹ thuật, phương pháp trong việc nhận diện, hiểu được một số hành động của động vật để từ đó dự đoán hành vi của động vật, cụ thể là bò sữa. - Bước đầu xây dựng một ứng dụng để áp dụng các kỹ thuật, phương pháp tìm hiểu được. - Nghiên cứu tổng quan về xử lý ảnh, video, các thao tác cơ bản đối với video và ứng dụng. - Nghiên cứu và xây dựng một số kỹ thuật xử lý ảnh áp dụng trong việc hiểu cử chỉ, hành vi động vật trong video. - Nghiên cứu một số phương pháp trong việc xây dựng phần mềm ứng dụng. - Cài đặt một ứng dụng giám sát cụ thể sử dụng kỹ thuật liên quan. - Chương 1:- TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ VIDEO 1.1 Tổng quan về xử lý ảnh Trong công nghệ thông tin, xử lý ảnh và đồ họa đã chiếm một vị rất quan trọng bởi vì các đặc tính đầy hấp dẫn của nó đã tạo nên một sự phân biệt với các lĩnh vực khác. - Chúng giới thiệu các phương pháp và kỹ thuật để tạo ra các ảnh và xử lý các ảnh này. - Ngày nay, xử lý ảnh là lĩnh vực đã và đang ngày càng phát triển mạnh mẽ và cũng đã có nhiều thành tựu minh chứng cho sự phát triển này. - Điển hình, trong y học, xử lý ảnh số được dùng để phát hiện và nhận dạng khối u, cải thiện ảnh X quang , nhận dạng đường biên mạch máu từ những ảnh chụp mạch bằng tia X. - Trong lĩnh vực khoa học kỹ thuật, xử lý ảnh đã và đang có những đóng góp quan trọng, đặc biệt là trong lĩnh vực robot. - Robot thông minh ngày nay không thể thiếu yếu tố xử lý ảnh, đó là các vấn đề về nhận dạng các đối tượng ngoài môi trường, từ việc nhận dạng có thể giải quyết rất nhiều bài toán như tránh vật cản, dò đường. - Bên cạnh đó, xử lý ảnh cũng đang góp phần quan trọng vào lĩnh vực an ninh như: quan sát và cảnh báo tự động đối tượng đột nhập. - Góp phần vào lĩnh vực sản xuất như: giám sát và cảnh báo tự động liên quan đến sản phẩm,… 1.1.1 Xử lý ảnh và sơ đồ tổng quát Hệ thống xử lý ảnh số bao gồm một phạm vi rộng các kiến thức về phần cứng, phần mềm và cơ sở lý thuyết. - Các bước cơ bản của xử lý ảnh số được mô tả trong sơ đồ dưới đây: Hình 1.1. - Các bước cơ bản trong xử lý ảnh số Thu thập ảnh: Trong hệ thống xử lý ảnh số, camera là một thiết bị rất quan trọng có chức năng quan sát và thu nhận ảnh đầu vào của hệ thống. - Các bước xử lý này bao gồm sự phát sáng, thấu kính, sensor, các phần tử quang điện và bộ số hoá, mỗi thành phần này phối hợp nhằm đưa ra ảnh số cuối cùng. - Tiền xử lý ảnh : Sau khi ảnh số được thu thập dưới dạng tín hiệu số, cần phải trải qua giai đoạn tiền xử lý. - Chức năng chủ yếu của tiền xử lý là cải thiện ảnh, nâng cao các tính chất của ảnh giúp cho các quá trình xử lý về sau được thuận tiện hơn. - Các công đoạn cơ bản của tiền xử lý là: nâng cao độ tương phản, lọc nhiễu. - Phân vùng ảnh: Bước tiếp theo của quá trình xử lý là phân vùng ảnh. - Kết quả của quá trình phân vùng ảnh, ta sẽ được một tập hợp các điểm ảnh có liên kết với nhau thành các đối tượng, được đánh số phân biệt, thuận tiện cho các quá trình xử lý cao hơn. - Đầu ra của quá trình phân vùng ảnh là các pixel chưa được lọc, bao gồm liên kết của 1 vùng hoặc tất cả các điểm ảnh trong vùng đó. - Số liệu này cần được biến đổi thành dạng thích hợp cho máy tính xử lý. - Phân tích ảnh: đây là giai đoạn xử lý bậc cao trong hệ thống xử lý ảnh số. - và số đối tượng hay mật độ đối tượng trong ảnh. - Nhận dạng : các đối tượng có thể là các vật thể có hình dạng nhất định, hoặc các kí tự số, chữ cái, dấu vân tay,...Ảnh sau khi được phân vùng có thể được nhận dạng theo những phương pháp nhất định như phương pháp neural, để tìm ra mẫu hình dạng mà đối tượng đó thuộc về. - 1.1.2 Một số vấn đề cơ bản của xử lý ảnh 1.1.2.1 Các khái niệm cơ bản của xử lý ảnh Ảnh: Là một tập hợp hữu hạn các điểm ảnh kề nhau. - Ảnh thường được biểu diễn bằng một ma trận hai chiều, mỗi phần tử của ma trận tương ứng với một điểm ảnh. - Ảnh xám: giá trị mức xám của các điểm ảnh được biểu diễn bằng 8 bit (giá trị từ 0 đến 255). - Điểm ảnh (pixel): Ảnh trong tự nhiên là những tín hiệu liên tục về không gian và giá trị độ sáng. - Để có thể lưu trữ và biểu diễn ảnh bằng máy tính, con người phải tiến hành biến đổi các tín hiệu liên tục đó thành một số hữu hạn các tín hiệu rời rạc thông qua quá trình lượng tử hóa và lấy mẫu thành phần giá trị độ sáng. - Một điểm ảnh là một giá trị biểu diễn cho mức xám hay cường độ ảnh tại một vị trí sau khi đã biến đổi ảnh thành một số hữu hạn các tín hiệu rời rạc. - Mức xám: Là kết quả của sự biến đổi tương ứng giá trị độ sáng của một điểm ảnh với một giá trị số nguyên dương. - Tùy thuộc vào số giá trị biểu diễn mức xám mà mỗi điểm ảnh sẽ được biểu diễn trên hay 32 bit. - Số lượng bit biểu diễn mức xám càng lớn thì chất lượng ảnh càng cao nhưng sẽ tốn dung lượng bộ nhớ nhiều hơn để lưu trữ và cần một hệ thống mạnh hơn để xử lý. - Một số định dạng ảnh hiện nay như: BMP (Bitmap): Là ảnh được mô tả bởi một ma trận các giá trị số xác định màu và bảng màu của các điểm ảnh tương ứng khi hiển thị. - Ưu điểm của ảnh Bitmap là tốc độ vẽ và tốc độ xử lý nhanh. - Điểm ảnh và các lân cận: Mỗi frame ảnh thu về được biểu diễn dưới dạng I(x,y) trong đó x,y là tọa độ của điểm ảnh trên frame và I là mức xám tương ứng của điểm ảnh đó. - Như vậy 1 frame ảnh thu được sẽ được biểu diễn dưới dạng một ma trận 2 chiều n x m với n là số điểm ảnh trên 1 hàng, m là số hàng trong 1 frame. - Mỗi điểm ảnh có các lân cận xung quanh. - Nếu hiển thị mỗi điểm ảnh dưới dạng một ô vuông, mỗi điểm có chung biên với 4 điểm lân cận, và có chung góc với 4 điểm lân cận khác. - [i-1,j] [i-1,j-1] [i-1,j] [i-1,j+1] [i,j-1] [i,j] [i,j+1] [i,j-1] [i,j] [i,j+1] [i+1,j] [i+1,j-1] [i+1,j] [i+1,j+1] (a) Liên kết 4 (b) Liên kết 8 Hình 1.2. - Những liên kết giữa các điểm ảnh Đường liên kết: Đường liên kết là đường nối từ điểm ảnh [i1, j1] đến điểm ảnh [in,jn], qua một chuỗi các điểm ảnh [i1, j1. - [ik, jk] ..,[in,jn] trong đó mỗi điểm ảnh liên kết với điểm ảnh trước nó. - Từ đó ta có đường liên kết 4 hoặc liên kết 8 nếu các điểm ảnh là liên kết 4 hoặc liên kết 8. - (a) liên kết 4 (b) liên kết 8 Hình 1.3. - Những kiểu đường liên kết giữa các điểm ảnh Mô hình màu: Là phương pháp diễn giải các đặc tính và tác động của màu trong ngữ cảnh nhất định. - Sau đây là một số mô hình màu điển hình. - Mô hình màu HSV 1.1.2.2 Các kỹ thuật cơ bản trong xử lý ảnh Toán tử cửa sổ: Trong việc thực thi các thuật toán xử lý ảnh số cơ bản, người ta thường sử dụng một toán tử đặc biệt gọi là toán tử cửa sổ. - Toán tử cửa sổ là một tập hợp có hình dạng nhất định, gồm các điểm ảnh có liên kết với một điểm ảnh trung tâm, là điểm ảnh đang được xử lý. - Các phép toán trên các điểm ảnh này sẽ có ảnh hưởng đến các điểm ảnh trung tâm cũng là các điểm ảnh đang được xử lý trong một thuật toán xử lý ảnh. - Tuy nhiên thường dùng nhất là các toán tử có dạng hình vuông với các cạnh là một số lẻ, ví dụ:3x3, 5x5, 7x7. - Để cải thiện ảnh, hỗ trợ các quá trình xử lý cao hơn, ta sử dụng các phương pháp hiệu chỉnh: hiệu chỉnh min-max, hiệu chỉnh histogram, hiệu chỉnh Gamma. - Ở đây ta sử dụng phương pháp hiệu chỉnh min- max vì nó dãn đều mức xám của ảnh trong dải cho phép. - Lọc tuyến tính có tác dụng cải thiện ảnh, loại bỏ nhiễu hỗ trợ cho các quá trình xử lý cao hơn. - Lọc trung bình: Mỗi điểm ảnh được thay thế bằng trung bình trọng số của các điểm lân cận: v(m, n. - nếu a(k,l)=1/NW, trong đó k ,lW NW là số điểm trong cửa sổ, khi đó ta có phương pháp lọc trung bình: giá trị mới của điểm ảnh thay bằng trung bình cộng của các điểm rơi vào cửa sổ W 1 v(m, n. - Phương pháp: Lấy điểm trung vị trong dãy được sắp các giá trị trong cửa sổ. - Thuật toán dò biên ảnh: Một điểm ảnh được coi là nằm trên đường biên nếu tại vị trí điểm ảnh đó có sự thay đổi đột ngột của mức xám. - Như vậy, đường biên là đường nối các điểm ảnh nằm trong khu vực ảnh có thay đổi đột ngột về độ chói, đường biên thường ngăn cách hai vùng ảnh có các mức xám gần như không đổi. - Phương pháp Gradient: Hình 1.6. - Mô tả phương pháp tìm biên ảnh Phương pháp này là phương pháp dò biên cục bộ dựa vào giá trị cực đại của đạo hàm. - Gradient là vector cho thấy tốc độ thay đổi giá trị độ chói của các điểm ảnh theo hướng nhất định. - (2) y dy dx, dy là khoảng cách giữa các điểm theo hướng lấy x, y. - TS Đỗ Năng Toàn, Bài giảng xử lý ảnh số, 2007 [7] Phạm Thượng Cát, Những thành tựu đã đạt được trong nghiên cứu phát triển công nghệ tự động hóa 30 năm qua tại viện công nghệ thông tin, Viện Công Nghệ Thông tin