Nghiên cứu xây dựng hệ thống tìm kiếm video theo nội dung

- Dữ liệu càng nhiều, càng phong phú đa dạng thì con người càng khó khăn trong việc quản lý, tìm kiếm.
- Do vậy, một yêu cầu bức thiết được đặt ra: làm sao có thể quản lý, tìm kiếm tự động được các đối tượng video một cách nhanh chóng và tiện lợi? Luận văn này sẽ giải quyết được phần nào đó cho câu hỏi trên.
- Luận văn sẽ tập trung vào tìm hiểu các đặc trưng cơ bản nhất của video, đưa ra một số phương pháp trích rút các đặc trưng của video phục vụ cho việc tìm kiếm.
- Việc tìm kiếm video có nhiều cấp độ, tuy nhiên trong luận văn chỉ tập trung nghiên cứu và đưa ra một số giải pháp phục vụ cho việc tìm kiếm video ở mức thấp.
- TỔNG QUAN VỀ TÌM KIẾM VIDEO THEO NỘI DUNG..1 1.1 Đặt vấn đề.
- 3 1.4 Hướng nghiên cứu và nội dung của luận văn.
- PHƯƠNG PHÁP TÌM KIẾM ẢNH THEO NỘI DUNG ÁP DỤNG TRONG BÀI TOÁN TÌM KIẾM VIDEO THEO NỘI DUNG Đặt vấn đề.
- 8 2.2 Tổng quan về tìm kiếm ảnh theo nội dung.
- 9 2.2.3 Một số đặc trưng của ảnh.
- 11 2.3.1 Không gian màu.
- 12 2.3.2 Biểu đồ màu (Color Histogram.
- 24 2.5.4 Các độ đo được sử dụng trong tìm kiếm ảnh theo nội dung.
- 25 2.6 Xây dựng phần mềm tìm kiếm ảnh ứng dụng trong hệ thống tìm kiếm video.
- 27 2.6.1 Tìm kiếm ảnh sử dụng phương pháp so sánh biểu đồ màu trong không gian màu RGB.
- 28 2.6.2 Tìm kiếm ảnh sử dụng phương pháp so sánh biểu đồ màu trong không gian màu CIELAB.
- 30 2.6.3 Tìm kiếm ảnh sử dụng phương pháp Entropy.
- 32 2.6.4 Tìm kiếm ảnh kết hợp hai phương pháp Entropy và so sánh biểu đồ màu.
- 37 2.7 Thử nghiệm, so sánh, đánh giá các phương pháp tìm kiếm ảnh.
- 39 2.7.1 Đánh giá trong hệ thống tìm kiếm ảnh.
- 41 2.7.3 So sánh, đánh giá về tốc độ tìm kiếm.
- 47 3.1.1 Một số khái niệm.
- 50 3.2 Một số phương pháp phân đoạn video.
- 52 3.2.3 So sánh biểu đồ màu.
- 53 3.2.4 Một số phương pháp khác.
- 55 3.3 Đề xuất phương pháp phân đoạn video trong chuyển cảnh đột ngột55 3.3.1 Thuật toán phát hiện chuyển cảnh đột ngột sử dụng ngưỡng đơn giản.
- 60 3.4 Xây dựng và đánh giá hệ thống.
- 61 3.4.2 Sơ đồ hệ thống cải tiến.
- TRÍCH CHỌN KHUNG HÌNH CHÍNH TRONG VIDEO.68 4.1 Đặt vấn đề.
- 68 4.2 Một số kỹ thuật trích chọn khung hình chính hiện nay.
- 71 4.3.3 Thuật toán trích chọn khung hình chính.
- XÂY DỰNG HỆ THỐNG TÌM KIẾM VIDEO THEO NỘI DUNG DỰA TRÊN PHƯƠNG PHÁP TÌM KIẾM ẢNH TRONG CÁC KHUNG HÌNH CHÍNH Lựa chọn phương pháp xây dựng.
- 80 5.2 Các mô-đun của hệ thống.
- 81 5.2.2 Mô-đun trích chọn khung hình chính.
- 82 5.2.3 Mô-đun tìm kiếm ảnh theo nội dung.
- 83 5.3 Giao diện hệ thống.
- 86 KẾT LUẬN TÀI LIỆU THAM KHẢO PHỤ LỤC TÓM TẮT LUẬN VĂN Danh sách hình vẽ viiiDDAANNHH SSÁÁCCHH HHÌÌNNHH VVẼẼ Hình 1.1 Sơ đồ hệ thống tìm kiếm video nghiên cứu trong luận văn.
- 6 Hình 2.1 Cơ chế hoạt động của hệ thống CBIR.
- 10 Hình 2.2 Không gian màu RGB.
- 13 Hình 2.3 Không gian màu CMY.
- 14 Hình 2.4 Một số cách biểu diễn không gian màu HSV.
- 15 Hình 2.5 Không gian màu CIELAB.
- 16 Hình 2.6 Mô tả biểu đồ màu.
- 18 Hình 2.7 Những ảnh khác nhau nhưng có biểu đồ màu giống nhau.
- 19 Hình 2.8 Hàm Entropy trong không gian hai chiều.
- 21 Hình 2.9 Mô tả một số hàm khoảng cách thuộc họ Ls.
- 24 Hình 2.10 Tính và so sánh ảnh bằng biểu đồ màu cục bộ.
- 27 Hình 2.11 Biểu đồ màu Red, Green, Blue độc lập.
- 28 Hình 2.12 Sơ đồ khối hệ thống tìm kiếm ảnh sử dụng phương pháp so sánh biểu đồ màu trong không gian màu RGB.
- 29 Hình 2.13 Kết quả tìm kiếm ảnh dựa trên không gian màu RGB (ảnh truy vấn bên phải Hình 2.14 Biểu đồ màu trong không gian màu CIELAB.
- 31 Hình 2.15 Sơ đồ khối hệ thống tìm kiếm ảnh sử dụng phương pháp so sánh biểu đồ màu trong không gian màu CIELAB.
- 31 Hình 2.16 Kết quả tìm kiếm ảnh dựa trên không gian màu CIELAB (ảnh truy vấn bên phải Hình 2.17 Giá trị Entropy ứng với các biểu đồ màu R, G, B.
- 33 Hình 2.18 Sơ đồ khối hệ thống tìm kiếm ảnh sử dụng phương pháp so sánh Entropy.
- 33 Hình 2.19 Kết quả tìm kiếm ảnh dựa trên phương pháp Entropy (ảnh truy vấn bên phải.
- 34 Hình 2.21 Kết quả tìm kiếm ảnh dựa trên phương pháp Entropy kết hợp với giá trị trung bình (ảnh truy vấn bên phải.
- 36 Hình 2.22 Kết hợp giải thuật tìm kiếm ảnh sử dụng đặc trưng Entropy-giá trị trung bình và giải thuật so sánh biểu đồ màu.
- 37 Hình 2.23 Sơ đồ khối hệ thống tìm kiếm ảnh sử dụng thuật toán kết hợp “Entropy-giá trị trung bình” và “So sánh biểu đồ màu.
- 38 Hình 2.24 Kết quả tìm kiếm ảnh dựa trên phương pháp Entropy-giá trị trung bình kết hợp với phương pháp so sánh biểu đồ màu (ảnh truy vấn bên phải.
- 39 Hình 2.25 Biểu đồ precision-recall.
- 41 Hình 2.26 Giá trị precision của các phương pháp khi số lượng ảnh lấy ra khác nhau.
- 44 Hình 2.27 Giá trị precision đối với các loại ảnh khác nhau khi lấy ra 50 ảnh.
- 45 Hình 3.1 Khái niệm về khung hình.
- 47 Hình 3.2 Khái niệm về đoạn cơ sở và chuyển cảnh.
- 48 Hình 3.3 Chuyển cảnh dần dần fade.
- 49 Hình 3.4 Chuyển cảnh dần dần dissolve.
- 49 Hình 3.5 Chuyển cảnh dần dần wipe.
- 50 Hình 3.6 Phát hiện chuyển cảnh bằng ngưỡng đơn giản.
- 56 Hình 3.7 Cửa sổ truy vấn trượt với HWS=5.
- 57 Hình 3.8 Cửa sổ truy vấn trượt với HWS Hình 3.9 Biểu đồ biến đổi của PFC trong 200 khung hình.
- 59 Hình 3.10 Ví dụ về trường hợp thuật toán cửa sổ trượt nhận dạng nhầm trong phân đoạn video.
- 60 Hình 3.11 Hệ thống phát hiện chuyển cảnh đột ngột dựa vào thuật toán cửa sổ trượt kết hợp với ngưỡng so sánh.
- 62 Danh sách hình vẽ xHình 3.12 Giao diện hệ thống phát hiện chuyển cảnh.
- 64 Hình 3.13 Thuật toán cửa sổ trượt phát hiện nhầm là chuyển cảnh.
- 66 Hình 3.14 Cả hai thuật toán đều phát hiện nhầm là chuyển cảnh.
- 67 Hình 4.1 Đường cong sai khác tích luỹ.
- 71 Hình 4.2 Thuật toán dò tìm các điểm có độ cong lớn.
- 73 Hình 4.3 Ví dụ về việc trích chọn khung hình chính dựa vào giải thuật tìm các điểm có độ cong lớn trên trong sai khác tích luỹ.
- 75 Hình 4.4 Giao diện chương trình trích chọn khung hình chính.
- 77 Hình 5.1 Sơ đồ hệ thống tìm kiếm video theo nội dung trong luận văn..81 Hình 5.2 Mối quan hệ giữa các bảng trong cơ sở dữ liệu.
- 85 Hình 5.3 Giao diện cửa sổ tìm kiếm video.
- 86 Danh sách bảng biểu xiDANH SÁCH BẢNG BIỂU Bảng 2.1 So sánh giữa các không gian màu.
- 22 Bảng 2.3 Thời gian tìm kiếm ảnh của các phương pháp.
- 42 Bảng 2.4 Giá trị precision của các phương pháp khi số lượng ảnh lấy ra khác nhau.
- 65 Bảng 4.1 Kết quả thử nghiệm trích chọn khung hình chính với một số video.
- 78 Danh mục các từ viết tắt xiiDANH MỤC CÁC TỪ VIẾT TẮT Từ viết tắt Tiếng Anh Tiếng Việt CBIR Content-Based Image Retrieval Tìm kiếm ảnh theo nội dung CBVR Content-Based Video Retrieval Tìm kiếm video theo nội dungCIELAB Commission Internationale de l’Eclairage L*-a*-b* Không gian màu đồng nhất L*a*b* CIELUV Commission Internationale de l’Eclairage L*-u*-v* Không gian màu đồng nhất L*u*v* CMY Cyan-Magenta-Yellow color space Không gian màu CMY HSB Hue-Saturation-Brightness color space Không gian màu HSB HSV Hue-Saturation-Value color space Không gian màu HSV HWS Half-Window Size Kích thước nửa cửa sổ LB Lower Bound Ngưỡng dưới MPEG Motion Picture Experts Group Tiêu chuẩn mã hoá video NVLV Người viết luận văn PFC Pre-Frame Count Đếm các khung hình phía trước RGB Red-Green-Blue color space Không gian màu RGB SQL Structure Query Language Ngôn ngữ truy vấn có cấu trúcUB Upper Bound Ngưỡng trên Chương 1.
- Tổng quan về tìm kiếm video theo nội dung 1CHƯƠNG 1.
- TỔNG QUAN VỀ TÌM KIẾM VIDEO THEO NỘI DUNG 1.1 Đặt vấn đề Với sự phát triển nhanh chóng của máy tính cùng với đó là các chuẩn nén hiệu quả hơn đã làm gia tăng nhanh chóng việc lưu trữ, sử dụng các đối tượng đa phương tiện (multimedia) như: âm thanh, hình ảnh, video.
- Để có thể tạo được những cơ sở dữ liệu video lớn chúng ta cần tự động hoá được quá trình đánh chỉ mục, tìm kiếm trong video.
- Vấn đề “tìm kiếm video theo nội dung” (Content-Based Video Retrieval – CBVR) được tập trung nghiên cứu trong 15 năm trở lại đây.
- Việc tìm kiếm được thực hiện thông qua việc tìm kiếm văn bản sử Chương 1.
- Tổng quan về tìm kiếm video theo nội dung 2dụng các ngôn ngữ truy vấn truyền thống như SQL.
- Khác với thế hệ thứ nhất, trong thế hệ thứ hai của CBVR việc đánh chỉ mục được thực hiện dựa trên các thuộc tính như màu sắc, kết cấu, hình dạng, các quan hệ không gian.
- Các phương pháp tập trung vào việc tự động hoá việc đánh chỉ mục và tìm kiếm dựa vào các đặc trưng đó.
- Hiện nay CBVR đang bước vào giai đoạn thứ ba, tự động hoá trong việc đánh chỉ mục và tìm kiếm video ở mức cao (mức độ ngữ nghĩa).
- Việc mô hình hoá nội dung video là một trong những công việc quan trọng nhất trong tìm kiếm video.
- Tổng quan về tìm kiếm video theo nội dung 31.3 Các nghiên cứu trên thế giới về CBVR Trước nhu cầu ngày càng lớn trong việc quản lý dữ liệu video, nhiều nhóm nghiên cứu đã nhảy vào cuộc.
- Nhưng chúng chỉ giúp cho việc lưu trữ nhiều hơn trong một không gian nhỏ hơn, chứ không giải quyết được việc lưu trữ hiệu quả để tìm kiếm.
- Tuy nhiên, hiện nay một số nhóm đang tiến hành việc nghiên cứu và áp dụng vào thực tế một số phương pháp lưu trữ và tìm kiếm video dựa vào nội dung, cho thấy đây là một hướng phát triển mới và rất có triển vọng.
- Các bước xử lý để tạo nên thư viện video: phát hiện các đoạn cơ sở bằng cách sử dụng phương pháp độ sai khác về biểu đồ màu, trích chọn khung hình chính, nhận dạng khuôn mặt, nhận dạng chữ viết qua video và tìm ảnh dựa vào đặc trưng biểu đồ màu trong các không gian màu và vân khác nhau.
- Hệ thống sử dụng IBM Cue Video để phát hiện đoạn cơ sở và lựa chọn khung hình chính một cách tự động.
- Đại học Johns Hopkins [4]: Nhóm nghiên cứu đã phát triển một hệ thống truy tìm tự động video dựa vào nội dung của các khung hình video số

Xem thử không khả dụng, vui lòng xem tại trang nguồn
hoặc xem Tóm tắt