Nghiên cứu và phát triển phương pháp nâng cao độ phân giải ảnh số

- HOÀNG VIỆT NGHIÊN CỨU VÀ PHÁT TRIỂN PHƯƠNG PHÁP NÂNG CAO ĐỘ PHÂN GIẢI ẢNH SỐ CÔNG NGHỆ THÔNG TIN LUẬN VĂN THẠC SĨ KỸ THUẬT Công nghệ Thông tin GIẢNG VIÊN HƯỚNG DẪN TS.
- 7 CHƯƠNG 1 - TỔNG QUAN VỀ SIÊU PHÂN GIẢI ẢNH SỐ.
- Ảnh số.
- Khái niệm về ảnh số.
- Độ phân giải ảnh số.
- Siêu phân giải ảnh số.
- Một số phương pháp siêu phân giải ảnh số.
- Siêu phân giải dựa trên cơ sở dữ liệu bên ngoài.
- Siêu phân giải dựa trên cơ sở dữ liệu nội bộ.
- 10 CHƯƠNG 2 – THUẬT TOÁN SIÊU PHÂN GIẢI DỰA TRÊN.
- 12 CÁC MẪU TỰ THÂN BIẾN ĐỔI.
- Giới thiệu về thuật toán.
- Mở rộng không gian tìm kiếm patch nội bộ.
- Phát hiện mặt phẳng.
- Thuật toán lân cận gần nhất gần đúng (thuật toán PatchMatch.
- Thuật toán siêu phân giải dựa trên các mẫu tự thân biến đổi.
- 27 CHƯƠNG 3 – CÀI ĐẶT, THỬ NGHIỆM VÀ ĐÁNH GIÁ THUẬT TOÁN SIÊU PHÂN GIẢI DỰA TRÊN CÁC MẪU TỰ THÂN BIẾN ĐỔI.
- Cài đặt thuật toán trên MATLAB.
- Trích xuất mô hình mặt phẳng từ ảnh.
- Tính toán trước các mô hình mặt phẳng.
- Tổng hợp dựa trên patch sử dụng thuật toán PatchMatch.
- Ước lượng trường lân cận gần nhất sử dụng thuật toán PatchMatch.
- Tính toán chi phí mặt phẳng.
- Ước lượng gần đúng tỷ lệ từ phép biến đổi homography sử dụng khai triển Taylor bậc nhất.
- Các thuật toán tham gia đánh giá.
- 49 PHỤ LỤC – CÀI ĐẶT CHI TIẾT THUẬT TOÁN.
- Giảm độ phân giải nhưng vẫn giữ nguyên kích thước của ảnh.
- Giảm độ phân giải trong khi giữ nguyên kích thước các điểm ảnh.
- Cục bộ hóa mặt phẳng trong vùng đã biết.
- Các bước của thuật toán lân cận gần nhất ngẫu nhiên.
- Các ví dụ minh họa sự cần thiết phải sử dụng các mẫu tự thân biến đổi.
- Phát hiện điểm hội tụ và Bản đồ xác suất hậu nghiệm mặt phẳng.
- So sánh kết quả siêu phân giải 4x.
- So sánh kết quả siêu phân giải 3x.
- Một trường hợp thất bại với hệ số siêu phân giải 4x.
- 46 7 MỞ ĐẦU Hiện nay, việc nâng cao độ phân giải của ảnh số (siêu phân giải) là một trong những vấn đề được quan tâm nhất trong lĩnh vực xử lý ảnh do ứng dụng của nó trong nghiên cứu khoa học cũng như đáp ứng nhu cầu thực tế trong đời sống của con người, trong đó các thuật toán siêu phân giải dựa trên sự tự tương đồng đã được chứng minh là có thể cho các kết quả hết sức khả quan mà không cần thiết phải huấn luyện sâu bằng các cơ sở dữ liệu bên ngoài.
- Các thuật toán như vậy khai thác những vùng ảnh nhỏ (patch) có xu hướng lặp lại nhiều lần trong toàn bộ bức ảnh.
- Trong luận văn “Nghiên cứu và phát triển phương pháp nâng cao độ phân giải ảnh số” này, tôi nghiên cứu và đề xuất xây dựng một thuật toán siêu phân giải ảnh số dựa trên các mẫu tự thân biến đổi, trong đó mở rộng không gian tìm kiếm patch nội bộ bằng cách sử dụng các phép biến đổi hình học.
- 8 CHƯƠNG 1 - TỔNG QUAN VỀ SIÊU PHÂN GIẢI ẢNH SỐ 1.1.
- Ảnh số 1.1.1.
- Khái niệm về ảnh số Ảnh số là các bức ảnh điện tử được chụp từ một khung cảnh hoặc quét từ các văn bản.
- Ảnh số được lấy mẫu và chia thành một lưới các điểm ảnh.
- Độ phân giải ảnh số Khi lấy mẫu một bức ảnh, nếu ta thu được càng nhiều điểm ảnh thì bức ảnh càng chi tiết hơn.
- Mật độ các điểm ảnh trong một bức ảnh được gọi là độ phân giải của ảnh.
- Độ phân giải càng cao thì bức ảnh càng thể hiện rõ các chi tiết và càng chân thực, sắc nét hơn.
- Nếu ta giữ nguyên kích thước của bức ảnh và nâng độ phân giải lên thì bức ảnh sẽ sắc nét và chi tiết hơn.
- Nói cách khác, với một bức ảnh có độ phân giải cao hơn, ta có thể hiển thị ảnh lớn hơn với cùng mức độ chi tiết.
- Hình 1.1 minh họa điều xảy ra khi ta giảm độ phân giải của ảnh trong khi vẫn giữ nguyên kích thước của nó: các điểm ảnh to ra và bức ảnh kém sắc nét, chi tiết hơn.
- Giảm độ phân giải nhưng vẫn giữ nguyên kích thước của ảnh Còn nếu ta giảm độ phân giải của ảnh trong khi vẫn giữ nguyên kích thước các điểm ảnh của nó thì bức ảnh nhỏ hơn nhưng mức độ chi tiết (trên một đơn vị diện tích) là không đổi: Hình 1.2.
- Giảm độ phân giải trong khi giữ nguyên kích thước các điểm ảnh 1.2.
- Siêu phân giải ảnh số Siêu phân giải (Super-resolution) ảnh số là một lớp các kỹ thuật nhằm nâng cao độ phân giải của ảnh số.
- Các kỹ thuật này thường được sử dụng trong các ứng dụng xử lý ảnh và trong các kính hiển vi siêu phân giải.
- 10 Phần lớn các phương pháp siêu phân giải ảnh số hiện đại đều dựa trên kỹ thuật học máy.
- Các phương pháp này tập trung vào học mối quan hệ giữa các patch phân giải thấp (low-resolution) và các patch phân giải cao (high-resolution).
- Nhiều thuật toán như vậy sử dụng một cơ sở dữ liệu các ảnh tự nhiên làm nguồn để huấn luyện các cặp patch LR-HR.
- Một số phương pháp siêu phân giải ảnh số Trọng tâm của các thuật toán siêu phân giải ảnh số đã chuyển từ nội suy và tái xây dựng sang học và tìm kiếm ảnh phù hợp nhất để làm ánh xạ phân giải cao của ảnh phân giải thấp đã cho.
- Chúng ta có thể chia các thuật toán này thành 02 nhóm chính: bên ngoài và nội bộ, tùy thuộc vào nguồn patch huấn luyện.
- Siêu phân giải dựa trên cơ sở dữ liệu bên ngoài Các phương pháp này sử dụng các thuật toán khác nhau để học ánh xạ LR-HR từ một cơ sở dữ liệu lớn các cặp ảnh LR-HR, bao gồm thuật toán lân cận gần nhất (nearest neighbor), hồi quy kernel ridge, mã hóa thưa (sparse coding), học đa tạp (manifold learning) và mạng neural tích chập (convolutional networks).
- Trái ngược với việc học một ánh xạ toàn cầu trên cả tập dữ liệu, một số phương pháp đã giảm bớt sự phức tạp của việc mô hình hóa dữ liệu bằng cách phân vùng cơ sở dữ liệu huấn luyện bên ngoài để có thể sử dụng các hàm dự đoán đơn giản hơn để thực hiện ánh xạ LR-HR trong từng cụm huấn luyện.
- Siêu phân giải dựa trên cơ sở dữ liệu nội bộ Các thuật toán này có lợi thế là không cần các cơ sở dữ liệu huấn luyện bên ngoài mà thay vào đó, chúng trích xuất các thông tin trong chính bức ảnh để thực hiện việc siêu phân giải.
- Sau đây là một số phương pháp siêu phân giải dựa trên cơ sở dữ liệu nội bộ khá hiệu quả đã được phát triển gần đây.
- Ebrahimi và Vrscay kết hợp các ý tưởng từ mã hóa fractal với các thuật toán dựa trên mẫu như lọc non-local means để đề xuất một thuật toán siêu phân giải dựa trên sự tự tương đồng [1].
- Irani thống nhất thuật toán siêu phân giải cổ điển và siêu phân giải dựa trên mẫu để khai thác sự lặp lại của các patch trong toàn ảnh [2.
- Singh, Porikli và Ahuja sử dụng lý thuyết tự tương đồng để siêu phân giải các ảnh bị nhiễu [5].
- 12 CHƯƠNG 2 – THUẬT TOÁN SIÊU PHÂN GIẢI DỰA TRÊN CÁC MẪU TỰ THÂN BIẾN ĐỔI 2.1.
- Giới thiệu về thuật toán Hiện nay, có nhiều thuật toán học máy nhằm ánh xạ từ patch phân giải thấp đến patch phân giải cao, ví dụ như thuật toán lân cận gần nhất (nearest neighbor), học đa tạp (manifold learning), học từ điển (dictionary learning), hồi quy tuyến tính cục bộ (locally linear regression) và mạng tích chập (convolutional networks).
- Tuy nhiên, các phương pháp học ánh xạ LR-HR từ các sơ sở dữ liệu bên ngoài có những hạn chế nhất định.
- Đối với mỗi hệ số tỷ lệ phân giải khác nhau, các phương pháp này cần huấn luyện lại mô hình sử dụng các thuật toán học phức tạp trên các tập dữ liệu lớn bên ngoài.
- Để tránh phải sử dụng các tập dữ liệu bên ngoài và các vấn đề đi kèm với nó, một số phương pháp khai thác sự lặp lại của các patch nội bộ nhằm tăng độ phân giải đã được nghiên cứu.
- Các phương pháp này dựa trên tính chất phân dạng (fractal) của các bức ảnh, trong đó giả thuyết rằng các patch trong một bức ảnh tự nhiên lặp đi lặp lại nhiều lần trong toàn bộ bức ảnh đó.
- Có thể tạo ra một cơ sở dữ liệu patch LR-HR nội bộ bằng cách sử dụng kim tự tháp không gian tỷ lệ (scale-space pyramid) của chính bức ảnh đã cho.
- Mặc dù các thống kê nội bộ đã được khai thác thành công cho siêu phân giải, trong phần lớn thuật toán các cặp patch LR-HR được tìm thấy chỉ bằng cách tìm kiếm các phiên bản “biến dạng” của các patch trong các bức ảnh thu nhỏ.
- Việc này giả thuyết rằng có một phiên bản phân giải cao của patch xuất hiện trong cùng bức ảnh với tỉ lệ, hướng mong muốn.
- patch phẳng và ảnh của những lần xuất hiện giả định khác nhau của patch được chụp lại bởi một máy ảnh dịch song song với mặt phẳng của patch.
- Hình 2.1 thể hiện 03 ví dụ về sự vi phạm đó, trong đó sự tự tương đồng theo các tỷ lệ sẽ tốt hơn nếu phép biến đổi hình học thích hợp của các patch được cho phép.
- Ví dụ về các mẫu tự tương đồng bị biến dạng do thay đổi hình dạng cục bộ, thay đổi hướng hoặc biến đổi phối cảnh Trong luận văn này, tôi xây dựng một thuật toán siêu phân giải tự tương đồng mở rộng không gian tìm kiếm patch nội bộ.
- Trước tiên, tôi kết hợp rõ ràng hình học khung cảnh 3D bằng cách cục bộ hóa các mặt phẳng và sử dụng các tham số mặt phẳng để ước tính sự biến dạng phối cảnh của các patch lặp lại.
- Tiếp theo, tôi mở rộng không gian tìm kiếm patch nhằm sử dụng phép biến đổi affine để thích ứng với các biến dạng patch tiềm năng do sự thay đổi hình dạng cục bộ.
- Tôi đề xuất một mô hình biến đổi thành phần để xử lý đồng thời hai loại biến đổi này và sửa thuật toán PatchMatch để giải quyết hiệu quả vấn đề ước lượng trường lân cận gần nhất.
- Tôi đã thử nghiệm thuật toán trên nhiều khung cảnh khác nhau và so sánh với các thuật toán siêu phân giải khác (đối với các khung cảnh nhân tạo có cấu trúc, kết quả đạt được là tốt hơn đáng kể.
- Mở rộng không gian tìm kiếm patch nội bộ Vì các từ điển nội bộ được xây dựng chỉ sử dụng ảnh phân giải thấp đã cho nên chúng có số lượng các cặp patch LR-HR ít hơn nhiều so với các từ điển bên ngoài.
- Chúng ta sử dụng năng lượng sub-band định hướng để ghép các patch tốt hơn và sau đó chia thuật toán siêu phân giải dựa trên sự tự tương đồng thành các bài toán ghép cặp các sub-band đơn giản hơn của ảnh, dẫn đến sự tăng kích cỡ từ điển nội bộ 14 theo hàm mũ.
- Chúng ta sử dụng phép biến đổi hình chiếu để mô hình hóa sự biến dạng chung trong các khung cảnh đô thị nhằm khai thác tốt hơn sự tự tương đồng nội bộ.
- Ngoài ra, phương pháp của chúng ta có thể xử lý đồng thời các khung cảnh tự nhiên và nhân tạo.
- Nếu không phát hiện được các cấu trúc mặt phẳng, thuật toán sẽ tự động quay về chỉ tìm kiếm các mẫu tự thân biến đổi affine cho siêu phân giải.
- Phát hiện mặt phẳng Có nhiều phương pháp đã được phát triển để phát hiện mặt phẳng, ở đây chúng ta sử dụng phương pháp trích xuất đoạn thẳng, phát hiện điểm hội tụ và phân nhóm dựa trên các điểm hội tụ [11].
- Sau đó, ta tìm tối đa 03 điểm hội tụ sử dụng phương pháp RANSAC.
- Điều này có nghĩa là ta giả định chỉ có tối đa là 03 mặt phẳng khác nhau trong khung cảnh (hợp lý đối với các cấu trúc nhân tạo điển hình), ví dụ như trong Hình 2.2: Hình 2.2.
- Phát hiện điểm hội tụ Với 03 điểm hội tụ đã cho, chúng ta có thể phát hiện ra 03 mặt phẳng, mỗi mặt phẳng được xác định bằng một cặp điểm hội tụ.
- Chúng ta thể hiện các tham số của mặt phẳng m sử dụng đường chân trời (vanishing line.
- Sau đó, ảnh phối cảnh của mặt phẳng có thể được hiệu chỉnh affine (để các đường thẳng song song trong không gian 03 chiều cũng song song trong ảnh) sử dụng một ma trận biến đổi phối cảnh: Tuy nhiên, các tham số mặt phẳng không cung cấp thông tin về sự hỗ trợ không gian của mặt phẳng trong miền ảnh.
- Chúng ta giải quyết vấn đề này bằng một cách khá đơn giản và trực tiếp như sau: Một mặt phẳng thường gồm 02 tập đường thẳng 3D song song, nói cách khác là thường có 02 tập đoạn thẳng với 02 điểm hội tụ phân biệt nằm trong cùng một vùng ảnh.
- Chúng ta phát hiện sự hỗ trợ của mỗi mặt phẳng bằng cách xác định các vị trí mà ở đó 02 tập đoạn thẳng tương ứng với 02 điểm hội tụ chồng lấn lên nhau.
- Đầu tiên, ta ước lượng sự hỗ trợ không gian của mỗi điểm hội tụ bằng cách khuếch tán các đoạn thẳng tương ứng của nó sử dụng một nhân Gaussian rộng.
- Sau đó, ta ước lượng sự hỗ trợ không gian cho các mặt phẳng bằng cách thực hiện phép nhân từng phần tử trong các bản đồ mật độ đường hỗ trợ của nó.
- Chú ý rằng ta luôn luôn thêm vào mặt phẳng fronto-parallel với các tham số.
- và sử dụng một giá trị mật độ không đổi là 10-5 trong toàn ảnh.
- Tiếp theo, ta thực hiện chuẩn hóa trên từng điểm của bản đồ mật độ kết quả này để tổng các xác suất điểm ảnh thuộc từng mặt phẳng là 1.
- ta gọi đây là xác suất hậu nghiệm (posterior probability) Pr[m|x] cho việc gán điểm ảnh x vào mặt phẳng m.
- Quá trình này được minh họa trong Hình 2.3 và Hình 2.4: (2)

Xem thử không khả dụng, vui lòng xem tại trang nguồn
hoặc xem Tóm tắt