Nghiên cứu và thử nghiệm các phương pháp tách đối tượng trên ảnh.

- Hà Nội - 2015 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI Nguyễn Phúc Đạt NGHIÊN CỨU VÀ THỬ NGHIỆM CÁC PHƯƠNG PHÁP TÁCH ĐỐI TƯỢNG TRÊN ẢNH Chuyên ngành: công nghệ thông tin LUẬN VĂN THẠC SỸ KỸ THUẬT Người hướng dẫn: PGS.TS Nguyễn Linh Giang Lời cam đoan Tôi xin cam đoan nội dung trong luận văn là sự tổng hợp, nhìn nhận của tôi xoay quanh nội dung đề tài.
- Phương pháp nghiên cứu.
- 5 Phương pháp tách đối tượng.
- Các phương pháp phân vùng ảnh cơ bản.
- Phương pháp phân vùng dựa vào ngưỡng.
- Phân vùng theo miền đồng nhất.
- Phân vùng ảnh dựa vào lý thuyết đồ thị.
- Phân vùng ảnh dựa trên biểu diễn và xử lý đa phân giải.
- Tách đối tượng theo thuật toán Grab-cut.
- 22 Kỹ thuật sử dụng tự động thuật toán Grabcut.
- Cách khoanh vùng đối tượng trên ảnh.
- Các xử lý kỹ thuật khi tách đối tượng tự động bằng Grab-cut.
- Vấn đề bóng sản phẩm.
- Vấn đề kích thước ảnh và thời gian xử lý.
- Kết quả.
- Ảnh gốc và ảnh phân vùng.
- Mô tả thuật toán đối xứng nền.
- Minh họa thuật toán tam giác.
- Các thuật toán có người dùng nhập liệu (ảnh màu.
- Cách sử dụng thuật toán Grab-cut.
- Lý do chọn đề tài Trong ngành thương mại điện tử, một công đoạn rất quan trọng trong việc bán hàng hóa là làm sao để giới thiệu sản phẩm một cách tốt nhất đến với người mua.
- Lĩnh vực kinh doanh chính là xử lý ảnh sản phẩm cho các website thương mại điện tử, với yêu cầu thông thường là lọc bỏ nền, và căn chỉnh lề của ảnh sản phẩm theo một tỷ lệ chính xác cho trước.
- Hàng ngày nhân viên của công ty sử dụng phần mềm chuyên xử lý ảnh Photoshop để xử lý khoảng 20.000 ảnh cho gần 500 website bán hàng lớn ở khắp các quốc gia trên thế giới.
- Vì có đến hơn 90% công ty tự tổ chức đội xử lý ảnh cho riêng mình, chỉ gần 10% là sẵn sàng thuê một công ty khác bên ngoài làm việc đó.
- Một ví dụ khác là tập đoàn Vin Group, khi vừa bước chân vào thị trường thương mại điện tử, một trong những việc đầu tiên họ làm là thành lập cho mình đội xử lý ảnh với gần một trăm nhân viên làm việc toàn thời gian.
- Từng ấy con số đã đủ giúp hình dung thị trường xử lý ảnh, mà cụ thể là xử lý tách đối tượng, lọc nền, phục vụ cho thương mại điện tử lớn thế nào.
- Ảnh đầu vào dùng để xử lý cho thương mại điện tử, thông thường là hình có nền đơn giản, thường là sản phẩm đặt trên mặt bàn, nền nhà, hoặc cao cấp hơn là ảnh được chụp ở những studio chuyên nghiệp với nền chắn sáng đầy đủ.
- Một thực tế là gần như toàn bộ ảnh hiện tại cho dù có được xử lý nội bộ trong công ty, hay thuê một công ty bên ngoài, cũng đều do con người trực tiếp làm.
- Thử tưởng tượng, nếu có một chương trình có thể làm việc tách ảnh sản phẩm ra một cách tự động, thì sẽ mang lại hiệu quả kinh tế rất lớn cho doanh nghiệp và cho xã hội.
- Thậm chí, một chương trình chỉ cần hỗ trợ bước lọc nền với tỷ lệ chính xác nào đó cũng sẽ có tác dụng như là một bước tiền xử lý trong cả chuỗi quy trình, sau đó con 2 người vẫn tham gia vào việc xem xét lại ảnh nào đã đạt chất lượng, ảnh nào cần xử lý lại thì cũng đã tiết kiệm một công sức rất lớn.
- Là một nhân viên làm hệ thống của công ty, từ nhu cầu thực tế đó, tôi đã có ý định “nghiên cứu và thử nghiệm các phương pháp tách đối tượng trên ảnh” để từ đó đề xuất các phương án kỹ thuật ứng dụng vào công việc thực tế của công ty.
- Bên cạnh đó, việc tách chính xác đối tượng là một bước trong các bài toán khác như: các hệ thống phân tích nhận dạng đối tượng, hệ thống theo dõi giám sát… 2.
- Đầu vào của bài toán là tất cả các ảnh sản phẩm cần xử lý, với các tham số truyền vào gồm.
- Các tham số cho bước hậu xử lý: Nền ảnh mong muốn là nền màu gì, kích thước ảnh đầu ra, lề mong muốn.
- nền có ít khối nhiễu, và nền không bị lẫn vào bên trong của sản phẩm.
- Trong khuôn khổ luận văn tôi hệ thống một cách ngắn gọn các thuật toán cơ bản trong việc phân tách đối tượng trong ảnh.
- Sau đó tôi tiến hành nghiên cứu thuật toán được đánh giá tốt hiện nay là Grab-cut.
- Cuối cùng tôi đưa ra phương pháp sử dụng Grab-cut một cách tự động hoàn toàn mà không yêu cầu người dùng phải nhập bất kỳ vùng chọn nào.
- Khó khăn và thách thức của bài toán Bài toán tách đối tượng ra khỏi ảnh mang đầy đủ khó khăn của một bài toán xử lý ảnh.
- Trong đó chất lượng ảnh đầu vào là một trong những yếu tố ảnh hưởng 3 rất nhiều đến quá trình xử lý cũng như kết quả ảnh đầu ra.
- Bên cạnh những khó khăn khác về sức nặng tính toán, cũng như thời gian xử lý, bài toán tách sản phẩm phục vụ cho thương mại điện tử vẫn bao chứa những khó khăn thách thức đặc thù.
- Nếu không tin tưởng được kết quả đó, thì vẫn cần con người giám sát và phân loại ảnh đầu ra, lọc lại những ảnh chưa đạt chất lượng và cần xử lý lại.
- Sau khi đã tách được các mảng đối tượng ra khỏi ảnh rồi, việc quyết định đâu là sản phẩm, đâu là nền xem ra cũng không đơn giản.
- Ví dụ hình sau, ảnh sản phẩm được chụp cùng với hai thiết bị giúp căn chỉnh sự cân bằng ảnh khi chụp Hình 1.
- Ví dụ ảnh chụp trong studio Khi chụp ảnh sản phẩm thường có bóng của sản phẩm, việc xác định đâu là vùng sản phẩm, đâu là vùng bóng sản phẩm cũng là một trong những yếu tố ảnh hưởng đến độ chính xác của ứng dụng.
- Bên cạch đó, chất lượng về đường viền của sản phẩm cũng là một trong những yếu tố quyết định đến chất lượng của ứng dụng.
- Khó khăn nhiều là vậy, nhưng nếu để ý một chút thì bài toán tách đối tượng ảnh dùng trong thương mại điện tử cũng có rất nhiều thông tin thuận lợi khác.
- Thông tin về sản phẩm có thể đã được cung cấp từ ảnh đầu vào.
- Ví dụ lô ảnh là giày hay quần áo, gợi ý cho chương trình xử lý biết trước 4 được hình dạng sản phẩm và đưa ra quyết định trích chọn vùng phù hợp.
- Ảnh đầu vào có thể được phân loại nhóm chất lượng ảnh, cũng như yêu cầu đầu ra theo từng khách hàng, vì vậy việc điều chỉnh các tham số xử lý ảnh cho các nhóm khác nhau, cũng sẽ thu được kết quả chính xác hơn.
- Quy trình hiện tại được xử lý và thẩm định chất lượng bởi mắt người, nên có thể lưu lại các quyết định của con người theo những bộ tham số xử lý tạo thành kho tri thức cho những quyết định tự động về sau.
- Các hướng tiếp cận Trong các cuốn giáo trình xử lý ảnh, đều có các khái niệm về phân vùng đối tượng, và dò biên đối tượng trong ảnh.
- Các thuật toán cơ bản trong việc phân vùng ảnh như.
- Phân vùng ảnh dựa vào ngưỡng biên độ  Phân vùng ảnh theo miền đồng nhất  Phân vùng ảnh dựa trên phân tích kết cấu  Phân vùng ảnh dựa trên phân lớp điểm ảnh  Phân vùng ảnh dựa vào lý thuyết đồ thị  phân vùng ảnh dựa trên xử lý đa phân giải Các phương pháp dò biên như.
- Kỹ thuật Gradient  Kỹ thuật Laplace  Kỹ thuật đạo hàm tích chập (phương pháp Canny) Bên cạnh đó còn có các cách tiếp cận và các thuật toán mới được sử dụng trong việc tách đối tượng có các chỉ thị lệnh từ con người.
- Hiện tại thuật toán này được cài đặt trong công cụ cùng trên trong ứng dụng Photoshop.
- Intelligent Scissors: được Mortensen và Barrett đưa ra năm 1995 tự động dò biên chính xác khi có đầu vào là việc di chuyển chuột theo 5 đường biên thực tế của đối tượng.
- Phương pháp này được tập đoàn Adobe phát triển thêm, và hiện được cài đặt trong cộng cụ Magnetic Lasso của bộ Photoshop  Graph-cut: được đưa ra trong một bài báo của Boykov và Jolly năm 2001.
- Thuật toán là cải tiến thuật toán graph-cut, người dùng chỉ cần chỉ định một vùng đối tượng trong đó có đối tượng cần tách, chương trình sẽ tự động tách đối tượng đó.
- Người dùng còn có thể đưa ra các vùng bị sai, như vùng đối tượng bị mất hoặc vùng nền còn sót và chương trình sẽ thực hiện tiếp theo các chỉ thị đó đến khi có kết quả cuối cùng hoàn hảo.
- Bên cạnh đó còn có rất nhiều các thuật toán khác như: Bayes Matte, Knockout, Random Walker, Random Walker Restart.
- Phương pháp nghiên cứu Từ yêu cầu của thực tiễn, tôi đi tiến hành nghiên cứu các lý thuyết về phân đoạn ảnh, các kỹ thuật tách đối tượng và nền ảnh.
- Tôi thực hiện thử nghiệm việc phân tách tự động với các nhóm ảnh khác nhau và ghi nhận lại các kết quả, khi thử nghiệm tôi điều chỉnh các tham số xử lý cho từng nhóm ảnh và cũng ghi nhận kết quả.
- Sau đó tiếp tục làm phương pháp tương tự với lô ảnh khác, và chọn ra những bộ ảnh có khả năng cho ra độ chính xác cao của quá trình phân tách tự động.
- Đây là thông tin cho việc ra quyết định có áp dụng được hay không kỹ thuật tách tự động đối tượng với nền ảnh.
- 6 Phương pháp tách đối tượng 1.
- Các phương pháp phân vùng ảnh cơ bản Phân vùng đối tượng của ảnh là quá trình chia ảnh thành các vùng mà không bị chồng lấn lên nhau.
- Có rất nhiều cách định nghĩa về sự đồng nhất trong phân vùng đối tượng.
- Thông thường người ta hay sử dụng các tham số bao gồm: màu sắc, độ sâu của layer, mức độ xám, hình dạng của đối tượng….Trong một tài liệu so sánh các phương pháp phân vùng đối tượng hai tác giả cùng tên Pal đã nói không có một phương pháp chuẩn nào cho việc phân tách đối tượng ra khỏi ảnh, các phương pháp đều bị phụ thuộc vào đặc điểm của ảnh, và ứng dụng cụ thể.
- Phương pháp phân vùng dựa vào ngưỡng Phân vùng ảnh dựa vào ngưỡng là một phướng pháp tương đối đơn giản, và trong nhiều trường hợp nếu chọn được ngưỡng thích hợp, có thể mang lại kết quả phân vùng rất chính xác mà rất tiết kiệm thời gian cũng như tài nguyên tính toán.
- Giả sử rằng chúng ta đang quan tâm đến các đối tượng (object) sáng trên nền (background) tối, một tham số T - gọi là ngưỡng độ sáng, sẽ được chọn cho một ảnh f[x,y] theo cách: If f[x,y.
- Ngược lại, đối với các đối tượng tối trên nền sáng chúng ta có thuật toán sau: If f[x,y.
- Ảnh gốc và ảnh phân vùng 7 Ta có thể đưa ra các tham số khác tương tự như độ sáng tối, như màu sắc, hoặc các giá trị màu trong các hệ giá trị khác nhau.
- Vấn đề chính là chúng ta nên chọn ngưỡng T như thế nào để việc phân vùng đạt được kết quả cao nhất?.
- Có rất nhiều thuật toán chọn ngưỡng: ngưỡng cố định, dựa trên lược đồ, sử dụng Entropy, sử dụng tập mờ, chọn ngưỡng thông qua sự không ổn định của lớp và tính thuần nhất của vùng vv.
- Chọn ngưỡng cố định Đây là phương pháp chọn ngưỡng độc lập với dữ liệu ảnh.
- Nếu chúng ta biết trước là chương trình ứng dụng sẽ làm việc với các ảnh có độ tương phản rất cao, trong đó các đối tượng quan tâm rất tối còn nền gần như là đồng nhất và rất sáng thì việc chọn ngưỡng T= 128 (xét trên thang độ sáng từ 0 đến 255) là một giá trị chọn khá chính xác.
- Có rất nhiều kỹ thuật chọn ngưỡng tự động xuất phát từ lược đồ xám {h[b.
- Tuy nhiên các thuật toán làm trơn cần phải cẩn thận, không được làm dịch chuyển các vị trí đỉnh của lược đồ.
- Nhận xét này dẫn đến thuật toán làm trơn dưới đây: Trong đó, W thường được chọn là 3 hoặc 5 1.1.3.
- Thuật toán đẳng liệu Đây là kỹ thuật chọn ngưỡng theo kiểu lặp do Ridler và Calvard đưa ra.
- Thuật toán được mô tả như sau.
- B4: Nếu θk = θk+1 Kết thúc, dừng thuật toán (ngược lại : Lặp lại bước 2) 1.1.4.
- Thuật toán đối xứng nền Kỹ thuật này dựa trên sự giả định là tồn tại hai đỉnh phân biệt trong lược đồ nằm đối xứng nhau qua đỉnh có giá trị lớn nhất trong phần lược đồ thuộc về các điểm ảnh nền.
- Sau đó thuật toán sẽ được áp dụng ở phía không phải là điểm ảnh thuộc đối tượng ứng với giá trị cực đại đó nhằm tìm ra giá trị độ sáng a ứng với giá trị phần trăm p% mà: P(a.
- P(a) sẽ nhận các giá trị từ 0 đến 1.
- Ở đây ta đang giả thiết là ảnh có các đối tượng tối trên nền sáng.
- Mô tả thuật toán đối xứng nền Θk=mf , k−1+mb, k−12 9 Kỹ thuật này dễ dàng điều chỉnh được cho phù hợp với tình huống ảnh có các đối tượng sáng trên một nền tối.
- Thuật toán tam giác Khi một ảnh có các điểm ảnh thuộc đối tượng tạo nên một đỉnh yếu trong lược đồ ảnh thì thuật toán tam giác hoạt động rất hiệu quả.
- Thuật toán này do Zack đề xuất và được mô tả như sau.
- B3: Chọn ngưỡng T = Max{Hb } Minh hoạ thuật toán tam giác bởi hình vẽ như sau: 1.1.6.
- Điểm cực đại địa phương của histogram có thể dễ dàng được phát hiện bằng cách sử dụng biến đổi chóp mũ (top hat) do Meyer đưa ra: Phụ thuộc vào tình huống chúng ta đang phải làm việc là với nhưng đối tượng sáng trên nền tối hay đối tượng tối trên nền sáng mà phép biến đổi top hat sẽ có một trong hai dạng sau: a/ Các đối tượng sáng: Hình 1-3.
- Minh họa thuật toán tam giác T=Maxp−(a−Maxp) 10 TopHat( A, B)=A−( AoB)=A−MaxB(MinBA) b/ Các đối tượng tối: TopHat( A, B)=(AoB)−A=MinB(MaxBA)−A Việc tính toán giá trị cực tiểu địa phương của histogram thì khó nếu histogram nhiễu.
- Do đó, trong trường hợp này nên làm trơn histogram, ví dụ sử dụng thuật toán (chọn ngưỡng dựa trên lược đồ Histogram).
- Trong một số ứng dụng nhất định, cường độ của đối tượng hay nền thay đổi khá chậm.
- Khi ngưỡng cục bộ đã có thì áp dụng thuật toán phân ngưỡng dựa trên lược đồ histogram cho khối này.
- Phân vùng theo miền đồng nhất Kỹ thuật phân vùng ảnh thành các miền đồng nhất dựa vào các tính chất quan trọng nào đó của miền ảnh.
- Việc lựa chọn các tính chất của miền sẽ xác định tiêu chuẩn phân vùng.
- Tính đồng nhất của một miền ảnh là điểm chủ yếu xác định tính hiệu quả của việc phân vùng.
- Các phương pháp phân vùng ảnh theo miền đồng nhất thường áp dụng là : Hình 1-4

Xem thử không khả dụng, vui lòng xem tại trang nguồn
hoặc xem Tóm tắt