Phát hiện sự kiện ngã sử dụng cảm biến Kinect.

- NGUYỄN VĂN NGỌC PHÁT HIỆN SỰ KIỆN NGÃ SỬ DỤNG CẢM BIẾN KINECT Chuyên ngành : Kỹ thuật máy tính và truyền thông LUẬN VĂN THẠC SĨ KHOA HỌC KỸ THUẬT MÁY TÍNH VÀ TRUYỀN THÔNG NGƢỜI HƢỚNG DẪN KHOA HỌC: TS.
- Tìm hiểu các bài toán liên quan về nhận dạng sự kiện ngã.
- 13 II.1 Tổng quan về bài toán phát hiện sự kiện ngã.
- 13 II.1.1 Các hệ thống phát hiện cảm ngữ cảnh.
- 13 II.1.2 Các hệ thống phát hiện dựa trên thiết bị mang theo.
- 16 II.2 Nhận dạng sự kiện ngã sử dụng cảm biến Kinect.
- 17 II.2.1 Các nghiên cứu sử dụng ảnh độ sâu.
- 20 II.2.2 Các nghiên cứu sử dụng skeleton.
- 30 III.1 Định nghĩa tập dữ liệu phân biệt sự kiện ngã.
- 33 III.2 Phƣơng pháp phát hiện sự kiện ngã sử dụng ngƣỡng.
- 42 III.3.2 Phƣơng pháp phát hiện sự kiện ngã sử dụng mô hình chuỗi markov (markov chain.
- 46 5 III.3.3 Phƣơng pháp phát hiện sự kiện ngã sử dụng mô hình markov ẩn (Hidden Markov Model.
- 59 IV.3 Xây dựng mô đun phát hiện ngƣời.
- 67 Bảng IV-2: Kết quả nhận dạng sự kiện ngã với phƣơng pháp sử dụng ngƣỡng.
- 68 Bảng IV-3: Kết quả nhận dạng sự kiện ngã với phƣơng pháp sử dụng mô hình Markov chain.
- 68 Bảng IV-4: Kết quả nhận dạng sự kiện ngã với phƣơng pháp sử dụng mô hình Markov ẩn.
- 70 8 Danh mục các hình vẽ, đồ thị Hình II-1: Một hệ thống phân loại các phƣơng pháp phát hiện ngã.
- 25 Hình II-10: Theo dõi ngƣời và phát hiện ngã.
- 62 Hình IV-2: Một số kết quả phát hiện ngƣời dùng KinectSDK, vùng chứa ngƣời đƣợc xác định đến từng pixel.
- 63 Hình IV-3: Kết quả phát hiện ngƣời sử dụng dữ liệu RGB và độ sâu của Kinect.
- Vì thế, các thiết bị hỗ trợ để phát hiện ngã và tránh các hậu quả của ngã (thông qua các thiết bị hỗ trợ hoặc theo dõi từ xa…) là thực sự cần thiết.
- Hiện nay trên thế giới đã có nhiều hƣớng nghiên cứu về hệ thống phát hiện sự kiện ngã nhƣ đƣợc mô tả trong [7], [11].
- Về cơ bản, các hệ thống phát hiện ngã thƣờng có cơ chế hoạt động giống nhau.
- Vì thế, để đánh giá các hệ thống phát hiện sự kiện ngƣời ngã, ngƣời ta thƣờng phải thu thập dữ liệu thật về các họat động bình thƣờng và họat động ngã, đây là một công việc rất khó khăn nhất là đối với trƣờng hợp ngã.
- 11 Đề tài hƣớng đến việc xây dựng phòng bệnh thông minh đƣợc trang bị hệ thống giám sát bệnh nhân, cho phép phát hiện và đƣa ra những cảnh báo khi có những sự kiện bất thƣờng xảy đến với ngƣời bệnh.
- Về phƣơng diện nghiên cứu và phát triển công nghệ, đề tài mong muốn đƣa ra cách khai thác hiệu quả các thông tin thu đƣợc từ cảm biến 3D Kinect cung cấp, từ cách thu thập thông tin tới việc sử dụng vào các ứng dụng cụ thể là phát hiện sự kiện ngã của bệnh nhân.
- I.2 Nhiệm vụ đặt ra Mục tiêu của đề tài là đề xuất phƣơng pháp, thiết kế và xây dựng module tƣơng ứng để phát hiện sự kiện ngã trong hệ thống theo dõi và nhận dạng sự kiện bất thƣờng của ngƣời bệnh sử dụng thông tin của ảnh màu và ảnh độ sâu thu được từ các cảm biến Kinect.
- Khả năng phát hiện sự kiện ngã tốt, đạt độ chính xác cao khi phân biệt sự kiện ngã với các sự kiện gần với ngã (đi-ngồi, đi-cúi.
- Hệ thống chỉ phát hiện sự kiện đã ngã (ngã đã hoàn tất) thông qua phân tích chuỗi hình ảnh/độ sâu thu nhận từ cảm biến Kinect.
- Việc phát hiện/cảnh báo sớm sự kiện ngã nằm ngoài phạm vi nghiên cứu của luận văn.
- Xây dựng hệ thống gồm ba giải pháp phát hiện sự kiện ngã, trong đó tập trung giải quyết vấn đề khó là phân biệt sự kiện ngã với sự kiện giả ngã.
- Chúng tôi đã đánh giá các giải thuật nhận dạng ngã trên thế giới, đặc biệt là cho thấy sự phù hợp của mô hình Markov ẩn trong bài toán phát hiện sự kiện ngã.
- Tìm hiểu các bài toán liên quan về nhận dạng sự kiện ngã II.1 Tổng quan về bài toán phát hiện sự kiện ngã Trên thế giới có nhiều hệ thống phát hiện ngã khác nhau và cũng có nhiều cách phân loại khác nhau.
- Ví dụ nhƣ trong [11], các tác giả phân loại các phƣơng pháp phát hiện ngã theo 3 hƣớng: Thiết bị mang theo, cảm biến môi trƣờng hoặc là ảnh (từ camera) Hình II-1: Một hệ thống phân loại các phương pháp phát hiện ngã Trong luận văn này, chúng tôi sử dụng cách phân loại trong [7], tức là các hệ thống đƣợc phân loại theo hai cách - Các hệ thống phát hiện cảm ngữ cảnh (context aware fall detection system.
- Các hệ thống phát hiện dựa trên thiết bị mang theo (wearable devices) II.1.1 Các hệ thống phát hiện cảm ngữ cảnh Các hệ thống này sử dụng các cảm biến của môi trƣờng để phát hiện sự kiện ngã.
- Đây là ƣu điểm 14 chính của các hệ thống phát hiện cảm ngữ cảnh.
- Tuy nhiên nhƣợc điểm của các hệ thống này là nó chỉ phát hiện đƣợc trong môi trƣờng có lắp đặt các thiết bị thôi.
- Các hệ thống phát hiện khác nhau ở việc sử dụng loại cảm biến.
- Sau đó, tùy thuộc vào dạng dữ liệu thu thập sẽ có những phƣơng pháp phát hiện khác nhau.
- Hầu hết các phƣơng pháp đã công bố cho độ chính xác phát hiện cao.
- Mặc dù đã có kết quả thử nghiệm với hai kịch bản trong đó có sự kiện ngã, các tác giả không trình bày trong bài báo việc phát hiện sự kiện ngã nhƣ thế nào.
- ii) theo dõi đối tƣợng ngƣời, mô đun này sử dụng thông tin về kích thƣớc, chuyển động và bộ phát hiện mặt ngƣời để loại bỏ các đối tƣợng không phải là ngƣời, sau đó kết hợp thông tin từ 2 camera để theo dõi đối tƣợng.
- iv) phát hiện ngã, mô đun này sử dụng bộ phân lớp Gauss đa khung hình, và trục chính của đối tƣợng để phát hiện có sự kiện ngã hay không.
- v) theo dõi đầu, mô đun này đƣợc kích họat sau khi mô đun phát hiện ngã trả về kết quả có sự kiện ngã, mô đun này kiểm tra để xác nhận đúng là sự kiện ngã nếu nhƣ vị trí của đầu có thay đổi.
- Hệ thống đã thử nghiệm với các video thu thập trong văn phòng và cho kết quả phát hiện sự kiện ngã tƣơng đối tốt.
- Trong [16], các tác giả đã phân tích các ƣu nhƣợc điểm của các hệ thống phát hiện sự kiện ngã sử dụng các loại cảm biến khác nhau (cảm biến gia tốc, cảm biến siêu âm, cảm biến rung, v.v) và cho rằng sử dụng cảm biến hình ảnh có những lợi thế riêng.
- Sau đó các tác giả đã giới thiệu các phƣơng pháp phát hiện ngƣời (sử dụng phƣơng pháp mô hình hóa nền) và phƣơng pháp phát hiện ngã.
- Theo các tác giả, kỹ thuật đơn giản nhất để phát hiện ngã là phát hiện sự thay đổi về tỷ lệ chiều rộng và chiều dài của bao đóng chữ nhật bao quanh đối tƣợng phát hiện đƣợc.
- Ngoài ra một kỹ thuật tin cậy hơn là sử dụng lƣợc đồ chiếu đứng hoặc phát hiện sự sai khác của gradient theo trục thẳng đứng và trục nằm ngang.
- Mô hình Markov ẩn (HMM) cũng đƣợc sử dụng rất 16 rộng rãi để phát hiện sự kiện ngã.
- Trong các phƣơng pháp trên, camera sử dụng là camera cung cấp ảnh RGB, trong những phần sau, chúng tôi sẽ phân tích kỹ hơn một phƣơng pháp phát hiện ngã sử dụng Kinect, những phân tích này cho phép đề xuất phƣơng án phù hợp với yêu cầu đặt ra trong đề tài.
- II.1.2 Các hệ thống phát hiện dựa trên thiết bị mang theo Trái với các hệ thống cảm ngữ cảnh, các hệ thống thuộc hƣớng tiếp cận này sử dụng những cảm biến nhỏ có thể gắn, mang vác trên ngƣời mà không làm ảnh hƣởng nhiều đến sinh họat của họ.
- Hầu hết các cảm biến sử dụng là cảm biến gia tốc (186 trên 197 công trình khoa học công bố sử dụng cảm biến gia tốc để phát hiện ngã [7.
- Có hai hƣớng nghiên cứu phát hiện ngã dựa trên cảm biến gia tốc a.
- 17 Các thiết bị mang theo phục vụ phát hiện ngã có thể là các thiết bị điện tử cảm biến gia tốc nhỏ gọn đƣợc mang trên ngƣời, hoặc đƣợc gắn trên quần áo [10].
- Một số nhà nghiên cứu hiện đang tận dụng những thành phần này để phát triển các bộ phát hiện ngã trên điện thoại thông minh [9].
- Hình II-5: Các khớp xương thu nhận được từ Kinect 20 So với camera thông thƣờng, cảm biến Kinect cung cấp cho ta các thông tin về độ sâu cũng nhƣ khung xƣơng, cho phép các phƣơng pháp phát hiện ngã đƣợc phát triển từ các thông tin này, chúng tôi sẽ lần lƣợt tóm lƣợc lại một số nghiên cứu có liên quan.
- II.2.1 Các nghiên cứu sử dụng ảnh độ sâu Trong [13], các tác giả trình bày một phƣơng pháp phát hiện sự kiện ngã trong trƣờng hợp bị che khuất sử dụng hai đặc trƣng: tƣơng quan về trọng tâm chiều cao của ngƣời với mặt đất và tốc độ của cơ thể ngƣời.
- Các tác giả đã chỉ ra rằng, tƣơng quan giữa trọng tâm chiều cao của ngƣời và mặt đất là một phƣơng pháp hiệu quả cho phát hiện sự kiện ngã và có thể xây dựng một hệ thống với chi phí thấp sử dụng thông tin độ sâu để phát hiện hiệu quả sự kiện ngã và trong phƣơng pháp này việc định vị camera so với mặt đất là không cần thiết.
- Phát hiện mặt phẳng mặt đất: đầu tiên, mặt phẳng sàn của phòng đƣợc phát hiện sử dụng phƣơng pháp V-disparity.
- Để tính toản khoảng cách giữa trọng tâm cơ thể ngƣời và mặt phẳng mặt đất, đầu tiên mặt phẳng mặt đất trong ảnh cần đƣợc phát hiện tự động.
- Các đối tƣợng chuyển động sau khi đƣợc phát hiện sẽ đƣợc lọc nhiễu bằng các bộ lọc hình thái.
- Phát hiện sự kiện ngã: quỹ đạo của ngƣời đƣợc phân tích để phân biệt hành động ngã với các hoạt động bình thƣờng khác.
- Cụ thể, tƣơng quan trọng tâm chiều cao của ngƣời với mặt đất đƣợc sử dụng để phát hiện ngã (trong trƣờng hợp không có che khuất hoặc chỉ che khuất một phần).
- Nếu khi sự kiện ngã kết thúc, toàn bộ cơ thể ngƣời bị che khuất bởi đồ đạc, một phân tích về vận tốc của cơ thể ngƣời trong không gian ba chiều ngay trƣớc khi xảy ra che khuất sẽ cho phép phát hiện sự kiện ngã.
- Sự kiện ngã có thể đƣợc phát hiện khi con ngƣời ở trạng thái bất động so với sàn nhà ngay sau khi ngã.
- Tƣơng quan trọng tâm chiều cao của ngƣời với mặt đất đƣợc sử dụng để phát hiện một vị trí bất thƣờng gần nền nhà.
- Trong [18], các tác giả đề xuất sử dụng phƣơng pháp thống kê trên các góc nhìn độc lập đề phát hiện ngã.
- Với cách thiết lập này, các tác giả xây dựng đƣợc một phƣơng pháp phát hiện, theo dõi ngƣời và phát hiện ngã rất hiệu quả trong cả những điều kiện phức tạp về các chƣớng ngại vật trong phòng.
- Phƣơng pháp trừ nền đƣợc áp dụng để phát hiện ngƣời.
- Sự kiện ngã đƣợc phát hiện bằng ngƣỡng khi toàn bộ thân ngƣời ở dƣới một mức nào đó.
- Hình II-10: Theo dõi người và phát hiện ngã 26 Để tóm lại có thể thấy các nghiên cứu sử dụng ảnh độ sâu vừa tìm hiểu thƣờng đi vào sử dụng khả năng detect ngƣời và các thông tin về khoảng cách và chuyển động so với sàn nhà để phát hiện ngã.
- II.2.2 Các nghiên cứu sử dụng skeleton Trong [8], ta thấy đƣợc một ví dụ sử dụng trực tiếp tọa độ của các khớp xƣơng để xây dựng hệ thống phát hiện ngã.
- Hình II-12: Vị trí các khớp xương trong chuyển động ngã Để phát hiện ngã các tác giả sử dụng kỹ thuật phân ngƣỡng, nếu nhƣ khoảng cách lớn nhất của một khớp với mặt đất nhỏ hơn 0.4m và tốc độ trung bình các khớp nhỏ hơn -1m/s sẽ xác định là ngã.
- 28 Các phƣơng pháp phát hiện ngã dựa trên skeleton (khung xƣơng) thƣờng phụ thuộc vào độ chính xác của việc nhận dạng các khớp xƣơng.
- Do đó ảnh của ngƣời sẽ đƣợc xoay về phƣơng thẳng đứng với một góc xoay không quá lớn giúp giảm thiểu sai số phát hiện khung xƣơng.
- Các giải pháp đề xuất cho hệ thống Dựa trên những nghiên cứu đã tìm hiểu, chúng tôi đƣa ra ba giải pháp để xây dựng hệ thống phát hiện ngã.
- Bƣớc tiếp theo là phát hiện ngƣời cần theo dõi.
- Sử dụng các nguồn thông tin này, mỗi phƣơng pháp phát hiện ngã sẽ có cách thức phù hợp để trích chọn đặc trƣng cho việc xây dựng các mô hình học máy và cuối cùng là xác định sự kiện ngã bằng các mô hình đã xây dựng 31 Hình III-1: Các bước triển khai của các giải pháp đề xuất Vấn đề đặt ra đầu tiên là định nghĩa nhƣ thế nào là ngã, thế nào là không ngã, định nghĩa một số hoạt động khác và xây dựng một tập các hoạt động để phân biệt ngã với các hoạt động này.
- 38 III.2 Phương pháp phát hiện sự kiện ngã sử dụng ngưỡng Chúng tôi đi vào cách tiếp cận đầu tiên là nghiên cứu những đặc trƣng phù hợp có thể trích chọn từ dữ liệu mẫu để tìm đặc trƣng phù hợp cho bài toán phát hiện ngã.
- III.3 Phương pháp xác định ngã dựa trên nghiên cứu các trạng thái của cơ thể người trong quá trình hoạt động III.3.1 Cơ sở lý thuyết: Phần trên đã trình bày phƣơng pháp phát hiện ngã sử dụng ngƣỡng đo vận tốc và chiều cao tại vị trí trung tâm ngƣời.
- Rõ ràng, phƣơng pháp này mất đi yếu tố thời gian của sự kiện ngã.
- Trong khi đó, thực tế sự kiện ngã là một quá trình biến đổi trạng thái của ngƣời.
- 43 Hình III-11: Một ví dụ về mô hình markov, x: trạng thái, a: xác suất chuyển trạng thái, y: quan sát, b: xác suất sinh Có nhiều tác giả cũng đã sử dụng mô hình này (ở dạng mô hình markov ẩn – HMM) trong bài toán phát hiện sự kiện ngã, ví dụ trong [4], khi nghiên cứu về quá trình di chuyển trong phòng bệnh, một mô hình HMM chung đƣợc xây dựng thể hiện xác suất chuyển trạng thái các hoạt động thƣờng ngày cũng nhƣ các sự kiện ngã.
- III.3.2 Áp dụng mô hình chuỗi markov trong bài toán phát hiện sự kiện ngã Trong cách tiếp cận này, mỗi sự kiện đã định nghĩa (E1, E2, E3, E4) sẽ đƣợc tính toán trực tiếp dựa trên các mẫu học của chúng.
- Với KinectObject việc lấy ảnh hiệu chỉnh này chỉ đơn giản qua một trong 2 hàm sau đây Mat KinectObject::getCalibImageColor() Mat KinectObject::getCalibImageDepth() IV.3 Xây dựng mô đun phát hiện người Trong khuôn khổ của đề tài chúng tôi nghiên cứu các phƣơng pháp phát hiện ngƣời phổ biến.
- Đầu tiên chúng tôi tìm hiểu phƣơng pháp phát hiện ngƣời dùng đặc trƣng HOG (Histogram of gradient) đƣợc đề xuất bởi Bill Triggs và Navel Dalal vào năm 2005 tại viện nghiên cứu INRIA.
- Hình IV-1: Một số kết quả nhận dạng người sử dụng HoG-SVM, vùng chứa người được đóng khung Chúng tôi cũng nghiên cứu bộ phát hiện ngƣời tích hợp sẵn trong KinectSDK.
- Trong [15], tác giả Jamie Shotton đã đƣa ra giải pháp phát hiện ngƣời và từng phần và xây dựng mô hình 3D của các khớp xƣơng ngƣời từ một ảnh độ sâu thu đƣợc từ cảm biến Kinect.
- 63 Hình IV-2: Một số kết quả phát hiện người dùng KinectSDK, vùng chứa người được xác định đến từng pixel Chúng tôi nhận thấy phƣơng pháp nhận dạng trên độ sâu cho độ chính xác cao hơn nhƣng vùng hoạt động của dữ liệu độ sâu bị hạn chế và bị ảnh hƣởng nhiều bởi nhiễu, trong khi đó dữ liệu RGB phát hiện ngƣời tốt hơn nhƣng phân vùng không đƣợc chính xác.
- Phƣơng pháp kết hợp sẽ ƣu tiên kết quả phát hiện ngƣời từ dữ liệu độ sâu trƣớc, nếu không phát hiện đƣợc ngƣời sẽ sử dụng phát hiện ngƣời từ dữ liệu RGB.
- 64 Hình IV-3: Kết quả phát hiện người sử dụng dữ liệu RGB và độ sâu của Kinect IV.4 Mô tả môi trường thử nghiệm Thiết lập phòng bệnh giả lập 65 Hình IV-4: Phòng bệnh giả lập tại viện MICA Trên đây là sơ đồ phòng bệnh giả lập, các thành phần của phòng bệnh bao gồm cửa ra vào, giƣờng bệnh, nhà tắm (nhà vệ sinh), và các cảm biến Kinect đƣợc bố trí để quan sát ngƣời bệnh tại các vị trí nhƣ trên hình.
- Trong khuôn khổ của đề tài, các dữ liệu thu đƣợc không đồng bộ thời gian với nhau và phƣơng pháp phát hiện ngã sẽ chỉ xử lý dữ liệu trên một thiết bị duy nhất với kịch bản sẵn có đƣợc thực hiện trong vùng quan sát tốt nhất của thiết bị.
- Các chuỗi frame sự kiện ngã.
- Các chuỗi frame hoạt động cúi: 68 IV.5 Kết quả thử nghiệm Đối với phƣơng pháp phát hiện ngã sử dụng ngƣỡng, cơ sở dữ liệu thu đƣợc đƣợc chia làm 2 phần positive (các mẫu ngã) và negative (ghép chung các mẫu không phải là ngã gồm đi lại, nằm, cúi.
- Precision = 81.1 % đối với sự kiện ngã.
- Đối với phƣơng pháp phát hiện ngã sử dụng mô hình markov, ta phân chia bộ dữ liệu test thành 4 hoạt động và sự kiện gồm có: cúi, đi lại, ngã, và ngồi, mỗi hoạt động có 24 mẫu.
- Nhận xét: Các phƣơng pháp nhận dạng sự kiện ngã cho kết quả ở mức chấp nhận đƣợc.
- 70 Bảng IV-5: So sánh kết quả các phương pháp 71 Kết luận Trong luận văn, việc đầu tiên là chúng tôi đã cung cấp một cái nhìn tổng quan về những phƣơng pháp phát hiện ngã trên thế giới, trong đó tập trung vào những phƣơng pháp phát hiện sự kiện ngã sử dụng cảm biến Kinect.
- Thứ hai là kết hợp nhiều cảm biến Kinect với nhau để giải quyết bài toán giám sát đa góc nhìn, nâng cao hiệu quả của phát hiện sự kiện ngã cũng nhƣ các sụ kiện bất thƣờng khác trong những trƣờng hợp môi trƣờng phức tạp hơn

Xem thử không khả dụng, vui lòng xem tại trang nguồn
hoặc xem Tóm tắt