Sử dụng phần mềm IATA để phân tích, đánh giá và nâng cao chất lượng câu hỏi trắc nghiệm khách quan trong chương hàm số lũy thừa, hàm số mũ, hàm số lôgarit

- Câu hỏi trắc nghiệm khách quan, IATA, IRT, lý thuyết ứng đáp câu hỏi.
- Bài viết này trình bày tổng quan về Lý thuyết ứng đáp câu hỏi (IRT) cũng như giới thiệu sơ lược về cách cài đặt và sử dụng phần mềm IATA – một phần mềm dùng để phân tích, đánh giá câu hỏi trắc nghiệm khách quan (TNKQ) dựa trên nền tảng IRT.
- Cuối cùng, cách phân tích, đánh giá một số câu hỏi được biên soạn trong chương hàm số mũ, hàm số lũy thừa và hàm số lôgarit theo quy trình đã nêu cũng được trình bày, nhằm mục đích nâng cao chất lượng cho các câu hỏi trắc nghiệm khách quan..
- Sử dụng phần mềm IATA để phân tích, đánh giá và nâng cao chất lượng câu hỏi trắc nghiệm khách quan trong chương hàm số lũy thừa, hàm số mũ, hàm số lôgarit.
- biên soạn và thẩm định được một câu hỏi, một đề kiểm tra (ĐKT) TNKQ nào đó có tốt hay không, có đảm bảo chất lượng và phù hợp với mục tiêu kiểm tra đánh giá hay không? Bài viết trình bày cách thẩm định và nâng cao chất lượng câu hỏi TNKQ dựa trên cơ sở của IRT dưới sự hỗ trợ của phần mềm IATA..
- kiểm tra hoặc một bài thi, việc HS trả lời câu hỏi đúng hay sai phụ thuộc vào năng lực của HS đó trong phạm vi được kiểm tra và độ khó của từng câu hỏi cụ thể.
- Lý thuyết ứng đáp câu hỏi (Item Response Theory – IRT) là một phương pháp được dùng để tính xác suất một HS trả lời đúng một câu hỏi thông qua mối tương quan giữa năng lực HS và các tham số đặc trưng của câu hỏi.
- Ở nước ngoài, có nhiều học giả đã nghiên cứu chuyên sâu về IRT như Linda and James (2008) đã trình bày về các lý thuyết đo lường, độ tin cậy, độ giá trị, IRT,… Thomas (2004) nghiên cứu về TNKQ và ứng dụng IRT vào TNKQ, Ayala (2009) cũng trình bày một cách tương đối chi tiết về IRT (có sự so sánh với lý thuyết khảo thí cổ điển) và ứng dụng vào phân tích các câu hỏi TNKQ… Ở Việt Nam, Lâm Quang Thiệp Dương Thiệu Tống (2005.
- Nhà toán học Đan Mạch, Georg Rasch, đã đưa ra một mô hình “ứng đáp CH” để mô tả mối tương tác nguyên tố giữa một HS với một câu hỏi của đề trắc nghiệm (ĐTN), và dùng mô hình đó để phân tích các dữ liệu thu được từ ĐTN.
- Theo mô hình Rasch, xác suất để HS i trả lời đúng câu hỏi j là.
- e , trong đó  i là năng lực của HS i và bj là độ khó của câu hỏi j.
- Giá trị của  tỉ lệ thuận với năng lực của HS và giá trị của b càng lớn khi và chỉ khi câu hỏi càng khó.
- Một HS muốn có xác suất trả lời đúng một câu hỏi là 0,5 thì HS đó phải có năng lực bằng với độ khó của câu hỏi đó, cụ thể là  i  b j .
- Các giá trị bên ngoài khoảng này cho thấy câu hỏi có vấn đề..
- Bên cạnh độ khó, mô hình có thể đưa thêm một tham số thứ hai liên quan đến độ phân biệt của câu hỏi là a j , và ta thường gọi nó là mô hình hai tham số.
- Theo mô hình đó, xác suất để HS i trả lời đúng câu hỏi j là.
- bj có ý nghĩa như trong mô hình một tham số và a j là độ phân biệt của câu hỏi thứ j (Leigh, 2010)..
- Tương tự như độ khó, một câu hỏi có độ phân biệt bằng các giá trị biên hoặc vượt khỏi khoảng từ 0 đến 2 cho thấy câu hỏi có thể có vấn đề về nội dung hoặc cách diễn đạt.
- Những câu hỏi này cần được xem xét lại để đảm bảo rằng chúng phù hợp với nội dung mà ĐKTđang kiểm tra..
- 2.3 Đường cong đặc trưng câu hỏi.
- Nếu cho giá trị của  biến đổi liên tục trên trục số (giả sử từ  4 đến 4) thì chúng ta thu được một đồ thị được gọi là đường cong đặc trưng câu hỏi (item characteristic curve – ICC) có dạng như sau:.
- Hình 1: Đường cong đặc trưng câu hỏi theo mô hình Rasch.
- Các tính chất của một câu hỏi có thể tổng kết được bằng cách nhìn vào ICC.
- ICC thể hiện xác suất trả lời đúng một câu hỏi ứng với các giá trị khác nhau của  và nó là một đường cong logistic có biên từ 0 đến 1.
- Độ khó một câu hỏi chính là tọa độ điểm uốn của ICC theo thang năng lực.
- Theo Lâm Quang Thiệp (2008), nếu kẻ một đường thẳng song song với trục hoành và cắt trục tung tại vị trí P 0,5 thì đường thẳng này sẽ cắt các ICC tại các điểm có hoành độ đúng bằng độ khó của câu hỏi tương ứng, vì điểm của đường cong ứng với tung độ P 0,5 sẽ có hoành độ.
- Một ICC có độ dốc (hệ số góc) càng lớn cho thấy câu hỏi đó có khả năng phân biệt năng lực HS càng tốt.
- Các ICC càng gần với đồ thị hàm bậc thang biểu thị cho câu hỏi có độ phân biệt đặc biệt lớn..
- Nó thực hiện phân tích các câu hỏi TNKQ cũng như toàn bộ bài kiểm tra dựa trên IRT, từ đó giúp xây dựng được các câu hỏi TNKQ có chất lượng phù hợp với năng lực người học và mục đích kiểm tra đánh giá..
- 3.1 Hướng dẫn cài đặt và sử dụng phần mềm iata.
- Phần mềm IATA có thể cài đặt và sử dụng theo các bước sau:.
- Hình 2: Giao diện khi khởi động của phần mềm IATA.
- Bước 4: Menu chính của phần mềm gồm các lựa chọn như sau:.
- Hình 3: Menu chính của phần mềm IATA Sau khi cài đặt phần mềm, trên màn hình Destop sẽ tự động xuất hiện một thư mục có tên là IATA, trong đó có chứa các tập tin mẫu về Dữ liệu trả lời của HS, dữ liệu câu hỏi… để chạy thử phần mềm..
- Bước 2: Chúng ta nhập tập tin Dữ liệu câu trả lời của học sinh, tập tin này chứa các câu trả lời của từng HS cho từng câu hỏi.
- Bảng 2: Dữ liệu câu hỏi.
- Nhấn vào nút “Mở tập tin” và chọn đường dẫn thư mục chứa tập tin Dữ liệu câu hỏi (có thể đặt tên khác cho tập tin này).
- Bước 4: Mục này nhập các thông số dùng để phân tích cũng như cách chấm điểm cho từng câu hỏi, cách xử lý với những câu hỏi lỗi (không có đáp án, chọn hai đáp án, chọn đáp án khác.
- Ta có thể nhấn “Tiếp tục” để bỏ qua bước này nếu điểm số cho từng câu hỏi là bằng nhau và tất cả các đáp án không đúng quy định đều được chấm là sai.
- Các trang còn lại là kết quả phân tích câu hỏi và bài kiểm tra, tùy vào mục đích nghiên cứu mà ta sẽ xem xét kĩ những trang tương ứng..
- Gần đây, trên thế giới cũng như ở Việt Nam, các nhà nghiên cứu sử dụng nhiều phần mềm thống kê khác nhau để phân tích các câu hỏi TNKQ.
- chẳng hạn như độ khó, độ phân biệt của mỗi câu hỏi… và đặc biệt là phần mềm IATA cho phép ước lượng được năng lực thực sự của mỗi học sinh.
- Từ những ưu điểm trên, phần mềm IATA được lựa chọn để giới thiệu cho GV sử dụng trong việc phân tích các câu hỏi TNKQ của một ĐKT nhằm nâng cao chất lượng của các câu hỏi.
- Qua nghiên cứu các tài liệu tập huấn Kỹ thuật viết câu hỏi TNKQ, tài liệu tập huấn Dạy học và kiểm tra, đánh giá kết quả học tập của HS theo định hướng phát triển năng lực của HS…, bài viết trình bày việc biên soạn, thẩm định một đề kiểm tra TNKQ chương Hàm số mũ, hàm số lũy thừa và hàm số lôgarit lớp 12 theo một quy trình như sau:.
- Bước 3: Biên soạn câu hỏi theo ma trận ĐKT Dựa vào ma trận ĐKT, GV biên soạn lời dẫn cho các câu hỏi, đáp án đúng và các đáp án nhiễu.
- Các câu hỏi cần đảm bảo nội dung, hình thức và mục đích kiểm tra đánh giá..
- Bước 4: Xây dựng bảng đáp án và thang điểm Dựa vào ĐKT đã biên soạn, GV xây dựng bảng đáp án và thang điểm cho từng câu hỏi (nếu cần thiết)..
- Rà soát, kiểm tra, thẩm định nội dung, từ ngữ, kí hiệu, hình thức của từng câu hỏi và bảng đáp án trước khi cho HS làm kiểm tra..
- Dựa vào kết quả phân tích từng câu hỏi và ĐKT từ phần mềm IATA, tiến hành nghiên cứu, đánh giá từng câu hỏi, thực hiện chỉnh sửa hoặc thay thế những câu hỏi có vấn đề hoặc chưa phù hợp..
- Sau đó rà soát, lựa chọn các câu hỏi phù hợp để sử dụng hoặc làm ngân hàng đề thi..
- Bài viết chỉ giới thiệu cách phân tích, đánh giá một số câu hỏi TNKQ được biên soạn và thẩm định từ một ĐKT cuối chương Hàm số lũy thừa, hàm số mũ, hàm số lôgarit.
- ĐKT này gồm 40 câu hỏi TNKQ và thời gian làm bài là 75 phút.
- Lũy thừa, hàm số lũy thừa, lôgarit..
- Biết công thức tính đạo hàm của hàm số luỹ thừa..
- Biết dạng đồ thị của các hàm số luỹ thừa..
- Hàm số mũ, hàm số lôgarit..
- Biết khái niệm và tính chất của hàm số mũ, hàm số lôgarit..
- Biết công thức tính đạo hàm của các hàm số mũ, hàm số lôgarit..
- Biết tập xác định của một hàm số lôgarit..
- Biết dạng đồ thị của các hàm số mũ, hàm số lôgarit..
- Tính được đạo hàm các hàm số mũ và hàm số lôgarit..
- Hình 4: Kết quả phân tích câu hỏi sau 2 lần thẩm định.
- Ayala (2009) đề xuất cỡ mẫu tối thiểu cần thiết khi phân tích các câu hỏi TNKQ phải gấp 3 lần số câu hỏi.
- Vì nghiên cứu sử dụng đề kiểm tra có 40 câu hỏi nên cỡ mẫu ít nhất phải là 120..
- kiểm tra trong thời gian 75 phút, sau khi học xong chương Hàm số lũy thừa, hàm số mũ và hàm số lôgarit.
- Các tập tin Dữ liệu câu trả lời của học sinh và Dữ liệu câu hỏi được xử lý thông qua phần mềm Excel theo đúng cấu trúc mà phần mềm IATA yêu cầu..
- Kết quả tổng quát phân tích các câu hỏi trong ĐKT ở 2 lần như Hình 4..
- Kết quả phân tích chi tiết câu 2 như sau:.
- Hình 5: Kết quả phân tích câu hỏi Câu 2 sau lần thẩm định đầu tiên Dấu * được đánh dấu phía sau chữ cái đại diện.
- Theo IRT thì câu hỏi này quá dễ và độ phân biệt kém.
- Hình 6: Kết quả phân tích câu hỏi Câu 2 sau lần thẩm định thứ hai Từ số liệu thu được, sau khi thay đổi câu hỏi thì.
- độ khó của câu hỏi mới là 0,73 và độ phân biệt là 0,51.
- Theo IRT câu hỏi này ở mức độ dễ và độ phân biệt khá tốt.
- Chuẩn kiến thức muốn kiểm tra HS ở câu hỏi này đều là khả năng ghi nhớ, nhận biết các công thức cơ bản của lôgarit được trình bày trong sách giáo khoa..
- Như vậy,GV có thể cân nhắc tùy đối tượng HS mà lựa chọn câu hỏi cho phù hợp.
- Nếu đối tượng là HS có học lực trung bình – yếu, GV có thể lựa chọn câu hỏi ở lần 1, nếu đối tượng là HS có học lực trên trung bình, GV có thể lựa chọn câu hỏi ở lần 2..
- Kết quả phân tích câu 17 từ IATA như sau:.
- Hình 6: Kết quả phân tích câu hỏi 17 sau lần thẩm định thứ nhất Mục đích của chúng tôi là kiểm tra kiến thức về.
- Do đó, câu hỏi này có độ khó cao và ít HS trả lời đúng.
- Kết quả phân tích từ IATA sau khi thẩm định lần 2 cho ta thấy câu hỏi sau khi chỉnh sửa đã dễ hơn (độ khó tăng lên được 0,27) và độ phân biệt đã tăng lên 0,34 (độ phân biệt chấp nhận được).
- Kết quả phân tích cụ thể như sau:.
- Hình 7: Kết quả phân tích câu hỏi 17 sau lần thẩm định thứ nhất.
- Sau khi chỉnh sửa cho câu hỏi dễ hơn nhưng vẫn giữ nguyên ý tưởng ban đầu của bài toán, số HS chọn đúng đã nhiều hơn, số HS chọn đáp án nhiễu A đã giảm.
- Qua đó GV cần giúp HS lưu ý để tránh lỗi sai này và có thể sử dụng câu hỏi này ở mức nhận thức là Vận dụng thấp (do câu hỏi khó)..
- Phần mềm IATA cho số liệu phân tích cụ thể câu hỏi này như sau:.
- Hình 8: Kết quả phân tích câu hỏi 37 sau lần thẩm định thứ nhất Ta thấy số HS có điểm thấp lại chọn đáp án đúng.
- Điều này cho thấy câu hỏi có thể đã ghép sai đáp án hoặc có sự nhầm lẫn, chưa chính xác trong cách sử dụng từ ngữ hoặc là HS đã hiểu lầm yêu cầu của bài toán..
- Biết số tin nhắn rác được tính theo hàm số mũ y ab  x.
- Hình 9: Kết quả phân tích câu hỏi Câu 37 sau lần thẩm định thứ hai Ta thấy các đáp án nhiễu đã được lựa chọn khá.
- Phần mềm cũng cho chúng ta biết được mức độ phù hợp và hiệu quả của các câu hỏi được biên soạn tốt.
- Câu hỏi này có độ khó vừa phải và độ phân biệt cao.
- Kết quả phân tích lần 1 như sau:.
- Hình 10: Kết quả phân tích câu hỏi 31 sau lần thẩm định thứ nhất.
- Với mẫu HS đầu tiên, câu hỏi này rất thích hợp, đáp án nhiễu A là một mồi nhử hấp dẫn.
- Hình 11: Kết quả phân tích câu hỏi 31 sau lần thẩm định thứ hai Với mẫu HS thứ 2, các em lựa chọn đáp án nhiễu.
- Dù ICC của câu 31 ở lần kiểm định thứ 2 có biến động hơn so với ICC ở lần kiểm định thứ 1 nhưng xét về tổng thể, câu hỏi này cũng rất thích hợp với mẫu HS thứ 2..
- Tuy nhiên phải thông qua nhiều lần kiểm định với những số liệu cụ thể dựa trên một cơ sở lý thuyết về TNKQ vững chắc mới đảm bảo được một ĐTN chất lượng, đáng tin cậy và thỏa mãn các yêu cầu thiết yếu của các phần mềm thống kê thẩm định câu hỏi.
- Trong khuôn khổ một bài báo, bài viết này chỉ mới mang đến những yếu tố cơ bản nhất khi phân tích, đánh giá một câu hỏi TNKQ nói riêng và một ĐTN nói chung.
- Xây dựng hệ thống câu hỏi trắc nghiệm khách quan chương động học chất điểm với sự hỗ trợ của phần mềm Vitesta..
- Sử dụng phần mềm Quest để phân tích câu hỏi trắc nghiệm dùng trong kiểm tra đánh giá kết quả học tập ở học sinh lớp 10