Sử dụng phần mềm thống kê trong việc so bằng đề kiểm tra trắc nghiệm khách quan môn Toán lớp 12

- SỬ DỤNG PHẦN MỀM THỐNG KÊ TRONG VIỆC SO BẰNG ĐỀ KIỂM TRA TRẮC NGHIỆM KHÁCH QUAN MÔN TOÁN LỚP 12.
- So bằng đề kiểm tra, lý thuyết ứng đáp câu hỏi, điểm thô, điểm năng lực, đề trắc nghiệm khách quan.
- Bài viết giới thiệu về lý thuyết so bằng đề kiểm tra.
- đề xuất một qui trình biên soạn, thẩm định và so bằng hai đề kiểm tra trắc nghiệm khách quan môn Toán.
- Đây là cơ sở để chuyển điểm thô và điểm năng lực  của thí sinh từ đề kiểm tra này sang đề kiểm tra kia, nhằm mục đích so bằng độ khó giữa hai đề kiểm tra và đánh giá đúng năng lực của thí sinh.
- Sử dụng phần mềm thống kê trong việc so bằng đề kiểm tra trắc nghiệm khách quan môn Toán lớp 12.
- Để trả lời cho các câu hỏi này, một quy trình so bằng ĐKT được trình bày dựa trên cơ sở lý thuyết so bằng theo lý thuyết ứng đáp câu hỏi (IRT), sử dụng phần mềm IATA và Excel.
- So bằng ĐKT sẽ giúp kết luận được về độ khó của hai ĐKT có tương đương nhau hay không, đây là cơ sở để bảo đảm công bằng cho TS..
- Trong một bài kiểm tra hoặc một bài thi, việc HS trả lời câu hỏi đúng hay sai phụ thuộc vào năng lực của HS đó trong phạm vi được kiểm tra và độ khó của từng câu hỏi cụ thể.
- Lý thuyết ứng đáp câu hỏi (IRT) là một phương pháp được dùng để tính xác suất một HS trả lời đúng một câu hỏi thông qua mối tương quan giữa năng lực HS và các tham số đặc trưng của câu hỏi..
- Ayala (2009) cũng đã trình bày một cách tương đối chi tiết về IRT (có sự so sánh với lý thuyết khảo thí cổ điển) và ứng dụng vào phân tích các câu hỏi TNKQ.
- Nhà toán học Đan Mạch, Georg Rasch, đã đưa ra một mô hình “ứng đáp câu hỏi” để mô tả mối tương tác nguyên tố giữa một HS với một câu hỏi của ĐTN, và dùng mô hình đó để phân tích các dữ liệu thu được từ ĐTN.
- Theo mô hình Rasch, xác suất để HS i trả lời đúng câu hỏi j là.
- trong đó  i là năng lực của HS.
- i và b j là độ khó của câu hỏi j.
- Giá trị của  tỉ lệ thuận với năng lực của HS và giá trị của b càng lớn khi và chỉ khi câu hỏi càng khó.
- Một HS muốn có xác suất trả lời đúng một câu hỏi là 0,5 thì HS đó phải có năng lực bằng với độ khó của câu hỏi đó, cụ thể là  i = b j .
- Năng lực của HS thường được giả sử là một phân phối chuẩn với kì vọng là 0 và phương sai là 1.
- Tập giá trị thường gặp của năng lực  là từ -3 đến 3 hoặc từ -4 đến 4.
- Các giá trị bên ngoài khoảng này cho thấy câu hỏi có vấn đề..
- Bên cạnh độ khó, chúng ta có thể đưa thêm một tham số thứ hai liên quan đến độ phân biệt của câu hỏi là a j vào mô hình, và ta thường gọi nó là mô hình hai tham số.
- i trả lời đúng câu hỏi j là.
- trong đó  i , b j có ý nghĩa như trong mô hình một tham số và a j là độ phân biệt của câu hỏi thứ j (Ayala, 2009).
- Tương tự như độ khó, một câu hỏi có độ phân biệt bằng các giá trị biên hoặc vượt khỏi khoảng từ 0 đến 2 cho thấy câu hỏi có thể có vấn đề về nội dung hoặc cách diễn đạt.
- Những câu hỏi này cần được xem xét lại để đảm bảo rằng chúng phù hợp với nội dung mà chúng ta đang kiểm tra..
- 2.3 Đường cong đặc trưng câu hỏi.
- Nếu cho giá trị của  biến đổi liên tục trên trục số (giả sử từ -4 đến 4) thì chúng ta thu được một đồ thị được gọi là đường cong đặc trưng câu hỏi (Item Characteristic Curve – ICC) có dạng như sau:.
- Hình 1: Đường cong đặc trưng câu hỏi theo mô hình Rasch Chúng ta có thể tổng kết các tính chất của một.
- câu hỏi bằng cách nhìn vào ICC.
- ICC thể hiện xác suất trả lời đúng một câu hỏi ứng với các giá trị khác nhau của  và nó là một đường cong logistic có biên từ 0 đến 1.
- Độ khó một câu hỏi chính là tọa độ điểm uốn của ICC theo thang năng lực.
- P = thì đường thẳng này sẽ cắt các ICC tại các điểm có hoành độ đúng bằng độ khó của câu hỏi tương ứng, vì điểm của đường cong ứng với tung độ.
- Một ICC có độ dốc (hệ số góc) càng lớn cho thấy câu hỏi đó có khả năng phân biệt năng lực HS càng tốt.
- Các ICC càng gần với đồ thị hàm bậc thang biểu thị cho câu hỏi có độ phân biệt đặc biệt lớn..
- 3 LÝ THUYẾT SO BẰNG ĐỀ KIỂM TRA 3.1 Khái niệm so bằng.
- Theo Lâm Quang Thiệp (2011),“So bằng là qui trình tìm một hàm nào đó để chuyển điểm của thí.
- Có hai phương pháp so bằng (equating) ĐTN, đó là so bằng theo CTT và so bằng kết nối - xác lập thang đo theo IRT.
- Chúng tôi chọn phương pháp so bằng kết nối - xác lập thang đo theo IRT vì hiện nay hầu như các nhà nghiên cứu về đo lường và đánh giá đều sử dụng IRT.
- Theo IRT, so bằng chủ yếu là về điểm thô và điểm năng lực.
- Như vậy, so bằng hai ĐKT là so bằng về điểm thô và điểm năng lực.
- Trong các thiết kế được mô tả trên, theo Lâm Quang Thiệp (2011):“thiết kế ĐTN có các câu hỏi neo là khả thi nhất” (trang 185)..
- Trong các thiết kế ĐTN có các câu hỏi neo, các tham số, và các giá trị ước lượng của chúng (không kể sai số chọn mẫu) trong hai ĐTN có quan hệ tuyến tính, đó là.
- trong đó bXc và bYc là các độ khó của các câu hỏi neo tương ứng trong các ĐTN X và ĐTN Y, khi các hằng số  và  đã được xác định, các giá trị ước lượng tham số đối với mỗi câu hỏi trong ĐTN X có thể được đặt trên cùng thang đo với ĐTN Y..
- Các giá trị ước lượng tham số câu hỏi đối với các câu hỏi neo trong ĐTN X và trong ĐTN Y sẽ không như nhau (vì có sai số ước lượng), do đó sẽ được lấy trung bình..
- Trong việc sử dụng cách thiết kế ĐTN có các câu hỏi neo, các câu hỏi neo nằm ở khoảng độ khó có thể chấp nhận đối với cả hai nhóm và thông thường số câu hỏi neo chiếm khoảng từ 20% đến 25% của số lượng câu hỏi trong các ĐTN..
- 3.3 Xác định các hằng số thiết lập thang đo 3.3.1 Xác định các hằng số khi so bằng điểm thô.
- x A : điểm thô chuyển từ ĐKT B sang ĐKT A, x B : điểm thô của ĐKT B,.
- s A 2 : phương sai điểm thô toàn câu hỏi của ĐKT A,.
- s B 2 : phương sai điểm thô toàn câu hỏi của ĐKT B,.
- x A : trung bình điểm thô toàn câu hỏi của ĐKT A,.
- x B : trung bình điểm thô toàn câu hỏi của ĐKT B,.
- s Z 2 : phương sai điểm thô câu hỏi neo của ĐKT A và ĐKT B,.
- s Z1 2 : phương sai điểm thô câu hỏi neo của ĐKT A,.
- s Z2 2 : phương sai điểm thô câu hỏi neo của ĐKT B,.
- x Z : trung bình điểm thô câu hỏi neo của ĐKT A và ĐKT B,.
- x Z1 : trung bình điểm thô câu hỏi neo của của ĐKT A,.
- x Z 2 : trung bình điểm thô câu hỏi neo của của ĐKT B,.
- b AZ1 : hệ số góc của hàm hồi quy tuyến tính giữa điểm thô toàn câu hỏi và điểm thô câu hỏi neo trong ĐKT A,.
- b BZ2 : hệ số góc của hàm hồi quy tuyến tính giữa điểm thô toàn câu hỏi và điểm thô câu hỏi neo trong ĐKT B..
- 3.3.2 Xác định các hằng số khi so bằng điểm năng lực  theo IRT.
- Theo Finch (2019), để chuyển điểm năng lực  theo IRT của TS từ ĐKT A sang ĐKT B ta sử dụng công thức sau đây:.
- điểm năng lực  theo IRT của TS từ ĐKT A sang ĐKT B,.
- q A : điểm năng lực  theo IRT của TS khi làm ĐKT A..
- S Ab : độ lệch chuẩn độ khó b (theo IRT) câu hỏi neo của ĐKT A,.
- S Bb : độ lệch chuẩn độ khó b (theo IRT) câu hỏi neo của ĐKT B,.
- X Ab : trung bình độ khó b (theo IRT) câu hỏi neo của ĐKT A,.
- X Bb : trung bình độ khó b (theo IRT) câu hỏi neo của ĐKT B..
- 4 SO BẰNG HAI ĐỀ KIỂM TRA.
- 4.1 Qui trình biên soạn và so bằng ĐKT TNKQ.
- Qua nghiên cứu các tài liệu tập huấn Kỹ thuật viết câu hỏi TNKQ, Công văn số 8773/BGDĐT- GDTrH ngày về việc hướng dẫn biên soạn đề kiểm tra, chúng tôi tiến hành so bằng ĐKT TNKQ chương Nguyên hàm – Tích phân và ứng dụng lớp 12 theo một quy trình như sau:.
- Bước 3: Biên soạn câu hỏi theo ma trận ĐKT Bước 4: Xây dựng bảng đáp án và thang điểm Bước 5: Kiểm tra, chỉnh sửa ĐKT trước khi so bằng.
- Bước 6: Chuyển điểm thô và điểm năng lực q.
- Chúng tôi biên soạn và thẩm định hai ĐKT chương Nguyên hàm – Tích phân và ứng dụng, mỗi ĐKT gồm 30 câu hỏi TNKQ và thời gian làm bài là 54 phút (lấy theo mốc thời gian của Bộ Giáo dục và Đào tạo 1,8 phút/câu).
- Mỗi ĐKT gồm 30 câu hỏi TNKQ, trong đó có 6 câu hỏi neo (Câu trong mỗi câu hỏi gồm 4 phương án lựa chọn và chỉ có duy nhất một đáp án đúng.
- Các câu hỏi trong mỗi đề được sắp xếp theo mức độ nhận thức tăng dần từ nhận biết đến vận dụng (ở cấp độ).
- Trong mỗi mức độ, các câu hỏi được sắp xếp theo từng chủ đề (thứ tự như trong ma trận của ĐKT)..
- Phần mềm IATA có thể tải về từ địa chỉ sau https://polymetrika.com/Downloads/IATA Kết quả phân tích các đề kiểm tra dựa trên phần mềm IATA cho các kết quả các câu hỏi trong hai đề kiểm tra A và B đều đạt yêu cầu về độ khó, độ phân biệt theo CTT và IRT.
- đây là cơ sở để tiến hành các bước tiếp theo trong quy trình so bằng hai đề kiểm tra này..
- 4.3 Xác lập thang đo chung và so bằng Sử dụng phần mềm IATA sẽ cung cấp các tham số của các câu hỏi trong hai đề kiểm tra.
- 4.3.1 So bằng điểm thô: chuyển điểm thô của TS từ ĐKT B sang ĐKT A.
- chuyển điểm thô.
- Bảng 3: Kết quả chuyển điểm thô của TS từ ĐKT B sang ĐKT A.
- ID Điểm thô ĐKT B.
- Điểm thô chuyển từ ĐKT B sang ĐKT A.
- Từ kết quả chuyển điểm thô từ ĐKT B sang ĐKT A, hầu hết điểm thô.
- tăng khi chuyển điểm thô từ ĐKT B sang ĐKT A.
- Ví dụ, TS có ID 2019 điểm thô khi làm ĐKT B là 80 điểm và khi chuyển điểm sang ĐKT A là 80,76 điểm tăng lên 0,76 điểm, TS có ID 2254 điểm thô khi làm ĐKT B là 40 điểm và khi chuyển điểm sang ĐKT A là 41,29, tăng lên 1,29 điểm, điều đó chứng tỏ ĐKT B khó hơn ĐKT A.
- 4.3.2 So bằng điểm năng lực q của TS từ.
- ĐKT A sang ĐKT B.
- Bảng 4: Độ khó b các câu hỏi neo và các tham số thang đo chung của hai ĐKT.
- Câu hỏi neo Độ khó b của.
- Bảng 5: Kết quả điểm năng lực  của TS chuyển từ ĐKT A sang ĐKT B.
- ID Điểm năng lực.
- của ĐKT A.
- Điểm năng lực  chuyển từ ĐKT A sang ĐKT B.
- Từ kết quả chuyển điểm năng lực  của TS theo IRT từ ĐKT A sang ĐKT B, điểm năng lực  hầu hết là giảm khi chuyển từ ĐKT A sang ĐKT B.
- Từ kết quả nghiên cứu này, chúng ta thấy rằng việc so bằng hai ĐKT trước tiên đòi hỏi hai ĐKT này phải được biên soạn tốt và độ tin cậy của hai ĐKT phải ở mức độ cho phép và tương đương nhau..
- So bằng hai ĐKT với sự hỗ trợ của phần mềm IATA và Excel là một phương pháp tương đối mới (ở Việt Nam) để đánh giá về độ khó của hai ĐKT;.
- so bằng là việc thiết lập thang đo chung của hai ĐKT, từ đó tạo sự công bằng cho HS khi làm các ĐKT khác nhau và cũng là công cụ tốt giúp xác định và so sánh năng lực của HS ở trường THPT.
- Ngoài ra, nghiên cứu này còn có thể phát triển lên so bằng ba hay bốn ĐKT.
- Phần mềm IATA hoặc những phần mềm tương tự đang được ứng dụng rộng rãi trong việc so bằng ĐKT, góp phần cải cách kiểm tra, đánh giá trong giáo dục nói chung, và nâng cao chất lượng giáo dục môn Toán nói riêng.