Bilgisayar Ortamında Bireye Uyarlanmış Testler (BOBUT) (Computerized Adaptive Testing - CAT), test uygulaması boyunca bir bireyin yetenek düzeyine uygun sorularla karşılaştığı, bilgisayar tarafından yönetilen bir ölçme sistemidir. Geleneksel kâğıt-kalem testlerinin aksine BOBUT, teste katılan bireylerin kendi yeterlik ve yetenek düzeyindeki soruları yanıtlamasına olanak sağlamaktadır. BOBUT, madde parametreleri pilot çalışmalarla daha önceden belirlenmiş bir madde havuzuna sahiptir. Bir bireyin bu havuzdan seçilen bir maddeye verdiği yanıta göre bireyin geçici yetenek kestirimi yapılır ve bu geçici yetenek kestirimi için en uygun bir sonraki madde havuzdan seçilerek bireye sorulur. Örneğin, bir birey ortalama zorluğa sahip bir maddeye doğru yanıt verirse, algoritma bireye bir sonraki adımda daha zor bir madde sunar. Ancak, birey maddeye doğru yanıt veremezse bir sonraki adımda bu bireye daha kolay bir madde sorulur. Bu sayede bireyler sadece kendi yetenek düzeylerine uygun olan maddeler ile karşılaşacağı için daha az madde ile daha güvenilir bir yetenek kestirimi yapılabilir (Kalender, 2009). Test sonlanana kadar bu süreç tekrarlanarak devam eder.

BOBUT beş bileşenden oluşmaktadır (Weiss ve Kingsbury, 1984; Thompson ve Weiss, 2011). Bunlar; madde havuzunun oluşturulması, başlama kuralı, madde seçim algoritması, yetenek kestirim algoritması ve testi sonlandırma kuralıdır. Bu bileşenler altta kısaca açıklanmıştır. Beş bileşeni içeren BOBUT algoritma şeması Şekil 1’de gösterilmiştir.

Şekil 1. BOBUT Algoritma Şeması

1. Madde havuzunun oluşturulması

BOBUT algoritmasının çalışması için parametreleri bilinen bir madde havuzuna ihtiyaç vardır. Bunun için BOBUT uygulamalarında kullanılacak maddeler daha önceden bir gruba uygulanır. Sonrasında bu maddelerin, Madde Tepki Kuramı (MTK) modellerinden birine göre parametreleri belirlenir ve madde havuzu oluşturulur. İyi bir madde havuzu çok sayıda ve çeşitli zorluklarda maddeler içermelidir (Weiss ve Kingsbury, 1984). Bu sayede aynı maddenin farklı uygulamalarda çok sayıda kullanılıp ifşa edilme ihtimali azalır. Ayrıca, çok başarılı olan ve başarı düzeyi geride olan öğrenciler için de uygun maddelere sahip olunur.

2. Başlama kuralı

Testin başında bireylere sunulacak ilk maddenin seçimine ilişkin kural için farklı yaklaşımlar bulunmaktadır. En yaygın olanı, teste katılan bireylere orta güçlükte madde sunarak testi başlatmaktır. Yetenek düzeyi hakkında ön bilginin olmadığı durumda bireyin orta düzeyde yeteneğe sahip olduğunu varsaymak en iyi tahmindir (Mills ve Stocking, 1996).

3. Madde seçim algoritması

Maddelerin havuzdan nasıl seçileceğine karar verildiği aşamadır. Madde seçiminde çoğunlukla kullanılan yöntem, Maksimum Fisher Bilgi (Maximum Fisher Information - MFI) yöntemidir. Bu yöntemde, bireyin kestirilen geçici yetenek düzeyi için en yüksek bilgiyi vermesi beklenen bir sonraki madde bilgisayar tarafından madde havuzundan seçilir.

4. Yetenek kestirim algoritması

Bireyin her maddeye verdiği yanıttan sonra geçici yetenek kestirimi yapılır. Bunun için başlıca iki yöntem kullanılır: Maksimum Olabilirlik Kestirimi (Maximum Likelihood Estimation - MLE) ve Bayesian yöntemler (Weiss ve Kingsbury, 1984). MLE yönteminde, yetenek kestirimi için bireyin en az bir doğru ve bir yanlış yanıt vermesi gerekir (Thompson ve Weiss, 2011). Bayesian yöntemlerinde, MLE’deki zorunluluk yoktur ve ilk maddeye verilen yanıttan sonra bireyin yetenek kestirimi hemen başlayabilir. BOBUT uygulamalarında en çok kullanılan Bayesian yöntemleri ise Beklenen Sonsal Dağılım (Expected a Posteriori – EAP) ve En Çok Sonsal Dağılım (Maksimum a Posteriori – MAP)’dır.

5. Testi sonlandırma kuralı

BOBUT uygulamalarında farklı sonlandırma kuralları kullanılmaktadır. Bunlardan en yaygın olanı, bireylerin yetenek kestiriminde belirli bir standart hata değerinin altına ulaşıldığında testi sonlandırmaktır. Sonlandırma kuralı sağlanıncaya kadar 3. ve 4. bileşenler tekrar edilir. Diğer bir sonlandırma kuralı ise sabit sayıda maddeye ulaşılınca testin tamamlanmasıdır. Böylece testi alan her birey aynı sayıda ancak yetenek düzeylerine göre farklı maddeleri yanıtlamaktadır.

KAYNAKÇA

Kalender, İ. (2009). Başarı ve yetenek kestirimlerinde yeni bir yaklaşım: Bilgisayar ortamında bireyselleştirilmiş testler (computerized adaptive tests-CAT). CITO Egitim Kuram ve Uygulama, 5, 39-48.

Mills, C. N. & Stocking, M. L. (1996). Practical issues in large-scale computerized adaptive testing. Applied measurement in education, 9(4), 287-304.

Thompson, N. A. & Weiss, D. J. (2011). A framework for the development of computerized adaptive tests. Practical Assessment, Research, and Evaluation, 16(1), 1-9.

Weiss, D. J. & Kingsbury, G. G. (1984). Application of computer adaptive testing to educational problems. Journal of Educational Measurement, 21(4), 361–375

 Banu Karyağdı, Boğaziçi Üniversitesi, MS, 2022                  

 05.01.2023