Bireyselleştirilmiş Bilgisayar Testlerinde Madde Seçim Ve Yetenek Kestirim Yöntemlerinin Karşılaştırılması: Simülasyon Tabanlı Bir Çalışma
Mevcut araştırmada, Bireyselleştirilmiş Bilgisayar Test ortamında farklı madde seçme ve yetenek kestirim yöntemlerinin simülasyon verileri aracılığıyla performansları karşılaştırılmıştır. Bu kapsamda, 3 parametreli lojistik model esas alınarak oluşturulan simülatif veri seti ile madde seçim ve yetenek parametrelerinin kestirim hataları hesaplanmış ve simülasyonlar SimulCAT yazılımı aracılığıyla yürütülmüştür. Araştırmada yetenek kestirimi için Maksimum Olabilirlik Kestirim ve Bayesyan yöntemleri karşılaştırılmış; her bir yöntemin soru seçiminde Maksimum Bilgi Ölçütü ve Ağırlıklandırılmış Maksimum Olabilirlik Fonksiyonu yöntemleri ile yetenek kestirimi doğruluğu ve kestirime ilişkin standart hata ortalamaları hesaplanmıştır. Test sürecinde, bireylerin interim theta değerlerine de bakılmış hangi yöntemin daha iyi sonuçlar verdiği kaydedilmiştir. Test sonlandırma kuralı olarak 20 soruluk sabit soru sayısı tercih edilmiş her 20 soruyu cevaplayan birey için test sonlandırılmıştır. Toplam 1000 kişi ile gerçekleştirilen uygulamada soru havuzu toplamda 500 sorudan oluşmuş belirlenen her bir yöntem için 25 replikasyon sonucunda elde edilen değerlerin ortalaması analizlerde kullanılmıştır. Sonuçlara bakıldığında ise yetenek kestirimi için Maksimum Olabilirlik Kestirim Yönteminde Ağırlıklandırılmış Maksimum Olabilirlik Fonksiyonunun, Bayesyan Yönteminde ise Maksimum Bilgi Ölçütü’nün en az hata vererek en iyi yetenek kestirimi yaptığı gözlenmiştir. Ara yetenek kestirim yöntemlerinde de Maksimum Olabilirlik Kestirim Yönteminde Ağırlıklandırılmış Maksimum Olabilirlik Fonksiyonunun, Bayesyan Yönteminde ise Maksimum Bilgi Ölçütü’nün daha iyi sonuçlar verdiği söylenebilir.
Anahtar Kelimeler: Bireyselleştirilmiş bilgisayar testi, madde seçim yöntemleri, yetenek kestirimi
Baker, F. B. (2001). The basics of item response theory (2nd ed.). ERIC Clearinghouse on Assessment and Evaluation.
Bejar, I. I. & Weiss, D. J. (1979). Computer programs for scoring test data with item characteristic curve models (Research Rep. No. 79-1). Minneapolis: University of Minnesota, Depeartment of Psychology, Psychometric Methods Program.
Carter, J. E., & Wilkinson, L. (1984). A latent trait analysis of the MMPI. Multivariate Behavioral Research, 19(3), 385–407.
DeMars, C., 2010. Item Response Theory: Understanding Statistics Measurement. Prof. Dr. Hülya Kelecioğlu (çeviri editörü), Oxford University Press, Oxford, 3-31.
Eggen, T. J. H. M. (1999). Item selection in adaptive testing with the sequential probability ratio test. Applied Psychological Measurement, 23(3), 249–261.
Eggen, P. D., & Kauchak, D. (2004). Educational psychology: Windows on classrooms (6th ed.). Pearson Prentice Hall.
Embretson, S. E., & Reise, S. P. (2000). Item response theory for psychologists. Psychology Press.
Eroğlu, M. G., & Kelecioğlu, H. (2015). Bireyselleştirilmiş bilgisayarlı test uygulamalarında farklı sonlandırma kurallarının ölçme kesinliği ve test uzunluğu açısından karşılaştırılması. Uludağ Üniversitesi Eğitim Fakültesi Dergisi, 28(1), 31–52.
Fisher, R. A. (1925). Theory of statistical estimation. Proceedings of the Cambridge Philosophical Society, 22(5), 700–725.
Gelman, A., Carlin, J. B., Stern, H. S., Dunson, D. B., Vehtari, A., & Rubin, D. B. (2013). Bayesian data analysis (3rd ed.). CRC Press.
Hambleton, R. K., Swaminathan, H., & Rogers, H. J. (1991). Fundamentals of item response theory. Sage Publications.
Han, K. T. (2012). SimulCAT: Computerized adaptive testing simulation program (Version 1.0) [Computer software]. https://www.hantest.net/simulcat/
Ho, T. (2010). A Comparison of item selection procedures using different ability estimation methods in computerized adaptive testing based on the Generalized Partial Credit Model, [Unpublished doctoral dissertation]. University of Texas.
Hunter, G. (2020). The Sigmoid Function. 5 Eylül 2023 tarihinde https://blog.mbedded.ninja/programming/artificial-intelligence/the-sigmoid-function/?utm_source=chatgpt.com uzantısından erişilmiştir.
Kalender, İ. (2004). Bilgisayar ortamında bireyselleştirilmiş testlerin eğitimde kullanımı. XIII. Ulusal Eğitim Bilimleri Kurultayı. İnönü Üniversitesi, Eğitim Fakültesi, Temmuz 6-9, Malatya.
Kalender, I. (2009). CITO. Egitim Kuram ve Uygulama, 5, 39-48.
Karasar, N. (2019). Bilimsel araştırma yöntemi: Kavramlar, ilkeler, teknikler (23. baskı). Nobel Akademik Yayıncılık.
Kezer, F., & Koç, N. (2014). Bilgisayar ortamında bireye uyarlanmış test stratejilerinin karşılaştırılması [A comparison of computerized adaptive testing strategies]. Eğitim Bilimleri Araştırmaları Dergisi, 4(1), 145–174.
Meijer, R. R., & Nering, M. L. (1999). Multidimensional item response models [Monograph]. Lawrence Erlbaum Associates.
Overstall, A. M. (2020). Properties of using Fisher information gain for Bayesian design of experiments. https://arxiv.org/abs/2003.07315 uzantısından 10 Eylül 2022 tarihinde erişilmiştir.
Rudner, L. (1998). An On-line, Interactive, Computer Adaptive Testing Mini Tutorial. ERIC Clearinghouse on Assessment and Evaluation.
Rudner, L. M., & Guo, F. (2009). Computer adaptive testing for small scale programs and instructional systems. Journal of Applied Testing Technology, 10(1), 1–19.
Song, T. (2012). The effect of fitting a tridimensional IRT model to multidimensional data in content-balanced computerized adaptive testing. Unpublished Doctoral Dissertation. Michigan State University.
Tabachnick, B.G. & Fidell, L. S. (2013). Using multivariate statistics, 6th edition. Boston:Pearson.
Thissen, D., & Mislevy, R.J. (2000). Testing algorithms. In H. Wainer (Ed.). Computerized adaptive testing, (101-135). Lawrence Erlbaum Assc.
van der Linden, W. J., & Glas, C. A. W. (2000). Computerized adaptive testing: Theory and practice. Dordrecht: Kluwer Academic Publishers.
van der Linden, W. J., & Glas, C. A. W. (2010). Elements of adaptive testing. Springer.
Veerkamp, W. J. J., & Berger, M. P. F. (1997). Some new item selection criteria for adaptive testing. Journal of Educational and Behavioral Statistics, 22(3), 203–226.
Wainer, H., Dorans, N. J., Flaugher, R., Green, B. F., & Mislevy, R. J. (2000). Computerized adaptive testing: A primer (2nd ed.). Routledge.
Weiss, D. J. (1982). Improving measurement quality and efficiency with adaptive testing. Applied Psychological Measurement, 6(4), 473–492. https://doi.org/10.1177/014662168200600405
Weiss, D. J. (1985). Adaptive testing by computer. Journal of Consulting and Clinical Psychology, 53(6), 774–789. https://doi.org/10.1037/0022-006X.53.6.774