PERFORMANS DEĞERLENDİRMEDE ÇOK YÜZEYLİ RASCH ÖLÇME MODELİ: KURAMSAL TEMELLER, UYGULAMALAR VE EĞİTİM ARAŞTIRMALARINA YANSIMALARI
Author :
Abstract
Bu çalışmanın amacı, performans değerlendirmelerinde öğrenci yeterliğiyle birlikte puanlara karışabilen puanlayıcı katılığı, görev güçlüğü, ölçüt işleyişi ve kategori kullanımını eş zamanlı biçimde modelleyen Çok Yüzeyli Rasch Ölçme Modeli'ni (ÇYRÖM) kuramsal ve uygulamalı boyutlarıyla incelemektir. Çalışma; temel Rasch ölçme kaynakları, ÇYRÖM ve FACETS yazını, puanlayıcı etkileri araştırmaları ve Genellenebilirlik Kuramı çalışmalarının kavramsal temalar altında çözümlendiği bir anlatı derlemesi olarak tasarlanmıştır. İnceleme; modelin matematiksel yapısı, logit ölçeği, yüzey parametreleri, infit ve outfit uyum istatistikleri, ayırma ve güvenirlik değerleri, kategori işleyişi ile analiz ve raporlama sürecine odaklanmıştır. Sentez sonuçları, ÇYRÖM'ün katılık-cömertlik, halo ve horn etkileri, merkeze yönelme, tutarsız puanlama ve farklılaşan puanlayıcı işleyişini bireysel parametreler üzerinden tanılayabildiğini göstermektedir. Modelin, puanlayıcı ve görev etkilerinden arındırılmış öğrenci ölçüleri üreterek ölçme adaletini güçlendirdiği; buna karşılık bağlantılı veri deseni, model varsayımları ve uzmanlık gerektiren yorumlama süreçleri bakımından sınırlılıklar taşıdığı belirlenmiştir. Genellenebilirlik Kuramı ile yapılan karşılaştırma, iki yaklaşımın rakip olmaktan çok tamamlayıcı nitelikte olduğunu ortaya koymaktadır. Sonuç olarak ÇYRÖM, insan yargısına dayalı performans değerlendirmelerinde geçerlik, güvenirlik ve adil puanlama kanıtlarını güçlendiren kapsamlı bir psikometrik çerçeve sunmaktadır.
Keywords
Abstract
This study aims to examine the Many-Facet Rasch Measurement model (MFRM), which simultaneously models rater severity, task difficulty, criterion functioning, and category use, in addition to examinee proficiency, from theoretical and applied perspectives. The study was designed as a narrative review in which foundational Rasch measurement sources, MFRM and FACETS literature, research on rater effects, and studies on Generalizability Theory were synthesized under conceptual themes. The review focused on the mathematical structure of the model, the logit scale, facet parameters, infit and outfit fit statistics, separation and reliability indices, category functioning, and the analysis and reporting process. The synthesis indicates that MFRM can diagnose severity and leniency, halo and horn effects, central tendency, inconsistent scoring, and differential rater functioning through individual parameters. The model strengthens measurement fairness by producing examinee measures adjusted for rater and task effects; however, it also has limitations related to connected data designs, model assumptions, and the expertise required for interpretation. Comparison with Generalizability Theory suggests that the two approaches are complementary rather than competing. In conclusion, MFRM provides a comprehensive psychometric framework for strengthening validity, reliability, and fair-scoring evidence in performance assessments based on human judgment.
Keywords
Many-Facet Rasch Measurement, Rater Reliability, Performance Assessment, FACETS, Rater Bias, Fair Scoring
