Araştırmalarda, bir grubun katılımcılarını veya öğelerini kategorilere ayırırken, birden fazla puanlayıcının görüş birliğini anlamak büyük önem taşır. Bu noktada Fleiss’in Kappa Testi, üç veya daha fazla gözlemcinin bir gruptaki katılımcıları değerlendirirken ne kadar uyum sağladığını ölçmek için kullanılan etkili bir istatistiksel yöntemdir. Bu yazıda, Fleiss’in Kappa Testi'nin ne olduğunu, nasıl hesaplandığını ve hangi durumlarda kullanıldığını ele alacağız. Ayrıca, daha önce Cohen’in Kappa Testi hakkında verdiğimiz bilgileri de göz önünde bulunduracağız.
Fleiss’in Kappa Nedir?
Fleiss’in Kappa istatistiği, nominal ölçekli verilerde 3 veya daha fazla puanlayıcının aynı öğeyi değerlendirmesi durumunda, bu değerlendiricilerin arasındaki uyumu ölçer. Fleiss’in Kappa, Cohen’in Kappa istatistiğine dayanarak geliştirilmiştir, ancak farklı olarak, birden fazla değerlendiricinin katılımını dikkate alır.
Örneğin, bir araştırmada üç farklı doktorun aynı tıbbi durumu değerlendirdiğini düşünelim. Doktorlar A, B ve C, her biri aynı hasta dosyasını inceleyerek durumu "düşük", "orta" veya "yüksek" risk olarak sınıflandırabilir. Fleiss’in Kappa istatistiği, bu doktorlar arasındaki sınıflandırmaların uyumunu ölçer. Yüksek bir Kappa değeri, doktorların değerlendirmeleri arasında güçlü bir uyum olduğunu gösterir ve bu durum, değerlendirmenin güvenilirliği açısından olumlu bir işarettir.
Fleiss’in Kappa Değeri ve Yorumu
Fleiss’in Kappa değeri, -1 ile 1 arasında bir değer alır. Bu değerlerin yorumu şu şekildedir:
-1: Tam ters yönlü uyumsuzluk. Gözlemciler arasında hiçbir anlaşma yoktur.
0: Rasgele anlaşma. Gözlemcilerin sınıflandırmaları, rastgelelikten kaynaklanan anlaşmazlıklarla aynıdır.
1: Mükemmel uyum. Gözlemciler arasında tam bir uyum vardır.
Fleiss’in Kappa değeri, araştırmalarda güvenilirlik ve tutarlılık açısından önemli bir gösterge olarak kabul edilir. Özellikle klinik değerlendirmelerde veya sosyal bilimler araştırmalarında, puanlayıcılar arasındaki uyumun ne kadar sağlam olduğunu anlamak için kullanılır.
Fleiss’in Kappa Değeri Nasıl Hesaplanır?
Fleiss’in Kappa hesaplaması, bazı formüller ve istatistiksel işlemler gerektirir. Ancak, karmaşık hesaplamalar yapmanıza gerek yok; çünkü bu işlemi SPSS veya benzeri istatistik yazılımları ile kolayca gerçekleştirebilirsiniz. Bunun için, aşağıdaki videomuzu izleyerek detaylı bilgi alabilirsiniz:
Cohen’in Kappa Değeri ile Farkları
Cohen’in Kappa değeri, yalnızca iki puanlayıcı arasındaki uyumu değerlendirirken kullanılır. Fleiss’in Kappa değeri ise üç veya daha fazla puanlayıcının değerlendirmelerini karşılaştırır. Bu, Fleiss’in Kappa’sını daha geniş bir uygulama alanına sahip hale getirir. Her iki test de puanlayıcıların arasında rastgele anlaşmazlıkların düzeltilmesine yönelik olarak geliştirilmiştir, ancak kullanılan formüller ve hesaplama yöntemleri farklılık gösterir.
Daha önce anlattığımız, Cohen’in Kappa Testi hakkında detaylı bilgi almak isterseniz, buradan ulaşabilirsiniz:
Sonuç
Fleiss’in Kappa Testi, araştırmalarda birden fazla değerlendiricinin aynı öğeleri nasıl değerlendirdiğini anlamak için vazgeçilmez bir araçtır. Özellikle alanında uzman kişilerin yaptığı değerlendirmelerin güvenilirliğini test etmek için kullanılır. İstatistiksel analizlerinizde bu testi uygulamak, bulgularınızın geçerliliğini artıracak ve sonuçlarınızı daha sağlam temellere oturtacaktır. Eğer Fleiss’in Kappa Testi’ni SPSS ile nasıl uygulayacağınızı öğrenmek istiyorsanız, videomuzu izlemeyi unutmayın:
Özet olarak bu testte ikiden fazla puanlayıcı var. Ya da bir puanlayıcının ikiden fazla puanlaması var. Dolayısıyla bir önceki anlattığımız Cohen’in Kappa Testi’nden fark, puanlayıcının ve puanlamaların ikiden fazla olması.
Kaynak: Fleiss, J. L. (1971). Measuring nominal scale agreement among many raters. Psychological bulletin, 76(5), 378.