Bu yazımızda sizler tarafından çokça talep edilen ve akademik çalışmalarımızda çok önemli yeri olan, ölçek geliştirme konusunu ele alacağız.
Düşünce aşamasından itibaren, yani sıfırdan, bir ölçek nasıl geliştirilir? sorusuna cevap vermeye çalışacağız
Bunun için öncelikle “ölçek ne anlama gelir? anketten farkı nedir? geçerlik ve güvenirlik nedir?” gibi bazı kavramlar hakkında teorik bilgiler vermemiz gerekiyor. Çünkü bunları vermediğimizde sonraki anlatımlarımız tam olarak yerine oturmayacaktır.
Öncelikle Ölçek nedir? Anketten farkı nedir? sorusuna cevap verelim
Bunun için anketin ne olduğundan başlamamız daha doğru olacaktır. Anket, hepimizin bildiği gibi bir konuda bilgi toplamak için sorulan sorulardan oluşur. Örneğin size herhangi bir konuda sorular sorulur ve bu sorulara verdiğiniz cevaplar ile bu konudaki bilgileriniz toplanır. Ancak bu sorulara verdiğiniz cevaplar puanlanıp bir araya getirilerek tek bir puan üzerinden konu hakkındaki bilgi düzeyiniz veya yaklaşımınız gibi bir sonuca gidilmez. Yani ankette her bir soru, ayrı olarak değerlendirilir ve bunların cevapları araştırmada ayrı ayrı verilir. Daha fazla detay için YouTube kanalımızda anketin ne olduğunu ve nasıl hazırlanacağını anlattığımız 2 bölümlük bir video var. Bunu izlemenizi öneriyoruz.
Ölçekte ise yine sorular vardır. Bunlar çoğu zaman sorular halinde değil kanı bildirecek biçimde maddeler halindedir ve bu sorular veya maddeler ayrı ayrı değerlendirmek için hazırlanmamıştır. Bunlar, çeşitli biçimlerde bir araya getirilmek ve bunlardan hesaplanacak ortalama veya toplam puanlar ile bir konudaki bilgi düzeyiniz, yaklaşımınız, psikolojik özelliğiniz gibi durumunuzu ölçmek için vardır. Yani ölçekte, anketten farklı olarak her bir soru ayrı ayrı kullanılmaz ve değerlendirilmez, bunlar üzerinden ulaşılan ortak puanlar kullanılır.
Dolayısıyla ankette, belirli bir amaç için birçok bağımsız maddenin sistematik bir düzen içinde kullanılması ile bilgi toplama amacı vardır. Anket, bilgi toplamayı amaçlayan bir yaklaşımdır. Ölçekte ise bir yapıyı ölçmek için birbiri ile alakalı maddelerin bir araya getirildiği sistematik bir yaklaşım söz konusudur. Ölçeğin amacı bilgi toplama değil bir konudaki herhangi bir özelliğin ölçülmesidir. Örneğin Akademik Erteleme Ölçeği, Algılanan Hizmet Kalitesi Ölçeği, Durumluk ve Sürekli Kaygı Ölçeği, Empatik Eğilim Ölçeği, Finansal Okuryazarlık Ölçeği ve Öz Yeterlilik Ölçeği birer örnek olarak verilebilir. Dikkat ederseniz bunların tamamında amaç bilgi toplama değil, bir konudaki herhangi bir özelliğin ölçülmesidir.
Şimdi gelelim bir ölçekte olması gereken iki önemli özelliğe: geçerlik ve güvenirliğe
Kısaca hatırlatacak olursak, geçerlik, bir ölçme aracının ölçmek istediği özelliği araya başka özellikler katmadan, farklı özelliklerle karıştırmadan ölçebilme derecesidir. Yani, sadece amaçladığı ölçmeyi gerçekleştirebilme derecesidir. Örneğin, Örgütsel Bağlılık Ölçeği üzerinden bir örnek verelim. Bu ölçeğin amacı, ölçeği cevaplayan bireyin çalıştığı, mensubu olduğu kurum, kuruluş, şirket, işyeri, fabrika vb. örgüte bağlılık düzeyini ölçmektir. O zaman bu ölçeğin geçerli olması demek, araya başka özellikler katmadan, gerçekten örgütsel bağlılığı ölçebilmesi demektir. Burada örneğin, örgütsel bağlılık yerine bireyin özgüvenini ölçen bir madde olmamalıdır ya da örgütsel bağlılık yerine yöneticiye duyulan güven ölçülmemelidir. Ayrıca yine örgütsel bağlılık yerine bireyin çalışmaya tutkunluğu veya çalışkanlığı ölçülmemelidir. Kısacası bu ölçek, sadece örgütsel bağlılığı ölçmelidir.
Peki bir ölçme aracının geçerli olması için ne yapmamız gerekiyor?
Bunları kısaca ifade edecek olursak,
· Görünüş Geçerliği
· Kapsam (İçerik) Geçerliği
· Yapı Geçerliği
· Ölçüt Kullanma (yordama geçerliği ve uyum geçerliği)
olarak adlandırılan geçerlik türlerini sağlamamız gerekmektedir. Bunları arttırmamız tabi ki mümkün ancak en önemli maddeler olarak bunları verebiliriz. Bunları da detaylı olarak anlattığımız bir videomuz mevcut. Buna YouTube kanalımızda ulaşabilirsiniz.
Ancak yine kısaca değinecek olursak, görünüş geçerliği ölçeğin görünümü ile ilgilidir. O zaman ilk olarak ölçeğimizin görünümünün uygun olması gerekmektedir. Kapsam geçerliği, ölçeğin ölçmek istediği konu, yaklaşım, davranış vb. kapsama derecesi anlamına gelmektedir. Örneğin az önce örnek olarak verdiğimiz Örgütsel Bağlılık Ölçeği geliştirilirken, örgütsel bağlılığın üç bileşeni olduğu yani bunların birleşiminden oluştuğu savunulmuştur. Bunlar Duygusal Bağlılık, Normatif Bağlılık ve Devam Bağlılığı olarak adlandırılmıştır. Bundan dolayı da ölçekte bunlar birer alt boyut yapılmış ve her alt boyuta yönelik 6’şar madde hazırlanmıştır. Yani bunların hepsi kapsanmış, kapsam geçerliği sağlanmıştır. O zaman hazırlayacağımız ölçekte bunu da göz önünde bulundurmamız gerekmektedir.
Yapı geçerliği ise ölçeğin soru veya maddelerinin birbiri ile uyumu, birbirini tamamlaması ve toplu halde bir bütün oluşturması olarak tanımlanmaktadır. Bunun tespit edilebilmesi için ise faktör analizi yapılması gerekmektedir. AFA ve DFA olarak, yani Açımlayıcı Faktör Analizi ve Doğrulayıcı Faktör Analizi olarak adlandırdığımız faktör analizleri bundan dolayı yapılmaktadır. Yalnız şunu belirtelim; ölçeği sıfırdan hazırlıyorsak AFA ve DFA’nın ikisini de yapmamız gerekmektedir. Çünkü AFA, yapıyı ortaya çıkarıyor. DFA ise bunu doğruluyor. Dolayısıyla yabancı dilden Türkçe’ye çevirme yapıyorsak bu durumda DFA yeterlidir. Çünkü önceden yapısı ortaya koyulmuştur, sadece bunu doğrulamamız gerekmektedir.
Ölçüt kullanma yani yordama geçerliği ve uyum geçerliği ise ölçeğin, ölçtüğü konu ile ilgili olarak gelecekteki veya geçmişteki herhangi bir veri ile ilişkisini kurma anlamına gelmektedir. Bunu kısaca benzer bir ölçekle karşılaştırma yapma olarak açıklayabiliriz. Örneğin Örgütsel Bağlılık Ölçeği üzerinden devam edecek olursak, bu ölçeği kullanarak topladığımız bulguları, aynı konuda hazırlanmış farklı bir ölçeğin bulguları ile karşılaştırabiliriz. İki ölçeği de uygularız ve sonuçların korelasyonuna bakarak, bulguların benzer olup olmadığını tespit ederiz ya da ölçeği uyguladığımız aynı gruba, sonraki zamanlarda, çalışan performansı ile ilgili bir ölçek uygularız ve örgütsel bağlılık ile performans arasındaki ilişkiyi inceleriz. Çünkü bağlılık yüksek olduğunda performansın da yüksek olacağı bilinen bir gerçektir. Bağlılığı yüksek bulduysak performans da yüksek olmalıdır, böylece ölçeğimizin geçerliğini test etmiş oluruz.
Gelelim güvenirliğe…
Güvenirlik, bir ölçme aracının ölçmek istediği özelliği hatasız bir biçimde ölçebilme derecesidir. Yani, ölçmek istediği özelliği ne derece hatasız ölçtüğü veya hatalardan arınık olma derecesidir. Bu konuyu anlattığımız videoda (YouTube’da bulabilirsiniz) şöyle bir örnek vermiştik. “Gerçekte 42,2 kg olan bir öğrenciyi bir tartının 42,2 kg olarak ölçmesi durumunda ölçüm hatasız bir biçimde yapılmış olur. Ayrıca, tartı öğrenciyi arka arkaya 4 defa ölçtüğünde her defasında sonuç yine 42,2 kg olur ve sonuçlar arasında bir farklılık bulunmazsa ölçüm yine hatasız bir biçimde gerçekleştirilmiş olacaktır” demiştik.
Peki bir ölçme aracının güvenilir olması için ne yapmamız gerekiyor?
Bunun için de farklı yöntemler mevcuttur. Bunlardan bazılarını,
· Test – Tekrar Test Yöntemi
· Paralel (Eşdeğer) Testler (Formlar) Yöntemi
· Eşdeğer Yarılar (İki Yarı) Yöntemi
· Kuder Richardson Yöntemi (KR-20 ve KR-21)
· Cronbach Alpha Yöntemi
· Madde-Toplam Puan Korelasyonu
· Alt %27 – Üst %27 (Ayırt Edicilik) Yöntemi
· Objektiflik Yöntemi
olarak belirtebiliriz. Bunları da güvenirlik belirleme yöntemleri adlı ayrı bir videomuzda anlatmıştık. Ancak üçünü kısaca hatırlatmak istiyoruz.
Cronbach Alpha Yöntemi ile soruların iç tutarlılığını tespit etmeye yönelik bir yöntemdir ve en sık kullanılan yöntem budur.
Madde-Toplam Puan Korelasyonu, her bir madde ile ölçeğin toplam puanı arasında korelasyon yapılmasına dayanmaktadır. Böylece maddeler, ölçek toplamı ile aynı yönde mi, aralarında pozitif bir ilişki var mı gibi soruların cevaplarını almış oluyoruz. Örneğin yine Örgütsel Bağlılık Ölçeği’nden örnek verecek olursak, eğer bir madde örgütsel bağlılığı ifade ediyorsa bu maddeye verilen cevap ile ölçeğin genelinden alınacak puan arasında pozitif ilişki olmasını bekliyoruz. Yani ölçek toplam puanı artıyorsa, maddeden alınan puan da artmalıdır. Yalnız eğer ölçekten toplam bir puan alınmıyorsa, alt boyut puanları ayrı ayrı hesaplanıyor ve birbiri ile toplanmadan ayrı ayrı değerlendiriliyorsa, o zaman madde ile, alt boyut puanı arasında korelasyon yapılmalıdır.
Alt %27 – Üst %27 (Ayırt Edicilik) Yöntemi ise ölçekten alınan toplam puana göre katılımcıların en yüksekten en düşüğe doğru sıralanması ve bu yapıldıktan sonra örneğin 100 katılımcı varsa en üstteki 27 kişinin ortalaması ile en alttaki 27 kişinin ortalamasının birbirinden anlamlı farklılık göstermesi anlamına gelmektedir. Burada ölçeğimizin en yüksek düzeydekiler ile en düşük düzeydekileri tespit edebilmesini ve bunları birbirinden ayırmasını istiyoruz. Bundan dolayı bu yönteme ayrıca ayırt edicilik yöntemi adı veriliyor.
Şimdi gelelim, ölçek geliştirme sürecinde yapılması gerekenlere...
Bunları, maddeler halinde anlatalım:
1. Ölçek geliştireceğiniz konuda kapsamlı bir literatür taraması yapmalısınız.
Bu taramada, hazırlayacağınız soruları veya maddeleri düşünerek, ölçmeyi düşündüğünüz konunun ne olduğunu, nelerden oluştuğunu, hangi yönler veya bileşenlerden meydana geldiğini, bu konuda bir kişi yüksek düzeyde ise bu kişinin hangi özelliklere sahip olduğunu, düşük düzeyde ise nelere sahip olmadığını incelemelisiniz. Yani kısaca konuya hakim olmalısınız ki ölçeği hazırlayabilesiniz. Bir örnek verecek olursak, yönetim tarzını tespit etmeye yönelik bir ölçek geliştireceksiniz. Bu durumda öncelikle yönetim tarzı ne demektir? Hangi yönetim tarzları bulunmaktadır? Hangi davranış, hangi yönetim tarzının göstergesidir? Bunları çok iyi bilmelisiniz. Bunu yaptığınızda hem hiçbir yönetim tarzını dışarıda bırakmayacak yani kapsam geçerliliği yüksek bir ölçek geliştirmiş olursunuz, hem de doğru maddeleri veya soruları yazarak geçerliliği ve ayırt ediciliği arttırmış olursunuz. Bunu yaptığınızda güvenirlik de artmış olur.
2. Madde havuzu oluşturmalısınız.
Literatürü taradıktan sonra, artık sahip olduğunuz bilgilere dayalı olarak, ölçeğinizde yer olabileceğini düşündüğünüz maddeleri alt alta yazmalısınız. Buna madde havuzu adını veriyoruz. Bu maddeleri aslında literatürü okurken de yapabilirsiniz. Yani bir yandan araştırmanızı yürütürken bir yandan ölçeğinizde yer alabileceğini düşündüğünüz maddeleri not edebilirsiniz.
Örneğin, yöneticim,
· Çalışanlarını yönlendiricidir.
· Personelinin görüşlerine önem verir, onları dinler.
· Bizlere girişim ruhu aşılar.
· Görevlerinin bir bölümünü astları ile paylaşır.
gibi bazı maddeler oluşturulabilir. Varsayalım toplam 36 madde yazdınız. Bunları baştan sona tekrar okuyarak, benzer olanları birleştirebilir, bazılarında düzeltmeler yapabilirsiniz. En sonunda, bunlara son şeklini verdiğinizde bir madde havuzu oluşturulmuş olur. Varsayalım 25 madde kaldı. Bundan sonra bir sonraki adıma geçebiliriz. Bir sonraki adımda,
3. Ölçeğinizi oluşturmalısınız.
Kalan maddeleri bir düzene sokarak, görünüş geçerliğini sağlayarak ve kesinlikle katılmıyorum, katılmıyorum, kararsızım gibi cevap seçeneklerini de ekleyerek bu maddeleri bir ölçek haline getirmelisiniz.
4. Uzman görüşü almalısınız.
Bu aşamaya kadar oluşturduğunuz ölçeği eğer tez hazırlıyorsanız öncelikle danışman hocanıza göstermeli ve görüş ve önerilerini almalısınız. Ayrıca mümkünse konunun uzmanı kişi veya kişilere, bir ölçme değerlendirme uzmanına ve dil uzmanına da göstererek görüşlerini almalısınız. Eğer yabancı bir ölçeği Türkçe’ye çevirdiyseniz orijinal metni ve Türkçe çevirisini İngilizceye ve çeviriye hakim bir dil uzmanına göstermeniz faydalı olacaktır. Ölçeğinizi netleştirmeden önce, belki yüzlerce kişiye uygulamadan önce mümkün olduğunca fazla sayıda uzmanın görüş ve önerilerini almalı, ölçeğinize son şeklini bunlara göre vermelisiniz.
5. Pilot uygulama yapmalısınız.
Ölçeğinizi büyük bir katılımcı kitlesi üzerinde uygulamadan önce mutlaka küçük bir grup üzerinde pilot uygulama yapmalısınız. Bunu yaptığınızda mutlaka daha önce göremediğiniz bazı tespitleriniz olacaktır. Yanlış anlaşılmalar, soruların sıralanışı, ölçeğin tasarımı, cevap seçenekleri, gereken süre, katılımcılardan gelen öneriler gibi bazı tespitleriniz mutlaka olacaktır. Bu nedenle mutlaka pilot uygulama yapmalısınız.
Pilot uygulamayı da yaptıktan sonra artık ölçeğinize, son düzeltmeleriniz ile birlikte AFA, Güvenirlik analizi ve DFA gibi analizler öncesindeki son şeklini vermiş olursunuz.
Bunların nasıl yapıldığını adım adım görmek isterseniz aşağıdaki verileri bilgisayarınıza indirerek (SPSS programınız yoksa bu verileri açamazsınız) YouTube kanalımızdaki ölçek geliştirme videolarını izleyebilir ve analizleri yapabilirsiniz.
İyi çalışmalar diliyoruz.
YouTube Kanalımızdaki Ölçek Geliştirme 2 ve 3 (Geçerlik ve Güvenirlik) Videolarına ait verileri aşağıdan indirebilirsiniz:
AFA Videosundaki kaynaklar:
Temel bileşenler yöntemi ile direct oblimin seçimi: Büyüköztürk, Ş. (2011). Sosyal Bilimler için Veri Analizi El Kitabı. Ankara: Pegem Akademi. Sayfa 126.
Maddeler arası korelasyonun çok düşük ve yüksek olmaması kuralı: Field, A. (2009). Discovering Statistics Using SPSS. London: SAGE. Sayfa 657.
KMO 0,50< ve Bartlett anlamlı olmalı: Field, A. (2009). Discovering Statistics Using SPSS. London: SAGE. Sayfa 659.
Ayrıca KMO en az 0,60 olmalı olarak belirten kaynak: Büyüköztürk, Ş. (2011). Sosyal Bilimler için Veri Analizi El Kitabı. Ankara: Pegem Akademi. Sayfa 126.
Cummunalities yani ortak varyans açıklamaları: Field, A. (2009). Discovering Statistics Using SPSS. London: SAGE. Sayfa 662.
Faktörlerin ve geçerliğin belirlenmesi: Field, A. (2009). Discovering Statistics Using SPSS. London: SAGE. Sayfa 661.
Büyüköztürk, Ş. (2011). Sosyal Bilimler için Veri Analizi El Kitabı. Ankara: Pegem Akademi. Sayfa 124-125.
Faktör yüklerinin min. 0,40 alınması: Field, A. (2009). Discovering Statistics Using SPSS. London: SAGE. Sayfa 660.
Cronbach Alpha 0,60 ve üstü kabul edilebilir: George D, & Mallery P. SPSS for Windows step by step: A simple guide and reference. 11.0 update (4th ed.). Boston: Allyn & Bacon, 2003.
Cronbach Alpha 0,70 ve üstü olmalı: Büyüköztürk, Ş. (2011). Sosyal Bilimler için Veri Analizi El Kitabı. Ankara: Pegem Akademi. Sayfa 171.
DFA Videosundaki kaynaklar:
Bir çalışmada asgari olarak verilmesi gereken uyum indeksi değerleri için:
Kline, R. B. (2015). Principles and practice of structural equation modeling. Guilford publications.
CMIN/Sd, AGFI ve RMSEA için: Schermelleh-Engel, K., Moosbrugger, H., & Müller, H. (2003). Evaluating the fit of structural equation models: Tests of significance and descriptive goodness-of-fit measures. Methods of psychological research online, 8(2), 23-74.
GFI, CFI, NFI için: Hooper, D., Coughlan, J. & Mullen, M. R. (2008). Structural equation modelling: Guidelines for determining model fit. The Electronic Journal of Business Research Methods, 6 (1), 53 –60.
ve
Kline, R. B. (2011). Principles and Practice of Structural Equation Modeling. New York: Guilford.
IFI ve TLI için: Hu, L. T., & Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural equation modeling: a multidisciplinary journal, 6(1), 1-55.
DFA'da çıktı ekranı üzerinde kullanılan kod:
CMIN/df:\cmindf; AGFI:\agfi; GFI:\gfi; NFI:\nfi; CFI:\cfi; IFI:\ifi; TLI:\tli; RMSEA:\rmsea