Uluslararası Öğrenci Değerlendirme Programı (PISA - 2012) okuryazarlık testlerinin ölçme değişmezliğinin incelenmesi
Investigation of measurement invariance of literacy tests in the Programme for International Student Assessment (PISA - 2012)
- Tez No: 419283
- Danışmanlar: DOÇ. DR. ÖMAY ÇOKLUK
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Değişen madde fonksiyonu, Fen okuryazarlığı, Matematik okuryazarlığı, Okuma becerileri, Uluslararası Öğrenci Değerlendirme Programı, Ölçme değişmezliği, Differential item function, Scientific literacy, Mathematical literacy, Reading skills, Programme for International Student Assesment, Measurement invariance
- Yıl: 2016
- Dil: Türkçe
- Üniversite: Ankara Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Ölçme ve Değerlendirme Ana Bilim Dalı
- Bilim Dalı: Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu araştırmada, PISA-2012 matematik ve fen okuryazarlığı ile okuma becerileri alt testlerinin dil değişkenine göre ölçme değişmezliğinin incelenmesi amaçlanmıştır. Araştırma betimsel bir araştırma olup PISA 2012 uygulamasına katılan Avustralya, Fransa, Şangay-Çin ve Türkiye örneklemlerinde 3 no'lu kitapçığı (yayınlanan maddelerin en fazla sayıda ve üç alandan da maddelerin bulunduğu tek kitapçık) alan 2149 öğrenciden elde edilen veriler üzerinden yürütülmüştür. Testlerin farklı dil formlarına ilişkin, faktör yapılarının değişmezliği Çok Gruplu Doğrulayıcı Faktör Analizi (ÇGDFA) ile maddelerin değişen madde fonksiyonu gösterme dıurumları ise Genelleştirilmiş Aşamalı Doğrusal Modelleme (GADM), Simultaneous Item Bias Test (SIBTEST) ve Madde Tepki Kuramı'na dayalı Olabilirlik Oran (MTK-OO) teknikleri ile incelenmiştir. Bununla birlikte olası yanlılık kaynaklarını belirlemek üzere uzman görüşlerine başvurulmuştur. ÇGDFA sonuçlarına göre PISA-2012 matematik ve fen okuryazarlığı ile okuma becerileri alt testleri dil değişkenine göre yapısal değişmezlik gösterirken metrik değişmezlik göstermemektedir. Her üç DMF belirleme tekniğine göre ve en az B düzeyinde DMF gösteren maddeler DMF'li kabul edilmiştir. Buna göre DMF analizleri sonucunda matematik ve fen okuryazarlığı ile okuma becerileri testlerinde dil değişkenine göre, yapılan ikili karşılaştırmalar sonucu DMF'li olarak kabul edilen maddeler sırasıyla testlerin ortalama %35'i, %34'ü ve %22'sini oluştururken, ölçme değişmezliği gösteren maddeler ise sırasıyla testlerin %24'ü, %7'si ve %36'sını oluşturmaktadır. Dil gruplarına göre her üç alanda da en fazla DMF'li madde İngilizce ve Çince formu alan gruplar arasında belirlenmiştir. Yanlılık çalışması sonucu, maddede yer alan sözcük ya da ifadelerin farklı anlamda kullanımı, madde içeriğine bir dil grubunun aşina olması ve çeviriye bağlı olarak maddelerin farklılaşması olası yanlılık kaynağı olarak belirlenmiştir.
Özet (Çeviri)
In this study, it was aimed at examining the measurement invariance of mathematical and scientific literacy tests and subtests of reading skills of PISA – 2012 in terms of the language variable. The research was designed as a descriptive study. The study was conducted on the data obtained from the test booklet 3 of PISA 2012 (it is the only booklet that had the highest number of items published and also had items from all of the three parts) which was responded by 2149 students from Australia, France, Shanghai – China and Turkey. The invariance of factor structures was examined by Multi-Group Confirmatory Factor Analysis (MGCFA) while the differential item functioning was examined by Hierarchical Generalized Linear Modeling (HGLM), Simultaneous Item Bias Test (SIBTEST) and Likelihood Ratio (LR) based on Item Response Theory (IRT) in relation to language forms of the tests. In addition to this, experts' opinions were asked in order to determine the possible bias sources. According to MGCFA results, PISA – 2012 mathematical and scientific literacy and subtests of reading skills demonstrated structural invariance while there was no metric invariance. The items which demonstrated at least B level DIF according to all three DIF technique results were accepted as showing DIF. According to DIF analyses, the DIF items comprised of 35%, 34% and 22% of mathematical and scientific literacy tests and subtests of reading skills respectively while the items showing measurement invariance comprised of 24%, 7% and 36% of the tests in terms of language variable. The highest number of DIF items in all three parts was determined between the groups that took English and Chinese forms. As a result of bias analysis, some possible bias sources were as follows; using the words or phrases in different meanings in the items, being familiar to the item content in favor of a language group and the differentiation of the items depending on the translation.
Benzer Tezler
- PISA 2003 ve PISA 2012 matematik okuryazarlığı testlerinin madde yanlılığı bakımından Türkiye ve Kore uygulamalarında karşılaştırılması
A comparison of item bias in PISA 2003 and PISA 2012 mathematics literacy items in Turkey and Korea administration
ESRA EMİNOĞLU ÖZMERCAN
Doktora
Türkçe
2015
Eğitim ve ÖğretimAnkara ÜniversitesiÖlçme ve Değerlendirme Ana Bilim Dalı
PROF. DR. RAHİME NÜKHET DEMİRTAŞLI
- Türkiye'deki öğrenci başarılarının PISA 2003-2012 matematik okuryazarlığı testlerinde yer alan farklı soru türlerine göre değerlendirilmesi
Assesment of the students achievement in Turkey, according to the question types used in PISA 2003-2012 mathematic literacy tests
NESRİN ÖZASLAN
Yüksek Lisans
Türkçe
2017
Eğitim ve ÖğretimGaziantep ÜniversitesiEğitimde Ölçme ve Değerlendirme Ana Bilim Dalı
YRD. DOÇ. DR. YEŞİM ÖZER ÖZKAN
- Tekli ve çoklu aracılık modellerinde aracı değişken etkisinin BK, Sobel, Bootstrap yöntemleriyle karşılaştırılması (PISA 2012 matematik okuryazarlığı)
A comparison of intervening variable effects in single and multiple mediation models with the methods of BK, Sobel, Bootstrap (PISA 2012 mathematical literacy)
SELDA ÖRS ÖZDİL
Doktora
Türkçe
2017
Eğitim ve ÖğretimAnkara ÜniversitesiÖlçme ve Değerlendirme Ana Bilim Dalı
YRD. DOÇ. DR. ÖMER KUTLU
- Cross country comparison of math-related factors affecting student mathematics literacy levels based on PISA 2012 results
PISA 2012 sonuçlarına göre matematik okuryazarlık düzeyini etkileyen matematik ile ilişkili değişkenlerin ülkelerarası karşılaştırılması
BETÜL BARUT
Yüksek Lisans
İngilizce
2020
Eğitim ve Öğretimİhsan Doğramacı Bilkent ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ İLKER KALENDER
- Factors affecting mathematics literacy of students based on PISA 2012: A cross-cultural examination
Öğrencilerin matematik okuryazarlığını etkileyen faktörlerin PISA 2012 verilerine göre kültürler arası incelenmesi
GAMZE SEZGİN
Yüksek Lisans
İngilizce
2017
Eğitim ve Öğretimİhsan Doğramacı Bilkent ÜniversitesiEğitim Programları ve Öğretim Ana Bilim Dalı
YRD. DOÇ. DR. İLKER KALENDER