You are here

Home » Content

Değerlendirme Sorularının Bilişsel Düzeylerinin Tespitinde SOLO ve Revize Edilmiş Bloom Taksonomisi’ne Dayalı Sınıflamaların Güvenirliklerinin Karşılaştırılması

A Comparison of the Reliability of the SOLO- and Revised Bloom's Taxonomy-Based Classifications in the Analysis of the Cognitive Levels of Assessment Questions

Journal Name:

  • Pegem Eğitim ve Öğretim Dergisi

Publication Year:

  • 2017
DOI: 
10.14527/pegegog.2017.023

Key Words:

Keywords (Original Language):

Author NameUniversity of AuthorFaculty of Author
Abstract (2. Language): 
This study aims to compare the reliability of SOLO and revised Bloom's taxonomybased (RBT) classifications in the determination of the cognitive levels of the assessment questions. The data were obtained by three experts' examination of the assessment questions in the Seventh Grade Social Studies Textbook published by the Ministry of National Education and Eight Grade Science and Technology Textbook published by Yıldırım Publishing in 2015. The collected data were analyzed in a crossed design whereby the assessment questions were the object of measurement and the experts were the facet on the basis of the generalizability theory. It was found that the variance percentage of the main effect of the assessment question was found to be higher in the SOLO-based classifications. The variance component related to the experts' main effect and the residual variance values were found to be higher in the RBT than in the SOLO taxonomy. In conclusion, compared to the RBT, the SOLO-based classifications were found to have higher G and Phi coefficients. These results indicate that SOLO taxonomy seems to be more reliable than RBT in the determination of the cognitive level of assessment questions.
Bookmark/Search this post with
Abstract (Original Language): 
Bu araştırmada, değerlendirme sorularının bilişsel düzeylerinin tespitinde SOLO ve revize edilmiş Bloom taksonomisine (REBT) dayalı sınıflamaların güvenirlikleri karşılaştırılmıştır. Araştırmanın verileri, 2015 yılında Milli Eğitim Bakanlığı tarafından basılan Yedinci Sınıf Sosyal Bilgiler Ders Kitabı ile Yıldırım Yayıncılık tarafından basılan Sekizinci Sınıf Fen ve Teknoloji Ders Kitabındaki değerlendirme sorularının üç uzman tarafından SOLO taksonomisi ve REBT’nin düzeylerine göre incelenmesiyle elde edilmiştir. Elde edilen veriler, değerlendirme sorularının ölçme objesi ve uzmanların yüzey olarak yer aldığı çapraz bir desen ile genellenebilirlik kuramına göre analiz edilmiştir. Çalışmada, değerlendirme sorusu ana etkisine ait varyans yüzdesi SOLO taksonomisine göre yapılan sınıflamalarda daha yüksek bulunmuştur. Uzman ana etkisine ilişkin varyans bileşeni ile artık varyans değerleri ise REBT’de SOLO taksonomisine kıyasla daha yüksek çıkmıştır. Son olarak, REBT ile karşılaştırıldığında, SOLO taksonomisine dayalı sınıflandırmalara ait G ve Phi katsayılarının daha yüksek olduğu saptanmıştır. Bu sonuçlar, değerlendirme sorularının bilişsel düzeylerinin belirlenmesinde SOLO taksonomisinin REBT’ye göre daha güvenilir bir model olduğunu göstermektedir.
FULL TEXT (PDF): 
PDF icon arastirmax-degerlendirme-sorularinin-bilissel-duzeylerinin-tespitinde-solo-revize-edilmis-bloom-taksonomisine-dayali-siniflamalarin-guvenirliklerinin-karsilastirilmasi.pdf
  • 4
637
662
  • Turkish

REFERENCES

References: 

Alkharusi, H. (2012). Generalizability theory: An analysis of variance approach to measurement
problems in educational assessment. Journal of Studies in Education, 2(1), 184–196.
http://dx.doi.org/10.5296/jse.v2i1.1227.
Alsaadi, A. (2011). A comparison of primary mathematics curriculum in England and Qatar: The SOLO
taxonomy. Proceedings of the British Society for Research into Learning Mathematics, 21(3).
Retrieved from http://www.bsrlm.org.uk/wp-content/uploads/2016/02/BSRLM-IP-21-3-1.pdf.
Anderson, G., & Arsenaut, N. (2005). Fundamentals of educational research. London, UK: The Falmer.
Anderson, L.W., & Krathwohl, D.R. (2001). A taxonomy for learning teaching and assessing: A revision of
Bloom’s taxonomy of educational objectives. New York: Longman.
Arı, A. (2013). Bilişsel alan sınıflamasında yenilenmiş Bloom, Solo, Fink, Dettmer taksonomileri ve
uluslararası alanda tanınma durumları. Uşak Üniversitesi Sosyal Bilimler Dergisi, 6(2), 259–290.
http://dx.doi.org/10.12780/UUSBD164.
Atılgan, H. (2004). Genellenebilirlik kuramı ve çok değişkenlik kaynaklı Rasch modelinin
karşılaştırılmasına ilişkin bir araştırma. Unpublished doctoral dissertations, Hacettepe Üniversitesi,
Sosyal Bilimler Enstitüsü, Ankara.
Atılgan, H. (2005). Genellenebilirlik kuramı ve puanlayıcılar arası güvenirlik için örnek bir uygulama.
Eğitim Bilimleri ve Uygulama, 4(7), 95-108.
Bağdat, O., & Anapa-Saban, P. (2014). İlköğretim 8. sınıf öğrencilerinin cebirsel düşünme becerilerinin
SOLO taksonomisi ile incelenmesi. The Journal of Academic Social Science Studies, 26, 473–496.
http://dx.doi.org/10.9761/JASSS2364.
Başol, G., Balgalmış, E., Karlı, M.G., & Öz, F.B. (2016). TEOG sınavı matematik sorularının MEB
kazanımlarına, TIMSS seviyelerine ve yenilenen Bloom Taksonomisine göre incelenmesi. Uluslararası
İnsan Bilimleri Dergisi, 13(3), 5945–5965. http://dx.doi.org/10.14687/jhs.v13i3.4326
Bell, J.F. (1985). Generalizability theory: Software problem. Journal of Educational Statistics, 10(1), 19–
29. http://dx.doi.org/10.3102/10769986010001019.
Biggs, J.B. (1979). Indıvıdual differences in study processes and the quality of learning outcomes. Higher
Education, 8(4), 381–394. http://dx.doi.org/10.1007/BF01680526.
Biggs, J.B. (1996). Enhancing teaching through constructive alignment. Higher Education, 32(3), 347–
364. http://dx.doi.org/10.1007/BF00138871.
Biggs, J.B., & Collis, K.F. (1982). Evaluating the quality of learning: The SOLO taxonomy. New York:
Academic.
Biggs, J.B., & Tang, C. (2011). Teaching for quality learning at university. Maidenhead, UK: Open
University.
Brabrand, C., & Dahl, B. (2009). Using the SOLO-taxonomy to analyze competence progression of
university science curricula. Higher Education, 58(4), 531–549. http://dx.doi.org/10.1007/s10734-
009-9210-4.
Brennan, R.L. (2001). Generalizability theory. New York: Springer-Verlag.
Brennan, R.L. (2003). Coefficients and indices in generalizability theory. CASMA Center for Advanced
Studies in Measurements and Assessments. Research Report No.1
Briggs, D., & Wilson, M. (2007). Generalizability in item response modeling. Journal of Educational
Measurement, 44(2), 131–155. http://dx.doi.org/10.1111/j.1745-3984.2007.00031.x
Mustafa İLHAN, Melehat GEZER– Pegem Eğitim ve Öğretim Dergisi, 7(4), 2017, 637-662
660
Cansız Aktaş, M. (2014). Nitel veri toplama araçları. In M. Metin (Ed.), Kuramdan uygulamaya eğitimde
bilimsel araştırma yöntemleri (pp. 337–371). Ankara: Pegem Akademi.
Cardinet, J., Johnson, S., & Pini, G. (2010). Applying generalizability theory using EduG. New York, NY:
Routledge.
Chan, C.C., Tsui, M.S., Mandy, Y.C., & Hong, J.H. (2002). Applying the structure of the observed learning
outcomes (SOLO) taxonomy on student's learning outcomes: An empirical study. Assessment and
Evaluation in Higher Education, 27(6), 511–527. http://dx.doi.org/10.1080/0260293022000020282.
Cronbach, L.J., Gleser, G.C., Nanda, H., & Rajaratnam, N. (1972). The dependability of behavioral
measurements: Theory of generalizability of scores and profiles. New York: Wiley.
Çalışkan, H. (2011). Öğretmenlerin hazırladığı sosyal bilgiler dersi sınav sorularının değerlendirilmesi.
Eğitim ve Bilim, 36(160), 120–132.
Çetin, B., Boran, A., & Yazıcı, N. (2014). Fizik eğitiminde başarının ölçülmesinde SOLO taksonomisine göre
hazırlanan rubriklerin incelenmesi. Bayburt Eğitim Fakültesi Dergisi, 9(2), 32–71.
Çetin, B., & İlhan, M. (2016). SOLO taksonomisi. In E. Bingölbali, S. Arslan, & İ.Ö. Zembat (Ed.),
Matematik eğitiminde teoriler (pp. 861–879). Ankara: Pegem Akademi.
Demirel, Ö. (2012). Kuramdan uygulamaya eğitimde program geliştirme. Ankara: Pegema.
Dindar, H., & Demir, M. (2006). Beşinci sınıf öğretmenlerinin fen bilgisi dersi sınav sorularının Bloom
taksonomisine göre değerlendirilmesi. Gazi Eğitim Fakültesi Dergisi, 26, 87–96.
Doğan, N. (2002). Klasik test teorisi ve örtük özellikler kuramının örneklemeler bağlamında
karşılaştırılması. Unpublished doctoral dissertations, Hacettepe Üniversitesi, Sosyal Bilimler
Enstitüsü, Ankara.
Erkuş, A. (2011). Davranış bilimleri için bilimsel araştırma süreci. Ankara: Seçkin Yayıncılık.
Fensham, P., & Bellocchi, A. (2013). Higher order thinking in chemistry curriculum and ıts assessment.
Thinking Skills and Creativity, 10, 250–264. http://dx.doi.org/10.1016/j.tsc.2013.06.003
Gezer, M., & İlhan, M. (2014). 8. Sınıf vatandaşlık ve demokrasi eğitimi dersi kazanımları ile
değerlendirme sorularının SOLO taksonomisine göre incelenmesi. Doğu Coğrafya Dergisi, 19(32),
193–207. http://dx.doi.org/10.17295/dcd.88376.
Gezer, M., & İlhan, M. (2015). Sosyal bilgiler dersi öğretim programı kazanımları ile ders kitabı
değerlendirme sorularının SOLO taksonomisine göre incelenmesi. Sakarya Üniversitesi Eğitim
Fakültesi Dergisi, 29, 1–25.
Göçer, A., & Kurt, A. (2016). Türkçe dersi öğretim programı 6, 7 ve 8. sınıf sözlü iletişim kazanımlarının
SOLO taksonomisine göre incelenmesi. Bitlis Eren Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 5,
215–228.
Gökler, Z.S., Aypay, A. & Arı, A. (2012). İlköğretim İngilizce dersi hedefleri kazanımları SBS soruları ve
yazılı sınav sorularının yeni Bloom taksonomisine göre değerlendirilmesi. Eskişehir Osmangazi
Üniversitesi Eğitimde Politika Analizi Dergisi, 1(2), 114–133.
Güler, N., Kaya Uyanık, G., & Taşdelen Teker, G. (2012). Genellenebilirlik Kuramı. Ankara: Pegem
Akademi.
Güler N., & Taşdelen Teker, G. (2015). Açık uçlu maddelerde farklı yaklaşımlarla elde edilen puanlayıcılar
arası güvenirliğin değerlendirilmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 6(1),
12–24. http://dx.doi.org/10.21031/epod.63041.
Hathcoat J.D., & Penn, J.D. (2012). Generalizability of student writing across multiple tasks: A challenge
for authentic assessment. Research and practice in assessment, 7, 16-28.
Mustafa İLHAN, Melehat GEZER– Pegem Eğitim ve Öğretim Dergisi, 7(4), 2017, 637-662
661
Hattie, J. A., & Purdie, N. (1994). Using the SOLO taxonomy to classify test items. Unpublished
manuscript, University of Western Australia, Graduate School of Education, Perth, Aus.
Huang, J. (2009). Factors affecting the assessment of ESL students’ writing. International Journal of
Applied Educational Studies, 5(1), 1–17.
İlhan, M., & Çetin, B. (2016). The identification of the views of raters on standard rubrics and rubrics
based on the SOLO taxonomy. Eğitimde Kuram ve Uygulama, 12(1), 1–16.
Jones, B.L., Collis, K.F., & Watson, J.M. (1993). Towards a theoretical basıs for students' alternative
frameworks in science and for scıence teaching. Research in Science Education, 23, 126–135.
http://dx.doi.org/10.1007/BF02357053.
Karasar, N. (2009). Bilimsel Araştırma Yöntemi. Ankara: Nobel.
Krathwohl, D.R. (2002). A revision of Bloom's taxonomy: An overview. Theory into Practice, 41(4), 212–
218. http://dx.doi.org/10.1207/s15430421tip4104_2.
Kumar, R. (2008). Research methodology. New Delhi: Balaji Offset.
Kumazawa, T. (2009). Revision of a criterion-referenced vocabulary test using generalizability theory.
Japan Association for Language Teaching (JALT), 31(1), 81–100.
Leung, C.F. (2000). Assessment for learning: Using SOLO taxonomy to measure design performance of
design & technology students. International Journal of Technology and Design Education, 10(2), 149–
161. http://dx.doi.org/10.1023/A:1008937007674.
Lucas, U., & Mladenovic, R. (2009). The identification of variation in students’ understandings of
disciplinary concepts: The application of the SOLO taxonomy within introductory accounting. Higher
Education, 58(2), 257–283. http://dx.doi.org/10.1007/s10734-009-9218-9.
Mabe, M. (2013). Progress monitoring for prerequisite social skills: A generalizability study for measure
development. Unpublieshed master thesis, University of Rhode Island, Rhode Island, ABD.
Milli Eğitim Bakanlığı. (2015). İlköğretim sosyal bilgiler 7. sınıf ders kitabı. Ankara: Devlet Kitapları
Müdürlüğü Basımevi.
Murray, R.P. (1984, July). Application of generalizability theory in the development of quality of care
measurement. Paper presented at the Third International Conference on System Science in Health
Care, Munih. http://dx.doi.org/10.1007/978-3-642-69939-9_198.
Mushquash, C., & O’Connor, B.P. (2006). SPSS and SAS Programs for generalizability theory analyses.
Behavior Research Methods, 38(3), 542–547. http://dx.doi.org/10.3758/BF03192810.
Näsström, G. (2008). Measurement of alignment between standards and assessment. Retrieved from
http://umu.diva-portal.org/smash/get/diva2:142244/FULLTEXT01.
Özdemir, A.S., & Göktepe-Yıldız, S. (2015). The analysis of elementary mathematics preservice teachers’
spatial orientation skills with SOLO model. Eurasian Journal of Educational Research, 61, 217–236.
http://dx.doi.org/10.14689/ejer.2015.61.12.
Pegg, J., & Tall, D. (2004, December). Fundamental cycles in learning algebra: An analysis. Paper
presented to the 12th ICMI Study Conference on the Future of the Teaching and Learning of Algebra.
Melbourne, Australia.
Peter, F., & Alberto, B. (2013). Higher order thinking in chemistry curriculum and its asessment. Thinking
Skills and Creativity, 10, 250–264. http://dx.doi.org/10.1016/j.tsc.2013.06.003.
Renkl, A. (2003). The dependability of test scores: Generalizability theory and hierarchical models. In D.
Leclercq, and J.E. Bruno (Eds.), Item banking: Interactive testing and self-assessment (pp. 167–176).
Berlin: Springer.
Mustafa İLHAN, Melehat GEZER– Pegem Eğitim ve Öğretim Dergisi, 7(4), 2017, 637-662
662
Shavelson, R.J., & Webb, N.M. (1991). Generalizability Theory: A primer. California: Sage.
Sönmez, V. (2001). Program geliştirmede öğretmen elkitabı. Ankara: PegemA.
Stora, B., Hagtvet, K.A., & Heyerdahl, S. (2013). Observations of families in structured interactions:
Parenting therapists provide reliable ratings of mothers' parenting. Personality and Social
Psychology, 23(4), 448–463. http://dx.doi.org/10.1080/10503307.2012.733830.
Sun, A., Valiga, M.J., & Gao, X. (1997). Using generalizability theory to assess the reliability of student
ratings of academic advising. The Journal of Experimental Education, 65(4), 367–379.
http://dx.doi.org/10.1080/00220973.1997.10806611.
Tarman, B., & Kuran, B. (2015). Examination of the cognitive level of questions in social studies
textbooks and the views of teachers based on Bloom taxonomy. Kuram ve Uygulamada Eğitim
Bilimleri, 15(1), 213–222. http://dx.doi.org/10.12738/estp.2015.1.2625.
Taylor, M.A., & Pastor, D.A. (2013). An application of generalizability theory to evaluate the technical
quality of an alternate assessment. Applied Measurement in Education, 26(4), 279–297,
http://dx.doi.org/10.1080/08957347.2013.824450.
Tekin, H. (2009). Eğitimde ölçme ve değerlendirme. Ankara: Yargı.
Thompson, J.G. (2012). First year teacher's survival guide: Ready to use strategies, tools & activities for
meeting the challenges of each school day. San Francisco, CA: Josse-Bass.
Turgut, M.F., & Baykul Y. (2012). Eğitimde ölçme ve değerlendirme. Ankara: PegemA.
Webb, N.M., Rowley, G.L., & Shavelson, R.J. (1988). Using generalizability theory in counseling and
development. Measurement and Evaluation in Counseling and Development, 21, 81-90.
Webb, N.M., Shavelson, R.J, & Haertel, E.H. (2006). Reliability coefficients and generalizability theory. In
C. R. Rao and S. Sinharay (Eds.), Handbook of Statistics: Psychometrics, 26, 81–124. Amsterdam:
Elsevier B. V. http://dx.doi.org/10.1016/S0169-7161(06)26004-8.
Yanmaz, E. (Ed.). (2015). İlköğretim fen ve teknoloji dersi 8. sınıf ders kitabı. Ankara: Yıldırım.
Yıldırım, A., & Simşek H. (2011). Sosyal bilimlerde nitel araştırma yöntemleri. Ankara: Seçkin.
Zorluoğlu, S.L., Kızılaslan, A., & Sözbilir, M. (2016). Ortaöğretim kimya dersi öğretim programı
kazanımlarının yapılandırılmış Bloom taksonomisine göre analizi ve değerlendirilmesi. Necatibey
Eğitim Fakültesi Elektronik Fen ve Matematik Eğitimi Dergisi (EFMED), 10(1), 260–279.
http://dx.doi.org/10.17522/nefefmed.22297.

Thank you for copying data from http://www.arastirmax.com