Praktické postřehy k významu statistické analýzy při tvorbě jazykových testů
Title Alternative:Praktyczne spostrzeżenia dotyczące znaczenia analizy statystycznej podczas opracowywania testów językowych
Loading...
Date
2013
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Technická univerzita v Liberci, Česká republika
Abstract
Tento příspěvek zkoumá informační přínos statistické analýzy jazykových testů Ekonomicko-správní fakulty Masarykovy univerzity, vytvořených pro úroveň C1 dle Evropského referenčního rámce, pro zvýšení validity a reliability těchto testů. Pro zpracování výstupů testů a získání hodnot průměru, obtížnosti testových položek, indexu diskriminace a Cronbachovo alfa s vyloučením dané položky bylo pro daný účel použito programu SPSS. Byla provedena analýza funkčnosti distraktorů pro úlohy typu výběr ze 4 možností. Testové položky nevyhovující stanoveným kritériím byly před novým kolem moderací změněny nebo upraveny. Očekáváme, že se statistická analýza, představující přínosný element při zkvalitňování testů a poskytující cennou zpětnou vazbu jejich tvůrcům, stane napříště nezbytnou součástí tvorby testů daného pracoviště.
W niniejszym artykule zbadano korzyści informacyjne wynikające z analizy statystycznej testów językowych Wydziału Ekonomiczno-Administracyjnego Uniwersytetu Masaryka, opracowanych dla poziomu C1 według CEFR, w celu zwiększenia stosowności i rzetelności tych testów. W celu opracowania wyników testów i pozyskania wartości średnich, ustalenia trudności zadań testowych, wskaźnika dyskryminacji oraz współczynnika rzetelności alfa (Alfa-Cronbacha) z wykluczeniem danego zadania zastosowano program SPSS. Przeprowadzono analizę funkcjonalności dystraktorów w zadaniach zamkniętych z wyborem z 4 odpowiedzi. Zadania testowe, które nie odpowiadały przyjętym kryteriom, zostały zmienione lub skorygowane przed ich kolejnym zastosowaniem. Oczekujemy, że analiza statystyczna, która jest przydatna w doskonaleniu testów i daje cenną informację zwrotną dla ich autorów, będzie następnym razem niezbędnym elementem w procesie tworzenia testów w danej placówce.
This contribution is about the statistical analysis of tests developed at individual faculties of the Language Centre at the Masaryk University Brno. After conducting statistical analysis on sets of tests developed by the Faculty of Economics and Administration, the Faculty of Social Studies and the Faculty of Pedagogy, the argument for checking assumptions originally attributed to the tests, which had been liable to close scrutiny of teams of language teachers and pretested on students of the target population, turned out to be not only important but also hugely fascinating and worth in-depth investigation. While the analysis confirmed some of the original assumptions about individual test items as well as complete parts of tests, its evidence also shed light on those items calling for further revision and improvement. This paper will look at ways of how statistical analysis can help test developers make tests more reliable and at the same time alert us of pitfalls that we would not be aware of be it not for its insight.
Dieser Beitrag untersucht den informativen Nutzen der statistischen Analyse von Sprachtests der ökonomisch-juristischen Fakultät der Masaryk-Universität, die für das Niveau C1 nach dem europäischen Referenzrahmen erstellt wurden, um deren Validität und Reliabilität zu erhöhen. Zur Festlegung der Testgestaltung, der Erlangung eines Bewertungsdurchschnitts, des Schwierigkeitsgrades der Testaufgaben, des Diskriminationsindexes und des Cronbach-Alfa unter Ausschluss der gegebenen Position wurde zu diesem Zweck das Programm SPSS verwendet. Es wurde eine Analyse der Funktionalität der Distraktoren für Aufgaben des Typs „Auswahl aus vier Möglichkeiten“ durchgeführt. Die Testaufgaben, welche den festgelegten Kriterien nicht entsprechen, wurden vor der neuen Moderationsrunde geändert oder angepasst. Wir erwarten, dass die statistische Analyse, welche ein gewichtiges Element bei der Verbesserung der Teste darstellt und ihren Autoren eine wichtige Rückmeldung liefert, demnächst zu einem unerlässlichen Bestandteil der Testgestaltung am genannten Lehrstuhl wird.
W niniejszym artykule zbadano korzyści informacyjne wynikające z analizy statystycznej testów językowych Wydziału Ekonomiczno-Administracyjnego Uniwersytetu Masaryka, opracowanych dla poziomu C1 według CEFR, w celu zwiększenia stosowności i rzetelności tych testów. W celu opracowania wyników testów i pozyskania wartości średnich, ustalenia trudności zadań testowych, wskaźnika dyskryminacji oraz współczynnika rzetelności alfa (Alfa-Cronbacha) z wykluczeniem danego zadania zastosowano program SPSS. Przeprowadzono analizę funkcjonalności dystraktorów w zadaniach zamkniętych z wyborem z 4 odpowiedzi. Zadania testowe, które nie odpowiadały przyjętym kryteriom, zostały zmienione lub skorygowane przed ich kolejnym zastosowaniem. Oczekujemy, że analiza statystyczna, która jest przydatna w doskonaleniu testów i daje cenną informację zwrotną dla ich autorów, będzie następnym razem niezbędnym elementem w procesie tworzenia testów w danej placówce.
This contribution is about the statistical analysis of tests developed at individual faculties of the Language Centre at the Masaryk University Brno. After conducting statistical analysis on sets of tests developed by the Faculty of Economics and Administration, the Faculty of Social Studies and the Faculty of Pedagogy, the argument for checking assumptions originally attributed to the tests, which had been liable to close scrutiny of teams of language teachers and pretested on students of the target population, turned out to be not only important but also hugely fascinating and worth in-depth investigation. While the analysis confirmed some of the original assumptions about individual test items as well as complete parts of tests, its evidence also shed light on those items calling for further revision and improvement. This paper will look at ways of how statistical analysis can help test developers make tests more reliable and at the same time alert us of pitfalls that we would not be aware of be it not for its insight.
Dieser Beitrag untersucht den informativen Nutzen der statistischen Analyse von Sprachtests der ökonomisch-juristischen Fakultät der Masaryk-Universität, die für das Niveau C1 nach dem europäischen Referenzrahmen erstellt wurden, um deren Validität und Reliabilität zu erhöhen. Zur Festlegung der Testgestaltung, der Erlangung eines Bewertungsdurchschnitts, des Schwierigkeitsgrades der Testaufgaben, des Diskriminationsindexes und des Cronbach-Alfa unter Ausschluss der gegebenen Position wurde zu diesem Zweck das Programm SPSS verwendet. Es wurde eine Analyse der Funktionalität der Distraktoren für Aufgaben des Typs „Auswahl aus vier Möglichkeiten“ durchgeführt. Die Testaufgaben, welche den festgelegten Kriterien nicht entsprechen, wurden vor der neuen Moderationsrunde geändert oder angepasst. Wir erwarten, dass die statistische Analyse, welche ein gewichtiges Element bei der Verbesserung der Teste darstellt und ihren Autoren eine wichtige Rückmeldung liefert, demnächst zu einem unerlässlichen Bestandteil der Testgestaltung am genannten Lehrstuhl wird.
Description
Subject(s)
Citation
Item identifier
ISSN
1803-9782