Abgeschlossene Projekte

In Brandenburg ist die Durchführung von einigen fachbezogenen VERA-Tests für alle Schulen verpflichtend, die Durchführung von einigen Tests ist den Schulen freigestellt. Rund ein Fünftel der Schulen führt freiwillig VERA-Tests durch. Die Teilnahmemodalitäten an VERA werden kontrovers diskutiert. Wird die Teilnahme freigestellt, wird der Motivation und der Arbeitsbelastung der Lehrerschaft vor Ort Rechnung getragen und die Autonomie der Einzelschule wird respektiert. Werden die Schulen hingegen zur Teilnahme verpflichtet, ist anzunehmen, dass dies an den Schulen die Akzeptanz von VERA verringert und die Schulen so nicht das volle Potential der Ergebnisrückmeldung für ihre Schul- und Unterrichtsentwicklung nutzen.

Insbesondere ist zu vermuten, dass bei einer freiwillig gestellten Teilnahme eher gute Schulen VERA-Tests durchführen. Ob sich diese Annahme empirisch bestätigt, bzw. welche Merkmale von Schulen eine freiwillige Durchführung von VERA vorhersagen, sind die übergreifenden Forschungsfragen des vorliegenden Projekts. Zur Analyse dieser Forschungsfrage werden unter anderem Schulleistungsdaten (VERA, P10) aus den Jahren 2008 bis 2015 sowie weitere schulische Kontextmerkmale (z.B. Schulform, Schulgröße, Schulprofile) genutzt. So können Erkenntnisse gewonnen werden, welche Schulen nie, manchmal, fachbezogen oder immer freiwillig die VERA Tests durchführen.

Ein wichtiges Werkzeug des ISQ sind die Rückmeldungen zu den Vergleichsarbeiten in der dritten (VERA 3) und achten Jahrgangsstufe (VERA 8). Die Vergleichsarbeiten sind Tests, die darüber informieren, welche Kompetenzen Schülerinnen und Schüler mit Blick auf die KMK-Bildungsstandards erreichen. Die Ergebnisse solcher bildungsstandardbasierter Kompetenztests geben somit Rückmeldung über individuelle Kompetenzstände von Schülerinnen und Schüler, sie dienen zur datengestützten Schul- und Unterrichtsentwicklung und sie werden für die Steuerung des Bildungswesens genutzt. Für solche datengestützten Anwendungen ist eine hohe psychometrische Datenqualität essentiell. Das übergreifende Ziel dieses Projekts ist es daher, die Datenqualität bildungsstandardbasierter Kompetenztests im Rahmen von zwei Teilstudien systematisch zu untersuchen.

• Die Ergebnisse bildungsstandardbasierter Kompetenztests haben eine Vorhersagefunktion, wonach es möglich sein soll, ausgehend von einem Ist-Stand zukünftige Bildungsergebnisse vorauszusagen. Um diese Annahme zu prüfen, untersuchen wir, wie gut es bildungstandardbasierten Kompetenztests in der Grundschule und Sekundarschule gelingt, zentrale Bildungsergebnisse (Übertrittsempfehlungen, Kompetenzstände, Schulnoten, Prüfungsnoten) vorherzusagen.
• Bei der datengestützten Schul- und Unterrichtsentwicklung muss bei der Analyse der psychometrischen Qualität der VERA-Tests die Mehrebenenstruktur des Bildungswesens berücksichtigt werden. Daher nutzen wir zeitgemäße multivariate Verfahren, um simultan (a) die Messgenauigkeit der VERA-Tests auf Schüler-, Klassen- und Schulebene und (b) die Variabilität der Messgenauigkeit zwischen Klassen und Schulen zu bestimmen.

Prognosegüte bildungs­standard­basierter Tests

Bildungsstandardbasierte Tests werden bundesweit in der Primar- und Sekundarstufe zur Überprüfung von fachlichen Kompetenzen der Schülerinnen und Schüler in Deutschland u. a. im Rahmen von VERA 3 und 8 eingesetzt, um ausgehend vom aktuellen Leistungsstand auch über deren zukünftigen schulischen Erfolg zu informieren. Wie gut diese Prognose gelingt, untersuchten wir mit den KEGS-Daten anhand bildungsstandardbasierter Tests zur Erfassung der mathematischen Kompetenz und der Lesekompetenz in Deutsch für Brandenburger Grundschulkinder in der 3. bzw. 4. Klasse.

Die Ergebnisse zeigen unter anderem, dass bildungsstandardbasierte Kompetenztests Prognosen auf 2 bzw. 3 Jahre später erhobene Kompetenztestergebnisse sowie Schulnoten in vergleichbarem Ausmaß wie kommerziell erhältliche, standardisierte Schulleistungstests ermöglichen – selbst wenn weitere leistungsprädiktive Merkmale (Schulnoten, Intelligenz und familiärer Hintergrund) berücksichtigt werden.

Bei Fragen und Anregungen wenden Sie sich gerne an:

Gesine Fuchs
Tel. +49 (0)331 977 2482
gfuchs@uni-potsdam.de

oder

Prof. Dr. Martin Brunner
Tel. +49 (0)331 977 2522
mabrunner@uni-potsdam.de

Davon ausgehend, dass das Einschulungsalter einen bedeutsamen Einfluss auf den schulischen Erfolg von Schülerinnen und Schülern hat, wird im Rahmen der Evaluation der Früheinschulung in Berlin untersucht wie sich vergleichsweise jüngere und ältere Schüler*innen hinsichtlich verschiedener Bildungserträge unterscheiden. Dabei stehen folgende Fragestellungen im Vordergrund:

1. Wie verändert sich der Anteil der früh eingeschulten Schülerinnen und Schüler im Vergleich zu den Schülerinnen und Schülern, die noch nach der alten Stichtagsregelung eingeschult wurden, in der Schullaufbahn?
2. Lassen sich Zusammenhänge zwischen dem Lebensalter von Schülerinnen und Schülern und ihrer Leistung in Mathematik und in Deutsch Leseverstehen erkennen? Wenn ja, wie können diese beschrieben werden?
3. Finden sich die gleichen Zusammenhangsmuster für Alter und Leistung bei (a) Jungen, (b) Mädchen sowie Schülerinnen und Schülern mit (c) deutscher und (d) nichtdeutscher Herkunftssprache?
4. Unterscheidet sich der Anteil der früh eingeschulten Schülerinnen und Schüler, die das Gymnasium besuchen, im Vergleich zu den Schülerinnen und Schülern, die noch nach der alten Stichtagsregelung eingeschult wurden?
5. Wie stark überlappen sich die altersbezogenen Leistungsverteilungen von Schülerinnen und Schülern?
6. Können die Ergebnisse bei VERA 3 für die erste Einschulungskohorte von Schülerinnen und Schülern, die von der Absenkung des Einschulungsalters im Jahr 2005/06 betroffen war, durch die Ergebnisse der Einschulungskohorte von 2010/11 bestätigt werden?
7. Wie hoch ist der Anteil der Schülerinnen und Schüler mit (a) beschleunigter oder (b) verzögerter Schullaufbahn an der Schülerschaft in der zweiten Jahrgangsstufe, in der dritten Jahrgangsstufe und in der achten Jahrgangsstufe?

Die Ergebnisse dieser Untersuchung sind in einem Evaluationsbericht aufbereitet und zusammengefasst.

Generalisierbarkeit relativer Alterseffekte

Relative Alterseffekte, also Unterschiede (e.g. in der Leistung) zwischen Schüler*innen aufgrund der Tatsache, dass sie vergleichsweise jünger oder älter sind als ihre Mitschüler*innen, sind ein vielfach untersuchtes Phänomen in der bildungswissenschaftlichen Forschung. Als Ursachen für relativen Alterseffekte können u.a. eine unterschiedliche kognitive und soziale Reifung von Schüler*innen so-wie die bisher erfahrende Förderung (z.B. in der Familie oder einem Kindergarten) benannt werden.

Obwohl relative Alterseffekte in verschiedenen Studien untersucht wurden, ist nicht wissenschaftlich gesichert inwieweit sich diese Effekte über verschiedene Schülerinnen- und Schülergruppen, Kohorten und Klassen generalisieren lassen. Ziel unserer Studie war es diese Forschungslücke zu schließen. Grundlage für die Analysen bilden Daten zentraler Lernstandserhebungen (OA, VERA) in den Jahrgangsstufen 2,3 und 8 an öffentlichen Schulen in Berlin.
Die Ergebnisse zeigen, dass relative Alterseffekt zugunsten der vergleichsweise älteren Schülerinnen und Schüler in den Fächern Deutsch und Mathematik zu Beginn der Schullaufbahn festzustellen sind. Diese Effekte verschwinden in den folgenden Jahrgangsstufen, sodass sich bereits in der 8. Jahrgangsstufe jüngere und ältere Schülerinnen und Schüler hinsichtlich ihrer Leistung nicht mehr systematisch von-einander unterscheiden. Es gibt sogar Hinweise darauf, dass sich die Alterseffekte zugunsten der jüngeren Schüler*innen umkehren. Weiterhin ist festzustellen, dass sich die Alterseffekte in allen untersuchten Schülerinnen- und Schülergruppen, Kohorten und Klassen in Berlin ähnlich darstellen und somit über diese Ebenen hinweg verallgemeinert werden können.

Thoren, K., Heinig, E. & Brunner, M. (2016). Relative Age Effects in Mathematics and Reading: Inves-tigating the Generalizability across Students, Time, and Classes. Front. Psychol. 7:679. http://dx.doi.org/10.3389/fpsyg.2016.00679

^{_{photocase – adina80xx}}

Bei Fragen und Anregungen wenden Sie sich gerne an:

Katharina Thoren
Tel. +49 (0)30 838 60 – 232
Katharina.Thoren@fu-berlin.de

oder

Prof. Dr. Martin Brunner
Tel. +49 (0)331 977 2522
mabrunner@uni-potsdam.de

Die Bildungspolitik verspricht sich von der Durchführung der Vergleichsarbeiten (VERA) einen großen Nutzen für die Implementation der Bildungsstandards sowie für einen kompetenzorientierten Unterricht (KMK, 2012). Aus der Auseinandersetzung der Lehrkräfte mit den bereitgestellten Rückmeldungen sollen handlungsleitende Entscheidungen über den zukünftigen Unterricht bzw. über die individuelle Förderung einzelner Schülerinnen und Schüler getroffen werden (Groß-Ophoff, 2013). Innerhalb der Rezeptionsforschung stehen besonders die Wirkungen von Rückmeldungen und der damit verbundene Prozess der Auseinandersetzung mit VERA-Ergebnissen im Fokus. Vorliegende Erkenntnisse deuten darauf hin, dass sowohl Merkmale der Rückmeldungen selbst als auch personale Merkmale der Lehrkräfte Einfluss auf die Rezeption und Reflexion der Ergebnisse haben. Hierzu gehören u.a. die Intensität der Auseinandersetzung, die Verständlichkeit der Informationen sowie die Einschätzung der Nützlichkeit dieser Informationen (Groß-Ophoff, 2013; Helmke & Hosenfeld, 2004). Einen zentralen Stellenwert innerhalb der Rezeptionsprozesse nimmt die wahrgenommene Verständlichkeit der Rückmeldungen ein, da von ihr entscheidend die Nutzung der verfügbaren Informationen abhängt. In der vorliegenden Studie werden daher folgende Fragestellungen explorativ untersucht:

1. Wie hängen personale Merkmale der Lehrkräfte/Schulleitungen mit dem wahrgenommenen Nutzen von VERA zusammen?
2. Wie hängt die Verständlichkeit der Informationen aus den Rückmeldungen mit dem wahrgenommenen Nutzen von VERA zusammen?

Zur Untersuchung dieser Forschungsfrage wurde ein Online-Fragebogen eingesetzt, der im Rahmen der Durchführung der Vergleichsarbeiten der dritten Klasse 2017 über einen Link erreichbar war und an alle Berliner und Brandenburger Schulen kommuniziert wurde; die Teilnahme an dieser Befragung war freiwillig. Die Stichprobe beinhaltet somit 415 Personen, die an der Online-Befragung teilgenommen haben. Davon beteiligten sich N=306 Lehrkräfte und N=109 Schulleitungen aus Berlin und Brandenburg. Die zentrale abhängige Variable stellt der wahrgenommene Nutzen von VERA dar (Richter et al., 2014).

Zur Bearbeitung der ersten Forschungsfrage werden als unabhängige Variablen verschiedene personale Merkmale der Rezipienten (Bundesland, Funktion an der Schule (Lehrkraft/Schulleitung), Ausbildung (fachfremd/Fachlehrkraft), Berufserfahrung und Erfahrungen in der Durchführung von VERA 3 (1 mal/2 mal/3 mal) herangezogen. Für die zweite Forschungsfrage werden eigenständig entworfene Skalen zur wahrgenommene Verständlichkeit und Gestaltung der in Berlin und Brandenburg eingesetzten Rückmeldeformate (Sofortrückmeldung, Klassenrückmeldung, Schulrückmeldung) gebildet. Die Reliabilität für die drei Skalen variierte zwischen ? = .80 und ? = .83. Zur Beantwortung der ersten Forschungsfrage wurden Mittelwertsvergleiche, Korrelationen und Regressionen durchgeführt, zur Beantwortung der zweiten Forschungsfrage verwendeten wir Korrelationen und Regressionen als statistische Analysemethoden.

Zusammenfassend lassen sich folgende Ergebnisse festhalten:

1. Der wahrgenommene Nutzen von VERA hängt zum Teil mit personalen Merkmalen zusammen. Es lassen sich Unterschiede in der Einschätzung des VERA-Nutzens zwischen den Bundesländern sowie zwischen Lehrkräften und Schulleitungen und zwischen fachfremden Lehrkräften und Fachlehrkräften feststellen.
2. Die Verständlichkeit der Informationen aus den drei Rückmeldeformaten (Sofort-, Klassen- und Schulrückmeldung) hängt mit dem wahrgenommenen Nutzen von VERA für die Schul- und Unterrichtsentwicklung zusammen. Die besondere Bedeutung der Verständlichkeit der Rückmeldungen zeigt sich, wenn man diese gemeinsam mit den personalen Merkmalen betrachtet.

Da die Verständlichkeit der stärkste Prädiktor für den Nutzen ist und eine systematische Nutzung der VERA-Ergebnisse laut Bonsen et al., (2006) am ehesten stattfindet, wenn die Nützlichkeit sehr hoch eingeschätzt wird, gibt dieses Ergebnis auch Hinweise auf praktische Implikationen. Die Rückmeldeformate sollten weiterhin optimiert und entsprechend der spezifischen Bedarfe an die verschiedenen Akteure (Schulleitungen, Lehrkräfte) angepasst werden. Limitationen der Untersuchung sind durch eine mögliche Positivselektion der Stichprobe sowie durch die Betrachtung von lediglich korrelativen Zusammenhängen einer Querschnittsuntersuchung gegeben.