Homepage » Services » ELT&T Glossary » Testing Glossary » R » Reliability

English Language - Testing Glossary - R

 

 

A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z |

Reliability  

Αξιοπιστία

The extent to which assessment results are an accurate measurement of the candidates' demonstration of the abilities specified by the assessment criteria. The reliability of a test is an estimate of the consistency of its marks; a reliable test is one where, for example, a student will get the same mark if he or she takes the test, possibly with a different examiner, on a Monday morning or a Tuesday afternoon.

Reliability is the correlation of an item, scale, or instrument with a hypothetical one which truly measures what it is supposed to. Since the true instrument is not available, reliability is estimated in one of four ways:

1. Internal consistency: Estimation based on the correlation among the variables comprising the set (typically, Cronbach's alpha)

2. Split-half reliability: Estimation based on the correlation of two equivalent forms of the scale (typically, the Spearman-Brown coefficient)

3. Test-retest reliability: Estimation based on the correlation between two (or more) administrations of the same item, scale, or instrument for different times, locations, or populations, when the two administrations do not differ in other relevant variables (typically, the Spearman Brown coefficient)

4. Inter-rater reliability: Estimation based on the correlation of scores between/among two or more raters who rate the same item, scale, or instrument (typically, intraclass correlation)

A test must be reliable, as a test cannot be valid unless it is reliable. However, the converse is not true: it is perfectly possible to have a reliable test which is not valid. For example, a multiple-choice test of grammatical structures may be wonderfully reliable, but it is not valid if teachers are not interested in the grammatical abilities of their students and/or if grammar is not taught in the related language course.

That is, reliability is a necessary but not sufficient condition for validity.

 

Ο βαθμός στον οποίο τα αποτελέσματα μιας αξιολόγησης συνιστούν ακριβή κριτήρια μέτρησης των επιδόσεων των υποψηφίων στις ικανότητες που ορίζουν τα κριτήρια αξιολόγησης. Η αξιοπιστία μιας εξέτασης βασίζεται στη βαθμολογική συνέπεια. Αξιόπιστη θεωρείται, για παράδειγμα, η εξέταση κατά την οποία κάποιος μαθητής θα πάρει τον ίδιο βαθμό είτε γράψει το τεστ Δευτέρα πρωί είτε Τρίτη απόγευμα ή ακόμα και με διαφορετικό εξεταστή.

Η αξιοπιστία μιας εξέτασης κρίνεται αν συσχετιστούν τα αντικείμενα εξέτασης, οι κλίμακες βαθμολόγησης και τα όργανα αξιολόγησης με αντίστοιχα υποθετικά που μετρούν τα ίδια στοιχεία πραγματικά.

Η αξιοπιστία υπολογίζεται με τους παρακάτω τρόπους:

1. Με τη συσχέτιση των μεταβλητών που συνιστούν το σύνολο των ζητούμενων (Εσωτερική Συνέπεια).

2. Με τη συσχέτιση δύο ισότιμων τμημάτων της εξέτασης

3. Με τη συσχέτιση της διενέργειας μιας εξέτασης με την διενέργεια μίας ή περισσοτέρων εξετάσεων με το ίδιο αντικείμενο, όργανο μέτρησης ή κλίμακα σε διαφορετική χρονική στιγμή, τοποθεσία, ή πληθυσμό, ενώ οι άλλες παράμετροι/μεταβλητές τους παραμένουν σταθερές.

4. Με τη συσχέτιση των βαθμολογιών μεταξύ των βαθμολογητών που αξιολογούν ίδια αντικείμενα, κλίμακες ή όργανα.

Μια εξέταση πρέπει να είναι αξιόπιστη για να είναι έγκυρη, ενώ το αντίθετο δεν είναι πάντα απαραίτητο: δηλαδή μπορεί να είναι απολύτως αξιόπιστη χωρίς κατ’ ανάγκη να είναι έγκυρη. Για παράδειγμα, μια εξέταση που στοχεύει στην αξιολόγηση γνώσεων γραμματικής (check) με τη μορφή ερωτημάτων πολλαπλής επιλογής μπορεί να είναι απολύτως αξιόπιστη, όχι όμως και έγκυρη, αν ο καθηγητής δεν ενδιαφέρεται για τις ικανότητες των μαθητών του στη γραμματική. Επομένως, η αξιοπιστία είναι απαραίτητη όμως όχι καθοριστική παράμετρος για  την εγκυρότητα μιας εξέτασης.