UNIBE.5

MEASURED (Phase 2)

Long Title: Media-rich Electronic Assessment with Secure Delivery (Phase 2)
Leading
Organization:
Universität Bern
Participating
Organizations:
ETH Zürich
Fachhochschule Nordwestschweiz
Domain: ELS
Status: finished
Start Date: 01.08.2010
End Date: 31.12.2011
Project Leader: S. Guttormsen
Deputy Project Leader: H. Hinterberger
Website: http://www.cta.ethz.ch/computerbased_assessment/sioux

MEASURED nutzt die anstehende Einführung von computerbasiertem Prüfen als Teil der eidgenössischen Abschlussprüfung des Medizinstudiums als Gelegenheit, um die im Projekt SIOUX erarbeiteten Grundlagen für die sichere Durchführung von elektronischen Prüfungen in einem neuen Kontext schweizweit anzuwenden, auszubauen und als qualitativ hochwertige und erprobte Lösung innerhalb der Schweizerischen Hochschullandschaft zu etablieren.

(siehe auch SIOUX (Phase 1), MEASURED 2 (Phase 3) und MEASURED 3 extension)

Ziele

MEASURED wird eine technische Lösung für summative Prüfungen entwickeln. Somit handelt es sich um ein Selektionsinstrument mit grosser Tragbreite, an das höchste Qualitätsansprüche gestellt werden müssen. Summative Prüfungen stellen punkto Messqualität, Standardisierung und verschiedener Aspekte der Prüfungssicherheit deutlich höhere Anforderungen als formatives Assessment. Für die Implementation sind deshalb

  • juristische Sicherheit (Rekursfähigkeit),
  • Robustheit gegenüber technischen Problemen sowie
  • Benutzerfreundlichkeit (Usability)

von grösster Wichtigkeit. Im Rahmen der Vorabklärungen ist klar geworden, dass SIOUX in Bezug auf juristische und technische Sicherheit den state-of-the-art repräsentiert und die optimale Basis für ein entsprechendes Prüfungssystem darstellt.
MEASURED soll ein auf dem Sicherheitskonzept von SIOUX basierendes System zur sicheren Durchführung von kritischen Prüfungen (summativ, high-stakes) sein, welches auf nationaler Ebene zum Einsatz kommt und interessierten Institutionen in diesem Bereich eine innovative, zuverlässige und flexible Lösung bieten kann.
Die bestehende Umsetzung der sicherheitsrelevanten Aspekte (digitale Signierung, ausfalltolerantes Antwortprotokoll) wird

  • modular verfügbar gemacht und
  • die betroffenen Prozesse optimiert.

Alle zur Durchführung benötigten Prüfungsdaten können in einem spezifizierten und gut dokumentierten XML-Format eingespielt werden, um die Verwendung mit unterschiedlichen Frageerstellungs-Tools zu ermöglichen. Dasselbe gilt für die Ausgabe der Resultate und deren Auswertung in Drittapplikationen.
Auf der Darstellungsseite liegt der Fokus auf einer modularen Erweiterung um neue Frage- und Antwortformate sowie multimediale und interaktive Inhalte, unter starker Berücksichtigung von Usability-Aspekten.

Nutzen

Computer-based Assessment (CBA) wird an allen Schweizer Hochschulen und Universitäten als positive Entwicklung begrüsst. Es ist nicht nur eine natürliche Weiterentwicklung von E-Learning, CBA verspricht auch einen bedeutenden Effizienzgewinn bei der Planung und Auswertung von Prüfungen. Zudem bietet CBA mehr Flexibilität in der Wissensabfragung, da dynamische Medien in die Prüfungsfragen eingebunden werden können.
Das SIOUX-Sicherheitskonzept für computerbasiertes Assessment wird technisch ergänzt und gefestigt, juristisch etabliert und als Teil einer erweiterten Prüfungsdurchführungs-Software für eine Vielzahl von anspruchsvollen Prüfungskontexten und -inhalten zugänglich gemacht.
Der zukünftige Einsatz dieser Software an eidgenössischen Prüfungen, den medizinischen Fakultäten sowie an der ETH verspricht einen langfristigen Unterhalt sowie kontinuierliche Verbesserungen und Innovationen.

Arbeitsschwerpunkte

  1. Klärung der juristischen Fragen und Etablierung eines computerbasierten Prüfungsstandards für die Schweiz:
    • Bedingungen für die Anerkennung digital signierter Prüfungsresultate als rechtssicheres Beweismittel im Rahmen eines Rechtsverfahrens (Gleichstellung mit Papierversion)
  2. Modularisierung von zentralen Modulen des SIOUX-Prototypen:
    • Modularisierung der Verschlüsselungsfunktionen des SIOUX-Prototypen (Weiterverwendung in zukünftigen computerbasierten Prüfungssystemen)
    • Spezifikation der einzelnen Module
    • Schnürung von Modulen zu funktionierenden und dem konkreten praktischen Kontext angepassten MEASURED-Versionen
  3. Flexible und multimediafähige Benutzerschnittstelle (User Interface):
    • Interaktions-Design; Anpassungen für spezifische Fragetypen und Medien-Inhalte/Formate
  4. Datensicherheit (Data Security):
    • Übernahme und Erweiterung der SIOUX-Sicherheitsaspekte
  5. Datenaufzeichnung (Data Recording):
    • Einsatz von digitalen Signaturen; Evaluation des Einsatzes der SuisseID im Rahmen von CBA; Überprüfungsmodul (Systemüberwachung, Problembehebung)
  6. Datenbindung (Data Binding):
    • neuer, XML-basierter Prüfungsdaten-Standard (für alle für eine Prüfung relevanten Daten; QTI-Erweiterung)