ETHZ.1

SIOUX

Long Title: Secure Interactive Online eXam
Leading
Organization:
ETH Zürich
Participating
Organizations:

Other
Partners:
Zürcher Fachhochschule
Hochschule Luzern
Fachhochschule Nordwestschweiz
Domain: ELS
Status: ongoing
Start Date: 01.10.2008
End Date: 31.03.2010
Project Leader: H. Hinterberger
Website: http://www.cta.ethz.ch/computerbased_assessment/sioux

Ein zentrales Online-Prüfungssystem, dem Studierende und Dozierende vertrauen können - das und noch viel mehr bietet SIOUX. Entwickelt als Open-Source-Software, entspricht das Prüfungssystem höchsten Sicherheitsstandards, vergleichbar mit eBanking- oder eVoting-Systemen. Es ermöglicht die sichere Erstellung, Durchführung und Auswertung von eAssessments. So wird SIOUX den unterschiedlichen Anforderungen von Studierenden, Dozierenden sowie der Hochschulen gerecht.

Projektursprung

Im Rahmen von ICT- und Programmier-Lehrveranstaltungen unterrichten wir jedes Jahr rund 1100 Studierende. Die problembasierte Unterrichtsform und die hohen Studierendenzahlen erfordern ein effizientes und effektives Prüfungssystem. Wir haben dazu einen problembasierten Fragetyp entwickelt, der die automatische Korrektur zulässt. Um den administrativen Aufwand zu reduzieren, ist es unser Ziel, die Prüfungssessionen computergestützt durchzuführen. Dazu zählen wir

  • den Aufbau und Unterhalt des Fragenpools,
  • das Zusammenstellen der Prüfung, sowie
  • die Durchführung,
  • Korrektur und
  • Auswertung der Prüfung.

Ziele dieses Projekts

Bekannte Learning Management Systeme (LMS) wie z.B. OLAT, Ilias, Moodle oder Blackboard und spezialisierte Prüfungssysteme wie z.B. Questionmark Perception sind aus technischer Sicht nur unter Einschränkungen für sichere Prüfungen geeignet, da die Sicherheitsanforderungen nicht garantiert oder nicht dokumentiert werden (und stellen somit die Rekursfähigkeit einer Prüfung in Frage). Diesen Systemen fehlt eine digitale Signierung der Resultate, um nachträgliche Manipulation systematisch zu erkennen. Zudem verfügen sie über viele Funktionen, welche für das Prüfungsmanagement nicht benötigt werden und somit aus prüfungstechnischer Sicht die Sicherheit und Zuverlässigkeit negativ beeinflussen können.

Mit diesem Projekt wollen wir diese L©cke schliessen. Wir schaffen ein Online-Prüfungssystem, welches den kompletten Prüfungs-Lifecycle umfasst. Der SIOUX Application Server bildet das zentrale Element dieses Systems und stellt Schnittstellen für die Fragenpool-Bewirtschaftung, sowie die Zusammenstellung, Durchführung, Korrektur und Auswertung der Online-Prüfungen zur Verfügung. Für den Zugriff auf den SIOUX Server werden SIOUX Clients eingesetzt, welche je nach Anwendung (Durchführen von Online-Prüfungen respektive Prüfungsadministration) nur auf bestimmte Schnittstellen des SIOUX Servers zugreifen können.

SIOUX ist so konzipiert, dass es den verschiedenen Sicherheitsansprüchen und Anforderungen von Studierenden, Dozierenden und Hochschulen genügt:

Für die Studierenden steht das subjektive Vertrauen in das Online-Prüfungssystem im Zentrum. Dieses wird einerseits beeinflusst durch die lückenlose Verfügbarkeit des Systems (Hardware und Software) und andererseits durch die Transparenz der Datenverarbeitung ("Werden meine Daten unverändert gespeichert?"). Zudem soll das System verschiedene Arten der Leistungsrückmeldung unterstützen, so dass die Studierenden neben selektiven Prüfungen auch ihren aktuellen Wissensstand im Rahmen von formativen Tests feststellen können.

Die Dozierenden sind an einem effizienten Prüfungssystem interessiert, welches sich in die bestehende Struktur der Lehrveranstaltung integrieren lässt. Dabei muss sichergestellt sein, dass unbefugte Personen keinen Zugriff auf den Fragenpool erhalten und dass die Systemintegrität während einer Prüfung systematisch überwacht wird. Zudem soll das System die Resultate automatisch korrigieren und mit der grafischen Auswertung der Prüfungen ein wichtiges Instrument für die qualitative und inhaltliche Evaluation der Lehrveranstaltung zur Verfügung stellen.

Die Hochschule kann sich bei SIOUX auf ein System verlassen, welches einen mit e-banking oder e-voting Applikationen vergleichbaren Sicherheitsstandard aufweist. Dadurch ist sichergestellt, dass die zwischen Client und Server ausgetauschten Datenpakete jederzeit und systematisch auf deren Vollständigkeit und Identität hin untersucht werden. Eine nachträgliche Modifikation der Daten muss ausgeschlossen werden können (entscheidend im Falle eines Rekurses). Ziel dieses Projekts ist auch das Verfassen von Richtlinien zur sicheren und zuverlässigen Ausstattung und Konfiguration der Server- und Clientinfrastruktur. Da SIOUX als OpenSource Software entwickelt wird, werden auch die Sicherheitskritischen Systemkomponenten offen gelegt und detailliert dokumentiert. Dadurch wird eine detaillierte Risikoanalyse möglich, welche für die Anpassung respektive Erweiterung der institutionsspezifischen Prüfungsreglemente grundlegend wichtig ist.

Nutzen für das AAA-Netzwerk

Im Rahmen der AAA e-Infrastruktur wird ein zentraler SIOUX Server in Betrieb genommen, welcher den beteiligten Hochschulen zur Verfügung steht. Diese zentralisierte Infrastruktur ermöglicht den Aufbau von gemeinsam genutzten Fragenpools, welche institutionsübergreifend aufgebaut und bewirtschaftet werden können.