Projektreferenz e-Assessment: Ausschreibung einer Prüfungssoftware

Für viele Hochschulen und Universitäten bleibt das Thema «Prüfungssoftware» hochrelevant, auch nach der Rückkehr aus den Pandemiesemestern auf den Campus. Nach der Erfahrung mit verschiedenen Lösungen haben vor allem Studierende verstärkt Interesse an Online-Prüfungen, aber auch Lehrende und Prüfungsverantwortliche haben mit neuen Erfahrungen verstärktes Interesse an e-Assessment. Entsprechend dynamisch hat sich in den letzten Jahren die Landschaft der entsprechenden Anbieter entwickelt: Datenschutzkonforme, cloud-basierte Lösungen bieten technologisch robuste, rechtssichere Prüfungsformen, die längst weit über einfache Multiple-Choice-Verfahren hinausgehen.

Insbesondere für Hochschulen mit einem breiten oder jedenfalls kontrastreichen Fächerspektrum muss sich eine einheitliche e-Assessment Lösung sowohl im naturwissenschaftlich-technischen Bereich (Formeln, Programmieraufgaben, Skizzen, Diagramme, etc.) als auch für sozial- und geisteswissenschaftliche Fächer (Essays, Fallstudien, nicht-lateinische Alphabete, etc.) bewähren. Ziel kann es nicht sein, dass sich die Lehr- und Prüfungskultur an die Vorgaben der Software anpassen muss, sondern vielmehr sollte ein digitales Tool flexibel verschiedene individuelle, fachliche und institutionelle Bedarfe abbilden können – ohne dadurch im Frontend oder im Backend übermässig komplex zu werden. Die gute Nachricht: Solche Lösungen sind nicht länger nur für den nordamerikanischen Markt oder private Bildungsträger erschwinglich, sondern heute in einer breiten Auswahl verfügbar mit einem auch für öffentliche europäische Hochschulen attraktiven Preisgefüge.

Seit über zehn Jahren unterstützt Berinfor Hochschulen bei der Ausschreibung und Beschaffung von Softwarelösungen. wie z.B.:

• Tool zur erleichterten Erfassung von Spesen
• Customer Relationship Management (CRM) System
• Zentraler Software-Shop
• Campusmanagement System
• Tool für Hörsaaldisposition
• Software zur automatisierten Dokumentenerstellung

Aus den neu verfügbaren Handlungs- und Gestaltungsspielräumen entstehen aber auch neue Unsicherheiten: Welche Lösung ist die richtige für das eigene Fächerportfolio und die disziplinären Lernziele? Was ist ein geeignetes Lizenzmodell und mit welchen Kosten ist zu rechnen?

Berinfor hat für eine grosse Schweizer Universität die Ausschreibung für eine neue, leistungsfähige Prüfungssoftware begleitet, die das Repertoire an modernen und innovativen Prüfungsformaten für Studierende und Lehrende erweitern und effizient abbilden soll. Gestartet wurde das Projekt mit einer Marktanalyse, gefolgt von der Definition des Anforderungskatalogs und schliesslich der Evaluation und Selektion von Anbietern.

Die Marktanalyse zeigte für öffentliche Hochschulen im DACH-Raum eine unübersichtliche Anbietersituation mit wenigen namhaften Unternehmen, die eindeutig als Marktführer zu identifizieren wären. Hingegen konkurrieren viele kleinere und mittlere Anbieter mit spezialisierten Lösungen und unterschiedlichen Preismodellen, die bei genauerer Betrachtung für akademisches Prüfen nicht immer geeignet sind.

Um dennoch eine fundierte Entscheidung treffen zu können, ist eine sorgfältige Evaluation und Differenzierung der verschiedenen Systeme notwendig. Ähnlich wie bei der verwandten Softwarefamilie von Learning Management Systemen (LMS) zeigt sich auch für Prüfungssoftware, dass eine Differenzierung über fachliche Funktionen und technische Parameter schwerfällt. Die Standards für Prüfungsformate, Fragetypen, Bewertungsraster und Notenskalen sind naheliegenderweise ähnlich, so dass für die Ausschreibung auf langwierige Anforderungsdefinitionen und umfangreiche Pflichtenhefte verzichtet werden kann. Ein wichtigeres Unterscheidungsmerkmal sind die Benutzeroberfläche (User Interface) und das Gestalten von durchgehenden Prozessen (Workflows) von der Prüfungskonzeption über die eigentliche Prüfungsabwicklung bis hin zu Korrektur und Benotung. Hier sind tatsächliche Effizienz- und Produktivitätsgewinne zu erzielen, wenn die geeignete Software optimal mit Fächerportfolio, Hochschulkultur und Komposition der Studierendenschaft harmoniert. Deshalb war neben der Anbieterpräsentation zur Demonstration von allgemeinen, fachspezifischen und administrativen Funktionalitäten ein weiterer wesentlicher Bestandteil die Definition von kritischen Benutzerszenarien («Use Cases») aus dem tatsächlichen Prüfungsbetrieb. Dies ermöglichte ein ausführliches in-house Testing auf von den Anbietern zur Verfügung gestellten Demo-Instanzen.

Abb: Evaluationsbestandteile

Beabsichtigt Ihre Hochschule in nächster Zeit eine Prüfungssoftware zu evaluieren oder einzuführen?

Kontaktieren Sie uns und erfahren Sie, wie wir Sie in Ihrem Vorhaben unterstützen können.