Usability und User Experience Evaluation
Kostenloses Informationsmaterial
 

Usability und User Experience Evaluation des innovativen Projektmanagement-Tools “Disastering” der isacon AG

Das IT Beratungsunternehmen isacon AG entwickelte eine brandneue Software Lösung, die in komplexen Projekten eine erhebliche Qualitätssteigerung und Kostenersparnis bringen kann. Dieses Produkt nennt sich Disastering. Disastering kombiniert die neuesten Machine-Learning Technologien mit einem Fragenkatalog für eine intelligente Bewertung von Problemfeldern für ein Vorhaben oder Projekt, um Handlungsempfehlungen zu geben und Risiken zu entschärfen, noch bevor diese entstehen.

Die PFH wurde beauftragt die Usability, User Experience und das Design (kurz UUX) zu evaluieren sowie das „Disastering“-Tool zu anderen Projektmanagement-Tools abzugrenzen.

 

 

Vorgehen

In einem Kickoff wurden die grundlegenden Fragestellungen zusammen mit Mitarbeitern der isacon AG entwickelt. Diese bildeten den zentralen Kern, um das Untersuchungsdesign, die Methode und dazugehörige Datenanalyse festzulegen. Es wurde sich für ein stufenweises Vorgehen entschieden. In Arbeitspaket 1 wurde eine Bewertung des Tools hinsichtlich der UUX durch Experten sowie online vorgenommen. Anschließend fand in Arbeitspaket 2 eine Wettbewerbsanalyse statt, in der Eigenschaften von ähnlichen Tools analysiert wurde. Ein Usability Test im Labor führte abschließend in Arbeitspaket 3 zum umfassenden Verständnis der UUX. Das detaillierte Vorgehen und verwendeten Methoden werden im Folgenden beschrieben.

 

 

Expertenbasierte Evaluation

Etwa zur gleichen Zeit führten vier Experten aus dem Bereich UUX einen Cognitive Walkthrough (Mahatody et al., 2010) sowie eine Heuristik-Analyse (Nielsen & Molich, 1990) durch, um das System anhand der Dialog Prinzipien der ISO 9241-110 zu beurteilen. Die entdeckten Probleme wurden zusammengefasst und mit Verbesserungsvorschlägen ergänzt.

 

 

Online Evaluation

Neben der Experteneinschätzung sollten Studierende sowie Berufstätige die UUX und Verständlichkeit des Disastering-Tools bewerten. Dazu wurde das Tool in eine Online Umfrage eingebunden, um ein vorgegebenes Projekt einzuschätzen. In der Online Umfrage wurde den Teilnehmenden zunächst das einzuschätzende Projekt erläutert und wesentliche Kennzahlen zu dem Projekt genannt. Danach schätzten die Teilnehmenden das Projekt mithilfe des Disastering-Tools ein. Anschließend beantworteten die Teilnehmenden Fragen zur UUX. Angewandt wurden u. a. bewährte Instrumente, wie der User Experience Questionnaire (Laugwitz et al., 2008), Emotional State Model (Mehrabian, 1996) und das Technology Acceptance Model (Venkatesh & Davis, 2000).

 

 

Wettbewerbsanalyse

In der Wettbewerbsanalyse wurde untersucht, ob es andere Projektmanagement-Tools aus der Praxis oder Forschung gibt, die mit dem Disastering-Tool der isacon vergleichbar sind. Zwei Mitarbeiter der PFH führten dazu unabhängige Recherchen durch und fassten die Ergebnisse zusammen.

 

 

Usability Test im Labor

Mit Experten sowie eher „Unerfahrenen“ aus dem Bereich „Projektmanagement“ wurden Usability Tests (Rubin & Chisnell, 2008) durchgeführt. Diese Usability-Tests führten als praktisches Projekt im Rahmen einer Vorlesung Studierende selbstständig durch. Es wurden dabei u. a. halbstrukturierte Interviewtechniken (Kallio et al., 2016), Beobachtungen (Baber & Stanton, 1996) und die „Think aloud-Methode“ (Jaspers et al., 2004) angewandt.

 

Ergebnisse

Bewertung der UUX

Das Distastering-Tool begeisterte einige Teilnehmer – insbesondere die Experten, so dass sie einer kontinuierlichen Nutzung des Tools positiv gegenüberstanden. Das Tool wurde vorwiegend als Unterstützung wahrgenommen. Die intuitive und effiziente Nutzung des Tools wurde ebenfalls positiv bewertet.

Allerdings stellte sich heraus, dass die grundlegende Idee des Tools für viele Teilnehmer neu war und daher eine negative UUX hervorrief. Ein Grund dafür ist, dass einige Prinzipien des Tools den gelernten klassischen Vorgehensweisen bei der Projektplanung und Risikoanalyse widersprechen: 1. Das Entscheiden aus dem Bauch heraus und nicht auf Basis von Zahlen und tiefgreifenden Analysen. 2. Die unpräzise Operationalisierung der abgefragten Merkmale anstatt einer detaillierten Beschreibung. 3. Die fehlende Übersicht der getätigten Eingaben am Ende der Nutzung des Tools. Für die isacon sind diese Erkenntnisse für die Verbreitung des Tools sehr wichtig. Denn eine negative UUX würde die Expansion stark dämmen. Aktuell leiten isacon Maßnahmen ab, um den Anwendern die Idee des Tools besser zu verdeutlichen.

 

 

Abgrenzung zu Wettbewerbern

Es konnten erfolgreich Argumente zur Abgrenzung von anderen Projektmanagement-Tools definiert werden. Das Disastering-Tool ist im Vergleich zu anderen Tools einfach in der Funktionalität sowie Aufmachung und Bedienbarkeit. Zwar gibt es bereits viele Projektmanagement-Tools, mit denen ein Projektaufwand eingeschätzt werden kann, jedoch werden die Mitarbeiter bei der Schätzung nicht mit eingebunden. Andere Tools sind oft branchenspezifisch wohingegen das Disastering-Tool vielseitig eingesetzt werden kann. Ein weiterer Vorteil des Tools ist, dass zum Trainieren des Systems kein Datensatz aus der Vergangenheit notwendig ist.

 

Ausblick

Im nächsten Schritt wird eine Erhebung mit potentiellen Kunden direkt im Unternehmen durchgeführt. Zunächst wird ein Usability Test durchgeführt, der durch ein anschließendes Tiefeninterview ergänzt wird. Dieses Vorgehen hat das Ziel, die Tauglichkeit im realen Setting zu validieren.

Arbeitsgruppe der PFH

Dr. Carolin Ebermann (Leitung)

Matthias Selisky

Jan Raacke

Literatur

Baber, C., & Stanton, N. (1996). Observation as a technique for usability evaluation. Usability evaluation in industry, 85-94.

 

Jaspers, M. W., Steen, T., Van Den Bos, C., & Geenen, M. (2004). The think aloud method: a guide to user interface design. International journal of medical informatics, 73(11-12), 781-795.

 

Kallio, H., Pietilä, A. M., Johnson, M., & Kangasniemi, M. (2016). Systematic methodological review: Developing a framework for a qualitative semi?structured interview guide. Journal of advanced nursing, 72(12), 2954-2965.

 

Laugwitz, B., Held, T., & Schrepp, M. (2008). Construction and evaluation of a user experience questionnaire. In Symposium of the Austrian HCI and Usability Engineering Group (pp. 63-76). Springer, Berlin, Heidelberg.
 

Mahatody, T., Sagar, M., & Kolski, C. (2010). State of the art on the cognitive walkthrough method, its variants and evolutions. Intl. Journal of Human–Computer Interaction, 26(8), 741-785.
 

Mehrabian, A. (1996). Pleasure-arousal-dominance: A general framework for describing and measuring individual differences in temperament. Current Psychology, 14(4), 261-292.
 

Nielsen, J., & Molich, R. (1990). Heuristic evaluation of user interfaces. In Proceedings of the SIGCHI conference on Human factors in computing systems (pp. 249-256).

 

Rubin, J., & Chisnell, D. (2008). Handbook of usability testing: how to plan, design and conduct effective tests. John Wiley & Sons.

 

Venkatesh, V., & Davis, F. D. (2000). A theoretical extension of the technology acceptance model: Four longitudinal field studies. Management science, 46(2), 186-204.