Bachelorarbeit: Continuous Usability Improvement

worked on by: Andrej Szaffranietz

Zusammenfassung

In dieser Arbeit geht es um die systematische Verarbeitung und Einbindung von Nutzerfeedback in den Entwicklungsprozess des Eclipse- Plug-Ins Saros. Das Programm Saros ermoglicht verteilte, kollaborative Softwareentwicklung. Das eingehende Feedback wurde meist individuell beantwortet, was sehr aufwandig ist und dem dafur zustandigen Mitarbeiter viel Zeit raubt.

Um diesen Aufwand zu reduzieren war das Ziel dieser Arbeit die Entwicklung eines Konzepts zur systematischen Verarbeitung des Nutzerfeedbacks und dessen Einbindung in den Entwicklungsprozess. Dazu wurden mogliche Feedbackkanale auf ihre Nutzbarkeit fur Saros hin untersucht. Des Weiteren wurde der Fokus auf das Einbinden bereits vorhandener Strukturen in den Entwicklungsprozess von Saros gesetzt.

Meilensteinplanung

Nr.	Status	Tage	KW XX	Ziel	Prozess
1		2	KW 05	QDA abschließen	beendet
2		3	KW 05	Konzept mit Daten aus der QDA überarbeiten	beendet
2.1		3	KW 06/07	QDA aus gleichbleibendem Sichtwinkel und Konzept überarbeiten	beendet
3		5	KW 06	Konzept zur Einflechtung in den Entwicklungsprozess ausarbeiten	beendet
4		0	KW 06	Anmeldung der Bachelorarbeit (Termin bei Prof. Prechelt am 06.02.14)	Deadline
5		0	KW 07	Konzepte sollten spätestens am 10.02.14 soweit fertig sein	Deadline
6		10	KW 08-12	E-Mail-Bausteine verfassen	beendet
7		2	KW 11	Erklärung des Konzepts verfassen	beendet
8		0	KW 13	Bis 28.03.14 sollten E-Mail-Bausteine fertig sein (kleine Änderungen später noch möglich)	Deadline
9		5	KW 14	Start des ersten Probedurchlaufs	beendet
10		5	KW 15	Auswertung des Probedurchlaufs	beendet
11		3	KW 16	evtl. Konzept, E-Mail-Bausteine, Troubleshooting-Einträge überarbeiten	beendet
12		XX	KW 14-16	Schreiben (evtl. je nach Zeit auch schon früher)	beendet
13		2	KW 16	Evaluation des Konzepts	beendet
14		1	KW 17	Abgabe am 22.04.2014	Deadline
15		5	KW 19	Abschlusspräsentation	in Arbeit…

Wochenberichte

Woche 1 (KW 46)

Aktivitäten

• Literaturrecherche
• Erstellung eines Konzeptentwurfs
• Überblick über das Thema verschaffen

Resultate

• Wikiseite erstellt

Nächste Schritte

• weitere Literaturrecherche betreiben
• Konzeptentwurf ausarbeiten

Probleme

• bei der Literaturrecherche trifft man häufig auf Quellen zu eine generellen Usability Improvement und nicht zu einem beständigen Usability Improvement anhand des Nutzer-Feedbacks
• generell ist die Abgrenzung des Themas noch etwas unklar

Woche 2 (KW 47)

Aktivitäten

• Literaturrecherche vorerst beendet
• Überblick über die anwendbaren Methoden zur Feedback-Erfassung verschafft

Resultate

• Konzeptentwurf:
  • Entwurf eines Systems, das folgende Komponenten unterstützt:
    • Erfassung des Feedbacks von Nutzern
      • Methoden (dazu weiter unten mehr)
    • Auswertung des Feedbacks
      • z.B.: kann man das Feedback in Kategorien einteilen? Welche Informationen will man eigentlich?
      • wird in den nächsten beiden Wochen angegangen. Dabei dürfte die Sichtung von bereits vorhandenem Feedback sehr hilfreich sein
    • Einarbeitung des Feedbacks in den Entwicklungsprozess
      • dazu muss ich mich erst noch weiter in Saros einarbeiten
  • Umsetzung dieses Systems
  • Evaluation des Systems
• Methoden zur Feedback-Erfassung, die auf das Saros-Projekt anwendbar sind:
  • Interviews
    • offene
    • strukturierte
  • Umfragen/Fragebögen
  • Fokus Gruppen
    • insbesondere “continuous customer feedback programs“
  • [UPDATE] Forum

Nächste Schritte

• herausfinden, wie so ein „continuous customer feedback program“ aufgebaut ist
• bereits vorhandenes Feedback sichten
• sich genauer im Klaren werden, was für Informationen man denn gerne von den Nutzern hätte
• evtl. Kategorien aufstellen in die man das Feedback zur weiteren Bearbeitung einteilen kann

Probleme

Woche 3 (KW 48)

Aktivitäten

• Feedback-Sichtung begonnen

Resultate

• welche Informationen möchte man von Benutzern haben:
  • Meldungen über Fehlverhalten von Saros
  • Problemstellen, an denen der Arbeitsablauf umständlich ist
  • Vorschläge für weitere Features
  • Unklarheiten über Saros (könnte etwas auf der Website besser präsentiert werden)

Nächste Schritte

• weiteres Feedback sichten

Probleme

• es dauert bis man dieses ganze Feedback gesichtet hat

Woche 4 (KW 49)

Aktivitäten

• Release Manager für Saros Release 13.12.6
  • Daher ziemlich in den Release Process eingebunden

Resultate

• Mögliche Feedbackkanäle, die geöffnet werden sollten:
  • Forum aktivieren
    • Dabei muss ich mir Gedanken darüber machen, wie die Accounterstellung ablaufen soll, da sich anscheinend Spambots sonst ziemlich schnell registrieren würden, aber da werden sich ja auch schon andere Leute Gedanken drüber gemacht haben.
  • continuous customer feedback program starten
    • Dabei setzen sich User und am Saros-Projekt beteiligte Personen (darunter natürlich auch Entwickler) zusammen
    • Das ganze sollte über ein web conferencing tool stattfinden. Dieses muss mindestens Screensharing in beide Richtungen unterstützen. Dazu ist noch eine Recherche notwenig.
    • Wie genau das ablaufen soll und in welcher Häufigkeit diese virtuellen Treffen stattfinden sollen ist noch zu klären
  • optional:
    • Eine Kontakt-E-Mail-Adresse auch direkt auf der Homepage angeben. Diese leitet die Nachrichten dann direkt an den gerade zuständigen Mitarbeiter weiter. Sprich es ist keine personenspezifische Adresse.
    • Hilfeseiten verbessern: Die Aktualität der angegebenen Informationen überprüfen, weitere Informationen hinzufügen (falls benötigt), dafür sorgen, dass Informationen regelmäßig aktualisiert werden, die Seiten vielleicht besser präsentieren
    • Jabberserverstatus auf der Website anzeigen (z.B. über kleine Ampel)

Nächste Schritte

• Saros 13.12.6 releasen
• Mögliches „continuous customer feedback program“ entwickeln

Probleme

• Durch den Release Process konnte ich nichts für meine Bachelorarbeit tun und habe somit nur bereits letzte Woche erarbeitete Ideen auf die Wikiseite gestellt.

Wochen 5/6 (KW 50/51)

Aktivitäten

• Release Process abgeschlossen
• Überlegungen darüber was für ein Feedback benötigt wird und wie dieses Feedback erhoben werden kann

Resultate

• Einteilung von Feedback in vier Kategorien (Was für Informationen möchte man haben):
  • positives Feedback
  • Probleme
  • Vorschläge
  • Fragen
• Recherche über mögliche Erhebungsmethoden (Wie bekomme ich die gewünschten Informationen):
  • Umfragen/Fragebögen
  • Interviews
  • Bugtracker
  • Feature Requests
  • Forum
  • User Observation
  • Fokus Gruppen
• Die nicht fett markierten Einträge sind zur Feedbackerhebung bei Saros nicht anwendbar bzw. bieten sich nicht an

Nächste Schritte

• Gespräch mit Julia Schenk am 07.01.2014

Probleme

• Es gibt natürlich Unmengen weiterer Erhebungsmöglichkeiten, doch diese wurden vernachlässigt, da sie nicht zielführend für meine Bachelorarbeit sind und Saros schon existiert und daher keine Marktanalyse durchgeführt werden muss.

Woche 7 (KW 2)

Aktivitäten

• Gespräch mit Julia Schenk
• Erarbeitung eines Konzepts, dass die Weiterverarbeitung von Saros-Umfragen regelt und vorhandene E-Mail-Kontakte nutzt

Resultate

• Flussdiagramm zur Visualisierung des Konzepts:
  • Ermöglicht das erstellen von E-Mails und Fragebögen, um weitere hilfreiche Informationen von Benutzern zu bekommen

Nächste Schritte

• Vervollständigung des Konzepts

Probleme

Woche 8 (KW 3)

Aktivitäten

• weitere Arbeiten an meinem Konzept

Resultate

• vorläufig fertiges Konzept

Nächste Schritte

• Vorstellung des Konzepts bei Julia Schenk und Franz Zieris am 21.01.
• Darauf aufbauend evtl. eine Überarbeitung des Konzepts

Probleme

• mehrere Szenarien machen Probleme:
  • wenn mehrere Feedback-Kategorien angesprochen werden, werden unter Umständen mehrere Fragebögen etc. verschickt → Überlegung, ob dies gewünscht ist oder ob man die Fragebögen zB priorisieren sollte
  • es sind noch keine mehrstufigen Fragebögen vorgesehen. Die Erfahrung der Saros-Nutzer wird also noch nicht berücksichtigt.

Woche 9 (KW 4)

Aktivitäten

• eine Auswahl aus dem bisherigen Feedback mithilfe von QDA Software (Atlas.ti) analysieren, um aus den Daten mögliche Kategorien für das Feedback zu generieren
• Erstellung eines Meilenstein-Plans

Resultate

* viele Unterkategorien für die vier Hauptkategorien des Feedbacks

Nächste Schritte

• Erstellung einer Tabelle mit den Kategorien und Beispielen aus dem Feedback
• Diese Tabelle an Julia Schenk schicken
• Überarbeitung des Konzepts:
  • Reduzierung von Interviewanfragen
  • Unterkategorien werden eingegliedert
  • passendere Antworten sollten erstellt werden

Probleme

• die ganzen Unterkategorien sind noch nicht scharf zueinander abgegrenzt. Dies sollte sich aber im Verlauf der nächsten Woche bessern.

Woche 10 (KW 5)

Aktivitäten

• QDA abgeschlossen
• Konzept überarbeitet

Resultate

• In das Konzept wurden weitere Unterkategorien, die aus der QDA hervorgingen, eingegliedert

Nächste Schritte

• Meilenstein #3

Probleme

• Die Abgrenzung der einzelnen Kategorien war nicht immer ganz simpel

Woche 11 (KW 6)

Aktivitäten

• eine neue QDA gestartet mit dem Blickwinkel desjenigen, der die Feedback-Mails bekommt und herausfinden möchte worin das Problem des Benutzers besteht
• neue Problemunterkategorien gebildet, die sich besser voneinander abgrenzen lassen und die Zuordnung einfacher gestalten sollten

Resultate

• tabellarische Übersicht über die neuen Problemkategorien und was für Informationen man von dem Benutzer haben möchte

Nächste Schritte

• tabellarische Übersicht vervollständigen (es fehlen noch die Einträge warum man wann diese Informationen haben möchte
• Meilenstein #2.1 und #3

Probleme

Woche 12 (KW 7)

Aktivitäten

• Konzept zur Einbindung des Feedbacks in den Entwicklungsprozess entworfen

Resultate

• Konzeptentwurf

Nächste Schritte

• Konzepte fertigstellen
• anfangen die Texte (E-Mails, Troubleshootingeinträge) zu schreiben

Probleme

Woche 13 (KW 8)

Aktivitäte

• Texte schreiben

Resultate

• Konzepte sind fertig
• erste Texte geschrieben

Nächste Schritte

• weitere Texte schreiben
• Vortrag in der Arbeitsgruppe, um weitere Anregungen zu bekommen

Probleme

Woche 14 (KW 9)

Aktivitäten

• Vorbereitung auf meine Antrittspräsentation

Resultate

• Antrittspräsentation in der Arbeitsgruppe

Nächste Schritte

• weitere Texte schreiben

Probleme

Woche 15 (KW 10)

Aktivitäten

• E-Mails für die Problemkategorien schreiben

Resultate

• E-Mails für die Problemkategorien fertiggestellt

Nächste Schritte

• Erklärung des Konzeptes erstellen

Probleme

Woche 16 (KW 11)

Aktivitäten

• Erklärung des Konzeptes erstellt

Resultate

• Explanation of concept.pdf

Nächste Schritte

• Abgrenzungskriterien verfassen
• E-Mails für die restlichen Kategorien fertigstellen

Probleme

Woche 17-19 (KW 12-14)

Aktivitäten

• Abgrenzungskriterien formuliert
• visuelle Übersicht über Bausteine meiner Arbeit erstellt
• restliche E-Mail Bausteine angefertigt
• Gliederung für die Bachelor Thesis erstellt

Resultate

• alle E-Mail Bausteine vorhanden
• demarcation criteria.pdf
• Gliederung

Nächste Schritte

• Abstract formulieren
• Zweitgutachter finden
• Probedurchlauf durchführen
• Konzept evaluieren
• Bachelor Thesis schreiben

Probleme

Woche 20-22 (KW 15-17)

Aktivitäten

• Abstract formuliert
• Bachelor Thesis geschrieben

Resultate

• fertige Thesis

Nächste Schritte

• auf Abschlusspräsentation vorbereiten

Probleme