Dies ist die Veranstaltungsseite zur
Vorlesung und Übung "Empirische Bewertung in der Informatik".
Beschreibung
Die Informatik entwickelt als Ingenieurwissenschaft ständig neue
Artefakte wie beispielsweise Methoden, Sprachen/Notationen oder
konkrete Softwaresysteme. Die Funktionstüchtigkeit und Wirksamkeit
dieser Lösungen für den angepeilten Zweck ist in aller Regel nicht
offensichtlich -- schon gar nicht im Vergleich zu anderen, schon
vorhandenen Lösungen für den selben oder einen ähnlichen Zweck.
Aus diesem Grund zählen Methoden zur Bewertung der Tauglichkeit
solcher Lösungen zum wichtigen Grundinstrumentarium der Informatik --
eine Tatsache, die sich leider erst allmählich in den Köpfen festsetzt.
Bewertung wird benötigt bei den Schöpfern neuer Lösungen (also in der
Forschung und Entwicklung), aber ebenso bei den Anwendern, denn diese
müssen den zu erwartenden Nutzen spezifisch für ihre Situation
abschätzen.
Solche Bewertungen müssen fast immer empirisch (also auf Beobachtung
basierend) durchgeführt werden, denn für analytisches (also auf reinem
Nachdenken basierendes) Vorgehen sind die Fragestellungen fast immer
viel zu kompliziert.
Diese Veranstaltung stellt die wichtigsten Arten empirischer
Bewertungsverfahren vor und erklärt, wo diese eingesetzt wurden (beispielhaft)
und eingesetzt werden sollten, wie man sie einsetzt und was dabei zu beachten
ist.
Organisatorisches
Veranstalter
Voraussetzungen/Zielgruppe, Einordnung, Leistungpunkte etc.
Siehe den
Eintrag im KVV.
Anmeldung
Mailingliste: Alle Teilnehmer müssen Mitglied in der Mailingliste
SE_V_EMPIR
sein.
(Dort bitte auch den vollen Vor- und Nachnamen angeben.)
Über diese Liste werden wichtige Informationen und Ankündigungen versendet.
Jede/r bitte selbst dort eintragen.
KVV: Alle Teilnehmer müssen sich im
KVV angemeldet haben.
Termine
- Die Vorlesung findet montags von 10-12 Uhr im Seminarraum 049 in der Takustr. 9 statt,
- die Übung direkt anschließend von 12-14 Uhr, im Seminarraum 049 in der Takustr. 9
- Klausur: Montag, 20.07.09, um 9:59 Uhr im Seminarraum 049 in der Takustr. 9 (der Montag nach Vorlesungsende)
- Klausureinsicht: Fr 31.07.09, 10:00 Uhr bis mindestens 10:30, SR 049, Takustr. 9
Prüfungsmodalitäten
Die notwendigen Kriterien für die Vergabe des Leistungsnachweises zu dieser
Veranstaltung sind
- Bearbeitung von mindestens (n-1) Übungszetteln
- aktive Teilnahme an den Übungen
- Bestehen der Klausur
Inhalt
Hinweis zu Links
Einige verlinkte Dokumente sind nur aus dem FU-Netz zu erreichen (von extern gibt es einen 403/Forbidden: "You don't have permission to access ...").
Achtung: Die Übungszettel befinden sich nun in einem eigenen Abschnitt Übungsblätter.
Stoffplan
Die Vorlesung besteht aus drei Abschnitten:
- Einführung (3 Wochen): Stellt das grundsätzliche Gedankengebäude der Empirie vor und diskutiert die Qualitätsmerkmale für empirische Untersuchungen (Vorlesungen 1 bis 3).
- Methoden (7 Wochen): Stellt die grundlegenden Aspekte der Vorgehensweise für die verschiedenen empirischen Methoden vor und illustriert sie an konkreten Beispielen aus der Literatur.
- Datenanalyse (2 Wochen): Empirische Untersuchungen bringen zunächst immer Rohdaten hervor, die zum Teil qualitativer und zum Teil quantitativer Natur sein können. Die Untersuchungsergebnisse ergeben sich erst aus der Analyse und Interpretation dieser Daten. Die Analyse quantiativer Daten ist ein Thema, über das allein man ein komplettes Studium absolvieren kann (nämlich Statistik).
Dieser Abschnitt gibt die allererste Einführung in die Analyse quantiativer Daten. (Die völlig andersartige Analyse qualitativer Daten sprengt den Rahmen dieser Vorlesung und wird nicht behandelt.)
Die einzelnen Vorlesungen:
- Einführung - Die Rolle der Empirie:
- Begriff "Empirische Bewertung";
Theorie, Konstruktion, Empirie;
Status der Empirie in der Informatik
- Hypothetische Anwendungsbeispiele
- Qualitätskriterien: Glaubwürdigkeit, Relevanz
- Hinweis: Skalentypen
- Die wissenschaftliche Methode:
- Wissenschaft und Erkenntnismethoden; Einordnung der
Informatik
- Die wissenschaftliche Methode;
Variablen, Hypothesen, Kontrolle;
Interne und externe Gültigkeit;
Gültigkeit, Glaubwürdigkeit, Relevanz
- Wie man mit Statistik lügt:
- Was ist überhaupt gemeint? Was genau? Wie können die das
wissen? Was wird nicht gesagt?
- Verzerrt das Maß, die bildliche Darstellung oder die
Stichprobenauswahl das Ergebnis? etc.
- Material: Buch zum Thema,
Studie über Alternativ-Tinten,
Artikel mit Argumenten gegen das Hypothesentesten:
"The earth is round (p < 0.05)".
- Vorgehen bei Empirie:
- Schritte: Ziel und Frage formulieren; Methode auswählen und
Studie entwerfen; Beobachtungssituation herstellen; Daten sammeln;
Beobachtungen auswerten; Ergebnisse interpretieren.
- Beispiel: N-Versions-Programmierung
(Artikel,
interessanter Nachklapp)
- Umfrage:
- Beispiel: Relevanz der Informatik-Ausbildung
( Artikel )
- Methode: Auswahl der Ziele; Auswahl der zu befragenden
Personengruppe; Entwurf und Validierung des Fragebogens;
Durchführung der Befragung; Auswertung; Interpretation
- Kontrolliertes Experiment:
- Beispiel 1: Flussdiagramme versus Pseudocode
(Artikel,
kritisierte frühere Arbeit)
- Methode: Kontrolle und Konstanz; Probleme beim Erreichen von
Konstanz; Techniken zum Erreichen von Konstanz
- Beispiel 2: Nutzen von Entwurfsmuster-Dokumentation
(Artikel)
- Quasiexperiment:
- Beispiel 1: Vergleich von 7 Programmiersprachen
( Artikel,
detaillierter technischer Bericht)
- Methode: wie kontrolliertes Experiment, aber mit
unvollständiger Kontrolle (meist: keine Randomisierung)
- Beispiel 2: Wirkung von Arbeitsplatzbedingungen auf die
Produktivität
(Artikel)
- Benchmarking:
- Beispiel 1: SPEC CPU2000
(Artikel)
- Benchmark = Maß + Aufgabe + Vergleich; Probleme (Kosten,
Aufgabenauswahl, Überanpassung); Qualitätsmerkmale (Zugänglichkeit,
Aufwand, Klarheit, Portierbarkeit, Skalierbarkeit, Relevanz)
(Artikel)
- Beispiel 2: TREC
(Artikel)
- Grundbegriffe der Datenanalyse:
- Techniken der Datenanalyse:
- Stichproben und Grundgesamtheiten; Mittelwert;
Variabilität; Vergleich von Stichproben:
Signifikanztest, Vertrauensbereich; Bootstrap; Beziehungen
zwischen Variablen: Plots, lineare Modelle, Korrelation, lokale
Modelle (loess)
- Fallstudie:
- Beispiel 1: Eingewöhnung in ein Software-Team
(Artikel)
- Methode: Eigenarten von Fallstudien; Was ist der 'Fall'?;
Nutzung vieler Datenarten; Triangulierung;
Gültigkeitsdimensionen
- Beispiel 2: Ein unkonventionelles Verfahren für
Anforderungs-Inspektionen
(Artikel)
- Sonstige Methoden:
- Die Methodenlandschaft; Simulation; Software-Archäologie
(Studien auf Basis existierender Datenbestände); Literaturstudie;
- Beispiel Simulation: Skalierung von P2P-File-Sharing
(Artikel)
- Beispiel Software-Archäologie: Code-Verfall
(Artikel)
- Beispiel Literaturstudie: Ein Modell der Effektivität von
Durchsichten
(Artikel)
- Zusammenfassung und Tipps:
- Rolle der Empirie; Qualitätskriterien; Generische Methode; Vor-
und Nachteile der Methoden; Praktische Hinweise (zur Datenanalyse;
zum Schlussfolgern; zur Präsentation); Ausblick
Ziele der Übung
- Übungen 1 bis 3 (zu R)
- Die Fähigkeiten einer frei verfügbaren, umfangreichen, modernen Statistiksoftware andeutungsweise kennen lernen und Grundfertigkeiten im Umfang damit erwerben.
- Eine neue Denkweise für das Programmieren kennen lernen ("Programmieren mit Daten") und etwas einüben.
- Erkennen, wie erhellend manchmal eine Datenanalyse sein kann und wie nutzlos in anderen Fällen.
- Übungen 4 bis 9 (Projekt: empirischen Studie)
- Einmal selbst die Entwurfsüberlegungen zu einer empirischen Studie durchlaufen haben und erkennen, wie viele Aspekte es zu balancieren gilt.
- Erleben, wie viele gute Einfälle man haben kann. Und wie viele andere eventuell trotzdem noch fehlen.
- Erkennen, wie wichtig ein sorgfältiges Arbeiten ist (weil die nachträgliche Korrektur von Fehlern oft unmöglich ist und andernfalls in der Regel enorm viel Mehrarbeit verursacht).
- Einmal das Aha-Erlebnis gehabt haben, Daten zu analyisieren, die sonst noch niemand auf der Welt gesehen hat.
Übungsblätter
Umfrageergebnisse
Änderungen von Jahr zu Jahr
- 2004: Vorlesung erstmalig durchgeführt.
- 2005: Vorlesung: nur kleine Änderungen. Übung: breitere Themenwahl für die Umfragen.
Literatur
(Kommentare)
Wenn Sie Anmerkungen oder Vorschläge zu dieser Seite haben, können Sie sie
hier (möglichst mit Datum und Name) hinterlassen:
"wer zuerst kommt, mahlt zuerst" ist natürlich ein geniales verfahren für die zuteilung der mailinglisten! der erste trägt sich mit
all@fu-berlin.de (ich weiß, die gibts nicht) ein und da alle anderen mailinglisten nur teilmengen dieser sind, können die anderen sich an den daumen spielen, oder wie? --
DennisHartrampf - 14 Jun 2009
Nein. Wenn mehrere Gruppen berechtigtes Interesse an denselben Verteilern haben, lösen wir diesen Konflikt mündlich in der Übungsstunde (wie geschehen). Niemand wird mit den Daumen spielen müssen! --
MartinGruhn - 18 Jun 2009
Es wäre super, wenn die Folien zumindest auch aus dem VPN erreichbar wären…
--
EikeSend - 14 Feb 2011