Seminar
MULTIMEDIALE SYSTEME;
Institut für Informatik, FU Berlin, WS 95/96
Kurz-Skript zum Vortrag am 31.10.95
Multimedia:
und
von
Martin Kurze
kurze@inf.fu-berlin.de
und
Lars Reichert
reichert@inf.fu-berlin.de
I Begriffe - Techniken - Anwendungen
Der Begriff "Multimedia" ist in jüngerer Vergangenheit zum Schlagwort geworden, mit dem man nahezu alles elektronische zu verkaufen sucht: vom "Multimedia-Lexikon" bis zum "Multimedia-fähigen Netzwerk-Hub". Derart aufgeweicht hat es das mittlerweile zum "buzz-word" verkommene Wort nötig, wieder eine abgrenzende und strukturierte Bedeutung zu erhalten. In [Steinmetz 91] wird daher eine Begriffsbildung versucht, an die ich mich in diesem Beitrag größtenteils halten werde. Die folgenden Absätze definieren und erläutern Begriffe, die im Laufe dieses Seminars Bedeutung haben werden.
In der Physik und im allgemeinen Sprachgebrauch ist ein Medium Träger(-material) und (Ver-)Mittler gewisser Eigenschaften oder Informationen. Beispiele sind Text, Graphik, Bild, Geräusch, Musik und Bewegtbild. Diese Medien sind nicht unbedingt an einen bestimmten Wahrnehmungskanal oder ein Sinnesorgan gebunden (hier weiche ich von der Definition in [Steinmetz 91] ab). Gleichwohl spielen menschliche Sinne eine wichtige Rolle bei der Wahrnehmung der mittels Medien transportierten Information.
Der Modus (oder die Modalität), über den die Wahrnehmung geschieht, wird von den menschlichen Fähigkeiten/Sinnesorganen und dem gewählten Medium bestimmt: Musik wird (fast ausschließlich) akustisch wahrgenommen, Texte können akustisch oder visuell (oder taktil via Braille-Schrift) wahrgenommen werden.
Anders ausgedrückt: Das Medium ist nicht per Definition an einen menschlichen Sinn oder Modus gebunden. Gesprochene Sprache transportiert zwar unter Umständen zusätzliche Information zum Text, das Medium Text bleibt davon jedoch zunächst unberührt. Seine Basisinformation wird übertragen, egal, ob akustisch oder visuell. Ähnliches gilt für Grafiken, die natürlich primär für den visuellen Kanal geeignet sind, nichtsdestotrotz aber auch taktil erfahrbar sein können, wie wir im Verlauf des Seminars noch sehen werden.
Aus der Unterscheidung zwischen Medium und Modus folgt auch die Unterscheidung zwischen multimedialen und multimodalen Systemen. Letztere sprechen mehrere Sinne an, während erstere sich mehrerer Medien, also Informationsträgern bedienen.
In [Steinmetz 91] taucht der Begriff des Modus nicht auf, statt dessen werden die im folgenden skizzierten Begriffe Darstellungswert, Darstellungsraum und Darstellungsdimension eingeführt, die den gleichen Sachverhalt aus einer leicht abweichenden Perspektive analysieren.
Der Darstellungswert beistimmt die Informationspräsentation eines Mediums, entspricht also in etwa dem Modus, ist jedoch wesentlich stärker an "sein" Medium gebunden. Darstellungswerte sind auch Temperatur, Geruch und Geschmack; diese "stehen für sich selbst" können also vom Menschen unmittelbar interpretiert werden. Andere Darstellungswerte sind vordefinierte Symbolmengen, die erst erlernt werden müssen. Inwieweit z.B. visuelle Abbildungen (Photos o.ä.) als aus Symbolen zusammengesetzt betrachtet werde können, wird in einem späteren Vortrag ("Taktile Graphiken ...") zu klären sein.
Der Darstellungsraum ist das physische Mittel ("Medium" im herkömmlichen Sinn), das das Medium, also z.B. das Bild oder den Ton trägt. Bilder können unter anderem auf Papier oder auf dem Bildschirm vorliegen, Töne z.B. in Form von stereophonischen Aufnahmen.
Jeder Darstellungsraum verfügt über Darstellungsdimensionen. Der Bildschirm hat (normalerweise) zwei Dimensionen, Stereophonie eine räumliche. Zusätzlich kommt für viele Medien die Dimension der Zeit hinzu. Der Darstellungsraum Videofilm verfügt über die zwei Raumdimensionen des Monitors, deren Werte sich allerdings im Laufe der Zeit ändern (im allgemeinen 25 mal pro Sekunde). Solche Medien nennt man kontinuierlich.
Einige Medien wie Text oder Grafik bestehen aus zeitunabhängigen Werten. Diese Medien heißen diskret [Steinmetz 91].
Ob ein Medium kontinuierlich oder diskret ist, hängt von der Wahrnehmung, nicht von der internen Repräsentation ab. Obwohl ein Videofilm aus einer Folge diskreter Einzelbilder besteht, wird er als fortlaufend wahrgenommen, ist also ein kontinuierliches Medium.
Wörtlich genommen ist jedes System, das mehr als ein Medium unterstützt, ein Multimedia-System, also z.B. auch ein Text mit eingebetteten Bildern. Diese Definition ist offensichtlich unzureichend. Die Abgrenzung multimedialer Systeme gegenüber anderen Systemen muß also nicht von der Quantität (Anzahl) der verwendeten Medien abhängig gemacht werden, sondern von qualitativen Aspekten.
Ein Multimedia-System muß nach [Steinmetz 91] diskrete und kontinuierliche Medien unterstützen: "Die bloße Aufnahme und Wiedergabe verschiedener Medien reicht nicht aus: das System soll in der Lage sein, verschiedene Medien unabhängig voneinander zu verarbeiten, anders als etwa ein Videorecorder, bei dem Bild und Ton untrennbar miteinander gekoppelt sind. Diese Unabhängigkeit schafft die Möglichkeit, Medien in beliebiger Form für eine Präsentation zu kombinieren. Der Rechner ist hierfür das ideale Werkzeug."
Weiterhin sollte man zwischen multimedialen (s.o.) und multimodalen Systemen. unterscheiden. Letztere sprechen (gemäß Definition oben) relativ unabhängig vom Medium unterschiedliche Sinne, also Wahrnehmungskanäle, an und nutzen so die Summe der Übertragungsbandbreiten der Einzelkanäle.
Mit der hier erarbeiteten Begrifflichkeit kann nun dazu übergegangen werden, verschiedene Medien und ihre Integration unter technischen Gesichtspunkten zu betrachten. Dies soll ansatzweise im folgenden Teil getan werden.
Bedingt durch historische Entwicklungen, unterschiedliche technische Anforderungen und den Stand der Forschung und Entwicklung haben sich zwei Prinzipien der Medien-Speicherung, -Übertragung und -darstellung etabliert:
Fernmelde- Rundfunk- und Fernsehtechnik basieren auf analogen Verfahren, während in der Datenverarbeitung die Digitaltechnik genutzt wird. Erst in den letzten Jahren begann ein allmählicher Wechsel hin zur ausschließlichen Verwendung digitaler Systeme. Abb. 1-3 (aus [Steinmetz 91]) zeigen nun einige Möglichkeiten analoge und digitale Systeme zu kombinieren.
Hybride und digitales Multimedia-System
Eine integrierte Behandlung aller Medien ist nur mit vollständig digitalen Systemen möglich.
Zunächst soll hier der benötigte Speicherplatz für einige typische Anwendungsfälle ermittelt werden, danach werden die resultierenden Datenraten für Kommunikationskanäle berechnet und schließlich folgt ein Einblick in die für die Präsentation notwendige Rechenleistung.
9,4 KByte
(2 x- und 2 y-Koordinaten sowie 1 Attribut-Byte, z.B. Farbe, je Linie)
2,8 KByte
300 KByte
2,25 MByte
(8 kHz Samplingrate, 8 bit Quantisierung)
8 KByte
(44,1 kHz, 16 bit, Stereo)
172 KByte
(25 Vollbilder pro Sekunde, YUV-Komponentensignal mit 3 Byte/Pixel)
22 MByte
Bei HDTV etwa 5 mal soviel.
Die angeführten Beispiele zeigen, welche erhöhten Anforderungen an die Speicherkapazität rein digitaler Multimedia-Systeme gestellt werden. Eine CD-ROM mit 600 MB Speicherkapazität würde nur für 27 Sekunden Video-Bild mit Stereo-Ton ausreichen!
Nicht nur die Speicherkapazität, sondern auch die Datentransferraten der verwendeten Geräte und Leitungen müssen sehr hoch sein:
(8 kHz Samplingrate, 8 bit Quantisierung)
64 Kbit/s
Das entspricht in etwa einem ISDN-Kanal.
(44,1 kHz, 16 bit, Stereo)
1,35 MBit/s
Ein ISDN-B-Kanal (oder ein Primär-Multiplex-Anschluß) liefern 2 bit/s
(25 Vollbilder pro Sekunde, YUV-Komponentensignal mit 3 Byte/Pixel)
176 MBit/s
Die schnellsten zur Zeit üblichen Netzwerk-Technologien bieten mit Lichtleitern ca. 155 MBit/s (brutto-)Datentransferrate an. Mit einer Videoübertragung und Stereo-Ton wäre eine derartige Leitung nahezu ausgelastet!
Das Fenster der Betriebsmittelknappheit
Um die beschriebenen Anforderungen an Speicherkapazität und Datendurchsatz erfüllen zu können, kann man sich mehrerer Technologien bedienen. Die naheliegende Lösung ist die, die Systeme immer schneller zu machen. Rechner- und Kommunikationshardware verdoppeln ihre Kapazitäten jeweils etwa alle 2 Jahre. Dieser Ansatz allein stellt jedoch keine zufriedenstellende Lösung dar.
Der Schlüssel zum Erfolg liegt in der Datenkompression. Bekannte Verfahren zu Komprimierung verschiedener Formen digitaler Informationen sind bekannt und sollen im folgenden kurz skizziert werden:
eignet sich zur Speicherung und zum Transport beliebiger Daten, insbesondere von Daten, die in symbolischer Form vorliegen: Texte, Programm-Dateien, Vektorgrafiken. Die Ursprungsdaten werden so umkodiert, daß sie später wieder in genau ihrer Ursprungsform vorliegen. Die Algorithmen zur Komprimierung/Dekomprimierung sind bekannt und liefern bei vertretbarem Rechenaufwand eine Komprimierung um den Faktor 2-10, je nach Ursprungsdaten (Texte: 2-3, Programme: 2, Bilder 3-10 oder mehr). Durch die Verlustfreiheit des Verfahrens können Daten auch mehrfach gepackt und entpackt werden, ohne das sie verändert werden.
nimmt den Verlust von Informationsgehalt bei der Komprimierung bewußt in Kauf, um einen höheren Komprimierungsfaktor zu erreichen und um den Aufwand beim Packen/Entpacken zu verringern. Diese Verfahren eignen sich nur für Daten, bei denen es nicht auf absolute Korrektheit ankommt, also z.B. für Bilder, Videos oder Geräusche. Man nutzt gewisse Eigenschaften der menschlichen Sinneswahrnehmung aus, um Teilinformationen, die ohnehin nicht (oder kaum) wahrgenommen werden, wegzulassen. Dies ist bei Bildern und Videos um vieles einfacher als bei Geräuschen. Das Auge läßt sich leichter täuschen als das Ohr. Daher sind die Komprimierungsfaktoren bei Bildern meist höher als bei Audio-Daten.
Bei der Bildkomprimierung hat sich u.a. das JPEG-Verfahren durchgesetzt, bei dem redundante Information innerhalb eines Teils des Bildes entfernt wird. Auch die Methoden der fraktalen Komprimierung zählen zu den verlustbehafteten Verfahren. Sie bieten allerdings den Vorteil, daß sie bei geeigneten Vorlagen entpackte Bilder liefern, die beliebig stark vergrößert werden können, scheinbar ohne daß die Detailliertheit nachläßt. Das Verfahren "erfindet" neue Pixel, wenn die entpackte Version (flächenmäßig) größer wird als das Original.
Um bewegte Bilder/Videos zu komprimieren, kann man einerseits jedes Bild für sich komprimieren. Dabei erreicht man für die gesamte Sequenz einen Komprimierungsfaktor, der dem Mittelwert der Einzelfaktoren für die Einzelbilder entspricht. Diesen Faktor kann man beträchtlich steigern, wenn man statt kompletter Bilder immer nur die Unterschiede von einem Bild zum nächsten betrachtet und auch diese dann komprimiert. Das MPEG-Verfahren arbeitet auf diese Weise. Durch geschickte Ausnutzung der genannten Verfahren ist es inzwischen möglich, einen kompletten Spielfilm (90 min) in VHS-Qualität und Mono-Ton auf einer CD-ROM unterzubringen.
Der größte Nachteil der MPEG-Kompression ist der gewaltige Aufwand, der zum Komprimieren betrieben werden muß. Ein leistungsfähiger PC benötigt für die MPEG-Komprimierung einer 15 Sekunden langen Video-Sequenz etwa 20 Stunden! Auch mit aufwendiger Spezialhardware ist eine Echtzeit-MPEG-Kodierung noch nicht zu erreichen. Damit scheidet dieses Verfahren z.B. für Digitale Video-Kameras zunächst aus. Für die Video-Bearbeitung sind MPEG-kodierte Videos ohnehin nicht geeignet, weil sie einen "non-linearen" Schnitt nicht erlauben. Das heißt, ein bildgenaues Ansteuern eines einzelnen Frames ist nur möglich, wenn man vom Beginn der Szene an vorwärts die Einzelbilder berechnet. An der Stelle der Aufzeichnung des gesuchten Bildes steht schließlich nur seine Differenz zum Vorgängerbild...
Während bei unkomprimierten Daten vor allem Speicherkapazität und Datendurchsatz die Leistung bestimmten, kommt bei komprimierten Daten der Rechenleistung des Prozessors oder der jeweiligen Spezial-Hardware (z.B. MPEG-Decoder) eine gewichtige Rolle zu. Sowohl bei der Komprimierung als auch bei der Entkomprimierung können Signalprozessoren die Leistung erheblich steigern. Diese Erkenntnis mag auch Intel bewogen haben, den Pentium-Nachfolger ("P6", "Pentium Pro") mit einer Technologie namens "NSP" (Native Signal Processing) auszustatten...
in der Kette eines (digitalen) Multimedia-Systems ist stets die Präsentations-Hardware, also vor allem der Bildschirm und die Lautsprecher. Diese wiederum müssen sich an die analoge Arbeitsweise des Benutzers anpassen, so daß man letztlich immer die Qualität und die Eigenschaften der analogen Endgeräte berücksichtigen muß, wenn man ein Multimedia-System vollständig beschreiben oder bewerten will.
Auf die Anwendungen, die im Laufe des Seminars behandelt werden sollen, wird hier nicht näher eingegangen. An dieser Stelle sollen lediglich einige Schlagworte aufgeführt werden, die die Spannweite der Bedeutung von Multimedia-Systemen verdeutlicht:
In diesem Beitragsteil wurden zunächst Begriffe geklärt, wobei besonderer Wert auf den Unterschied zwischen Medium und Modus oder "Darstellungswert" gelegt wurde. Das Medium bedingt nicht zwingend einen bestimmten Wahrnehmungskanal.
Anschließend wurden die enormen Datenmengen berechnet, die beim Umgang mit digitalen Multimedia-Systemen bewältigt werden müssen, sowohl bei der Speicherung als auch beim Transport und der Verarbeitung. Eine Lösung der hieraus resultierenden Probleme liegt in der Komprimierung, die jedoch selbst nicht ohne Risiko oder Aufwand ist.
Schließlich wurden einige Anwendungsgebiete aufgezeigt, die für Multimedia geeignet sind.
Dieser Teil hat nur die begrifflichen und technischen Rahmenbedingungen für die eigentliche Arbeit mit und über Multimedia-Systeme(n) dargestellt. Im zweiten Teil soll nun auf die eigentliche kreative Arbeit eingegangen werden: die Gestaltung von Multimedia-Systemen.
Wenn man unter Multimedia primär "die integrierte Nutzung verschiedener Medien zur effizienten Übermittlung von Informationen mittels eines Computers" [Koller 92] versteht, so unterstreicht dies die große Bedeutung von ergonomischen Fragestellungen auf diesem Gebiet, da durch die Integration der verschiedenen Medien die effiziente Informationsübermittlung um Größenordnungen komplexer geworden ist.
Grundsätzlich sollten bei der Gestaltung von Multimedia-Systemen die gleichen ergonomischen Richtlinien gelten, die bei andere interaktive Systeme auch angelegt werden. Allerdings ist die Umsetzung dieser Richtlinien schon bei klassischen interaktiven Systemen schwierig, um wieviel schwieriger muß sich die Gestaltung multimedialer Systeme erweisen?
Shneiderman [Shneiderman 83] prägte den Begriff der "direkten Manipulation" als Sammelbegriff für eine Anzahl neuer Eigenschaften von Benutzerschnittstellen, die folgende drei Merkmale aufweisen:
Mit der Einführung der direktmanipulativen Benutzerschnittstellen waren aber die Probleme der Mensch-Maschine-Kommunikation bei weitem nicht vollständig gelöst, was sich darin zeigt, daß der Wissenschaftszweig der Software-Ergonomie seit dieser Zeit erst richtig aufblühte. Er befaßt sich im wesentlichen mit der Fragestellung der Benutzerfreundlichkeit und Benutzbarkeit von Systemen. Für Shackel [Shackel 85] ist ein System dann benutzbar, wenn es folgenden Kriterien genügt:
Oft sind vorhandene Systeme aber nicht anwendungsorientiert sondern mehr funktions- und technikorientiert, was dann meist die Bedürfnisse des Benutzers außen vor läßt. Es gibt zwar schon allgemein beachtete Styleguides und Guidelines wie z.B. IBMs Systems Application Architecture (SAA) oder den Human Interface Guidelines für Apple Macintosh, es liegen aber speziell auf den relativ jungen Gebieten von Hypertext und Multimedia noch keine verallgemeinerbaren Erkenntnisse über eine ergonomische Gestaltung von Anwendungen vor.
Das liegt vor allem daran, daß vorhandene Standards nur einen Rahmen für das Design anbieten können. Menüaufbau, Dialogboxen, Fensterdesign, Terminologie sind zwar einheitlich festgelegt, nicht aber Dialogabläufe, Sichtweisen auf die Informationen oder die Metaphern, die die Benutzung des Systems beschreiben sollen [Kohl 92].
Eine Möglichkeit der Einsatzentscheidung der verschiedenen Medien bildet die Klassifizierung von verschiedenen Darstellungen in Abhängigkeit vom Wissen des Benutzers nach Marmolin [Marmolin 92]. Ein unerfahrener Benutzer auf dem Gebiet eines bestimmten Problembereichs hat den größten Nutzen von einer konkreten Darstellung, wohingegen ein Experte mit hohem Wissen und großer Erfahrung mehr Nutzen aus einer textuellen Darstellung zieht. Dies ist z.B. auch einer der Gründe, warum bei graphischen Benutzeroberflächen immer auch eine textuelle Eingabemöglichkeit bestehen sollte.
Nutzung von Medien nach [Marmolin 92].
Die verschiedenen Medien in einer Multimedia-Anwendung sollten aufgabenspezifisch und benutzungsorientiert eingesetzt werden, so daß zum einen eine Redundanz der Informationsvermittlung geschaffen wird oder zum anderen verschiedene Abstraktionsebenen einer Information dargestellt werden.
Inhärente Möglichkeiten, die in multimedialen Systemen stecken, können prinzipiell die Ergonomie von interaktiven Systemen steigern. Die Vorteile multimedialer Systeme liegen im einzelnen in
Es ist allerdings darauf zu achten, daß diese Möglichkeiten auch adäquat eingesetzt werden. Insbesondere muß das Problem der Benutzerunterstützung gelöst werden. Punkte, die hier beachtet werden müssen, sind:
Der Benutzer muß ständig die Orientierung im System behalten, wissen, wo er sich gerade befindet, woher er gerade kommt und wohin er von hier aus navigieren kann. Ein Angebot an Übersichten, wie z.B Inhaltsverzeichnisse, Index, Navigationsdiagramme, usw. helfen dabei, die Orientierung zu behalten.
Konsistenz gibt dem Benutzer Sicherheit im Umgang mit dem System und erleichtert das Erlernen. Dabei muß auf die einheitliche Wirkung der Dialogaktionen, sowie einer gleichbleibenden Anordnung der wichtigsten Dialogelemente geachtet werden.
Jede Benutzeraktion sollte vom System durch eine adäquate Rückmeldung quittiert werden, damit der Benutzer nicht im Ungewissen gelassen wird, ob seine Eingabe registriert wurde oder nicht.
Unterschiedliche Anforderungen einzelner und verschiedener Benutzer sollten vom System auch in unterschiedlicher Weise erfüllt werden.
In einer aufgabenangemessenen Dialogführung muß es klar sein, welche Elemente zu weiteren Informationen führen und wie diese erreicht werden können. Dafür müssen Ein- und Ausgabemöglichkeiten eindeutig markiert sein.
Oft wird es als Allheilmittel angesehen, die Bedienelemente von Geräten wie sie in der Realität vorkommen möglichst realitätsnah in einem Multimedia-System darzustellen und zu simulieren. Dies allein garantiert aber noch lange nicht die aufgabenangemessene Benutzung dieses Systems, da viele Benutzer auch mit den komplexen und oft auch überflüssigen Bedienelementen z.B. ihrer Audioanlage nicht zurechtkommen.
Hypermedia besagt, daß multimediale Information als Netzwerk von Informationen organisiert ist. Da multimediale Systeme häufig nach dem Hypertext Konzept realisiert sind, werden die Begriffe Hypermedia und Multimedia oft synonym verwendet. Multimedia sollte aber nicht nur die Darstellung der Informationen verbessern, sondern sollte auch weitergehende Interaktionsmöglichkeiten zur Verfügung stellen.
Durch den parallelen Einsatz verschiedener Medien ist eine dichtere Informationsvermittlung möglich, d.h. die Informationsaufnahme läuft optimal auf mehreren Kanälen ab. So kann ein Benutzer seine volle Aufmerksamkeit einer visualisierten Information widmen, während parallel dazu eine sprachliche Erklärung läuft. Dies entspricht der natürlichen Informationsaufnahme des Menschen und deswegen wird diese Redundanz auch nicht als störend empfunden. Wichtig für diese beschleunigte Informationsaufnahme ist allerdings, daß Informationen aufeinander abgestimmt sind und die verschiedenen Medien gut miteinander synchronisiert sind.
Ein weiterer wichtiger Aspekt des Medieneinsatzes ist, daß die einzelnen Medien gemäß ihrer Vorteile für bestimmte Zwecke eingesetzt werden und nicht wahllos verwendet werden. Es folgt nun eine kurze Abhandlung über den Einsatz der drei dynamischen Medien Video, Animation und Audio.
Die Stärke von Video liegen in der Visualisierung von Vorgängen oder Abläufen aus der realen Welt. Informationen, die mit Video vermittelt werden sollen, sollten eine klare Zeitabhängigkeit besitzen.
Besondere Schwierigkeiten bei der Gestaltung der Videosequenzen bereiten vor allem die Übergänge zwischen den Sequenzen und der Einsatz von dramaturgischen Elementen.
Visualisierungen von Abläufen, die in der realen Welt nicht direkt sichtbar sind, können anhand von Animationen dargestellt werden. Dabei ist wiederum auf die Dynamik des Mediums zu achten.
Unter Audio versteht man sowohl Sprache, Geräusche als auch Musik, wobei Sprache als Eingabe- wie auch als Ausgabemedium verwendet werden kann. Gesprochene Sprache sollte zusätzlich auf dem Bildschirm dargestellt werden um eine Redundanz der Informationsvermittlung zu erreichen. Geräusche und Musik können als Untermalung von visuellen Vorgängen oder auch als eigenständige Informationsquellen eingesetzt werden.
Der große Nachteil beim Einsatz von Audio in einem multimedialen System ist die Störung des Umfelds, wenn kein Kopfhörer eingesetzt wird. Außerdem wirkt Audio am ehesten ermüdend auf den Benutzer.
Es ist unbestreitbar, daß durch die Erweiterung des Kommunikationskanals durch verschiedene Medien und durch die Hinwendung zu einer natürlicheren menschlichen Interaktionsform eine verbesserte Informationsvermittlung stattfindet. Die Qualität der Benutzeroberfläche kann durch den Einsatz verschiedener Medien stark verbessert werden, wenn ihr Einsatz gemäß den Möglichkeiten der einzelnen Medien stattfindet und die Integration der Medien sorgfältig geplant wird.