Vom 10. bis 12. September fand am Centrum voor Wiskunde en Informatica (CWI) in Amsterdam unter dem Titel COSIGN 2001 die erste Konferenz zum Thema „Computational Semiotics for Games and the New Media" statt. Die Idee zu dieser Zusammenkunft von Informatikern, Medienschaffenden, Künstlern, Theoretikern und Kritikern war ursprünglich aus einem Mangel heraus entstanden, was das gemeinsame Vokabular von Forschern und Entwicklern im Bereich der neuen Medien betrifft. Das primäre Anliegen der Veranstalter war daher die Entwicklung einer Sprache, die eine Verständigung über Phänomene der Codierung und Vermittlung von Sinn in der Kommunikation zwischen Mensch und Maschine erlaubt. Im Vordergrund standen dabei allerdings nicht kommunikationswissenschaftliche Modelle der „Befehlsübermittlung", sondern komplexe interaktive Systeme, die oft eine soziale Funktion erfüllen und dabei auf verschiedenen Sinnebenen gleichzeitig operieren.

Es ist ein tragischer Zufall, dass die COSIGN 2001 von den entsetzlichen Ereignissen in den USA überschattet wurde, und den Teilnehmern wurde dadurch schmerzhaft bewusst, wie eng die schönen, neuen Welten der Virtualität mit der realen Welt verwoben sind. Besonders deutlich wurde dies möglicherweise bei den künstlerischen Beiträgen zu der Konferenz, etwa Timothy Portlocks 3D-Environment „Streams of Motion", das der Archivierung eines kürzlich rundumsanierten Stadtteils von Chicago gewidmet ist. Der Künstler vom Electronic Visualization Laboratory der University of Illinois hat dabei wirkungsvolle Verfremdungseffekte eingesetzt, um das Transitorische, ja Ephemere dieser Straßenzüge darzustellen. Angesichts der Bilder aus New York, die am 11. September um die Welt gingen, wurde den Betrachtern des Kunstwerks allerdings unmissverständlich vor Augen geführt, welch schwacher Trost solche Erinnerungsräume bieten.

Erinnerung war auch das Thema eines weiteren Kunstwerks, das im Rahmen der COSIGN 2001 gezeigt wurde. „Beyond Manzanar", eine VRML-Umgebung der Künstlerin Tamiko Thiel, setzt sich mit der Internierung japanischer Einwanderer im 2. Weltkrieg in den USA auseinander. Und auch dieses Kunstwerk gewann vor dem Hintergrund der jüngsten Ereignisse eine beklemmende Aktualität, insbesondere aufgrund der Vergleiche mit dem Angriff von Pearl Harbor. In „Beyond Manzanar" verschränken sich ohnehin aktuelle und historische Geschehnisse, Fiktion und Realität, Idylle und Katastrophe zu einem eindrucksvollen Ganzen. Dass ehemalige Insassen der Internierungslager das Kunstwerk trotz der vielfältigen Brechungen als authentische Repräsentation Ihrer Erfahrungen würdigten, spricht vielleicht am deutlichsten dafür, dass es der Künstlerin gelungen ist, in diesem Medium den richtigen Ton zu treffen.

Im „Virtuellen Wissensraum" der Wiener Künstler Mathias Fuchs und Sylvia Eckermann überschnitt sich der Komplex „Erinnerung" mit einem weiteren Leitmotiv der Konferenz, dem Thema „Raum". Das Künstlerduo orientiert sich bei seiner Arbeit an mnemotischen Systemen des Mittelalters und der Renaissance, um Räume für die Konservierung und Vermittlung von Wissen zu schaffen. Ein wichtiger dritter Aspekt bei dieser musealen Spielart der virtuellen Realität ist der soziale. Die Künstler haben sich bemüht, einen Begegnungsraum zu schaffen, in dem weniger die Belehrung als das gemeinsame Entdecken im Vordergrund steht. Dass sie sich dabei auf die Gestaltung von Architektur und Inneneinrichtung konzentrieren konnten, ohne zunächst hochspezialisierte Programmierkenntnisse zu erwerben, verdanken sie einem „Abfallprodukt" der Computerspielindustrie: Der „Virtuelle Wissensraum" basiert auf der game engine des 3D-Shooters „Unreal", die zur Erstellung jeglicher Art von Innen- und Außenräumen sowie von Objekten und Charakteren verwendet werden kann.

Wie in solchen Räumen ein Gefühl des Da-Seins erzeugt werden kann, damit beschäftigte sich ein Vortrag des australischen Spieldesigners Julian Holland Oliver. Dieser bildete zugleich den Höhepunkt der Sektion, die sich mit theoretischen Konzepten zur Analyse von Computerspielen befasste. Während die Vorträge der anderen beiden Sprecher in diesem Bereich sich hauptsächlich mit Fragen nach narrativen Konzepten in Videospielen befassten und diskutierten, inwiefern die Interaktivität solcher Umgebungen dem Aufbau einer kohärenten Handlung entgegensteht, konzentrierte sich Oliver darauf, nachzuzeichnen, wie den Spielern ein Gefühl der Wirkmächtigkeit vermittelt werden kann. Als primäres Mittel zur Erzeugung dieser Einbindung in den Spielraum bezeichnete Oliver die Überführung des abstrakten Konzepts „Raum" in eine erfahrbare „Welt". Das theoretische Fundament dieser Ausführungen bildeten Überlegungen Bergsons, Merleau-Pontys und Heideggers. Vor diesem Hintergrund wurde deutlich, dass nicht die realistische Abbildung existierender oder vorstellbarer Räume sondern die Glaubwürdigkeit dieser Welten darüber entscheidet, wie weit sich ein Spieler auf das Spiel einlässt. Die besondere Form der Repräsentation des Spielers in der Spielwelt, der avatar, fungiert dabei als Garant dafür, dass diese Welt auf die Fähigkeiten des Spielers zugeschnitten ist, und dass eine im Rahmen des Spiels zu lösende Aufgabe auch tatsächlich lösbar ist. Das heißt, dass Raum eine performative Funktion der vom Spieler gesteuerten Spielfigur ist, also etwas, das im Moment der Erfahrung erst „wirklich" wird. Und es ist letztlich diese „konstruktivistische" Herangehensweise des Spielers, die den mathematischen Raum in eine Welt überführt.

So wie die phänomenologische Diskussion von Computerspielen bereits über den Streit des „narratologischen" und des „ludistischen" Lagers in diesem Bereich hinauswies, so versuchten auch die keynote speakers Ken Perlin sowie Arthur Elsenaar und Remko Scha Wege aufzuzeigen, die aus der extremen Spezialisierung gerade in der Informatik hinausführen. Im Sinne einer „ganzheitlichen" Computersemiotik ging es dabei nicht nur um eine neue Form der trans- bzw. interdisziplinären Forschung, nicht nur um eine Aufhebung der Grenzen zwischen Geistes- und Naturwissenschaften, sondern zwischen Wissenschaft und Kunst. Wie eine solche Synthese aussehen könnte, führten Elsenaar und Scha in ihrer science performance „The Semiotics of Human Facial Expression" eindrucksvoll vor Augen. Die Untersuchung des menschlichen Gesichts als Zeichensystem wurde als Experiment inszeniert, in dem die Gesichtsmuskeln einer Versuchsperson mit Hilfe von computergesteuerten Elektroden stimuliert wurden. Das eigentliche Experiment fand jedoch nicht auf der Bühne statt, sondern im Publikum: die Reaktionen der Zuschauer, die zwischen Faszination, Abscheu und Amüsement schwankten, wurden in die Performance miteinbezogen und schufen so ein interaktives Gesamtkunstwerk. Das Schwanken zwischen Sinn und Un-Sinn, das Zusammenspiel von analytischer und künstlerischer Semiose eröffnete sicher für viele der anwesenden Wissenschaftler und Künstler neue Perspektiven für ihre eigene Arbeit.

Ein Grenzgänger ist sicher auch Ken Perlin vom Media Research Laboratory der NYU. Der ausgebildete Informatiker ist den meisten wohl als der Schöpfer der wegweisenden Ästhetik des Films TRON bekannt, auch wenn Perlin in den letzten 15 Jahren mit verschiedenen wissenschaftlichen und künstlerischen Projekten auf sich aufmerksam gemacht hat. Diese wechselvolle Karriere spiegelte sich auch in dem Vortrag Perlins auf der COSIGN 2001 wieder, bei dem er mehrere seiner Arbeiten aus der jüngsten Vergangenheit vorstellte. Auch hier wurde deutlich, wie produktiv es sein kann, die Grenzen zwischen Kunst und Wissenschaft zu ignorieren und sich einzig und allein darauf zu konzentrieren, komplexe Sachverhalte so einfach wie möglich darzustellen. Die recht abstrakte These Perlins, dass man das Potenzial von Computern, Zufallsberechnungen durchzuführen, dazu nutzen kann, „lebende" Systeme zu emulieren, wurde an den gezeigten Beispielen schnell anschaulich. Es war verblüffend, wie einem aus nur wenigen Vektoren bestehenden Gesicht durch die Überlagerung mit „chaotischen" Bewegungen im Handumdrehen Leben eingehaucht wurde und ebenso verblüffend waren die grafischen Effekte, die Perlin mit seinem auf relativ einfachen Algorithmen basierenden noise renderingerzielte. Ein Blick auf Perlins Homepage unter http://mrl.nyu.edu/~perlin lohnt sich vor allem für diejenigen, die sich für die erstaunliche Leistungsfähigkeit moderner Script-Sprachen interessieren, denn alle dort präsentierten Projekte sind getreu der Maxime der größtmöglichen Einfachheit und Nachvollziehbarkeit der Mittel entwickelt worden. Für den Open-Source-Veteranen Perlin ist es daher auch selbstverständlich, den Sourcecode seiner Beispiele frei zur Verfügung zu stellen.

Einem ähnlichen Ethos verpflichtet, wenn auch vielleicht näher am „klassischen" Forschungsgebiet der Semiotik, ist die Arbeit des Künstlers Paul Chan aus New York. Unter dem Titel „Alternumerics" präsentierte Chan selbstentwickelte Schriftarten, die radikal mit den Gewohnheiten der Benutzer von Textverarbeitungssystemen brechen. Sein TrueType-Font The Future Must Be Sweetbeispielsweise „übersetzt" jedes eingegebene alphanumerische Zeichen in einen Komplex von Begriffen, die den Schriften des utopischen Sozialisten Charles Fourier entnommen sind. Auf diese Weise reduzieren die Schriftarten Chans die Signifikationsmöglichkeiten des Benutzers und erweitern sie zur selben Zeit. Es passt gut in dieses Bild, dass die wichtigsten Recherchequellen Chans bei seiner Arbeit aus dem Bereich der Kryptographie stammen. Die Chiffrierexperten versorgten den Künstler etwa mit präzisen Tabellen über Häufigkeit und Position einzelner Lettern in der schriftlichen Kommunikation. Die Alternumerics-Fonts stehen auf der Website www.nationalphilistine.com zum Download bereit.

Mit der Präsentation Chans endete der erste Tag der Konferenz. In der anschließenden Podiumsdiskussion ging es um Fragen allgemeinerer Art, wenn auch immer wieder versucht wurde, spezielle Fragen vor allem im Bereich der Terminologie der Computersemiotik zu klären. Es wurden jedoch auch heikle politische Themen erörtert: So sprachen sich viele Teilnehmer dafür aus, dass die durchaus erwünschte Zusammenarbeit von Forschung und Wirtschaft in diesem Bereich nicht dazu führen dürfe, dass die Universitäten künftig lediglich als Zulieferbetriebe der Industrie fungieren. Auch der Sorge um einen Missbrauch computersemiotischer Forschung, etwa im Bereich der Überwachungstechnik, verliehen einige Sprecher Ausdruck. Die Diskussion gipfelte jedoch in der Frage nach einer Ethik der computational semiotics, insbesondere im Zusammenhang mit den von Zeichensystemen transportierten Machtbeziehungen und Repräsentationsformen. In ihrer zugespitzten Form lief die entscheidende Frage also darauf hinaus, ob es sinnvoll sei, die Produktion von Sinn in der Computersemiotik so weit zu treiben, dass bereits die Zersetzung von Sinn einsetzt. Zwar würde sich die junge Disziplin damit selbst ab adsurdum führen, doch immerhin wäre damit der Schulterschluss mit der Kunst vollzogen, der zuvor so nachdrücklich gefordert worden war. Hier zeichnete sich auf der im großen und ganzen harmonischen Konferenz erstmals größeres Konfliktpotenzial ab, auch wenn sich die einzelnen Parteien gegenseitig versicherten, im Vordergrund stehe das Bemühen um eine gemeinsame Sprache.

Dieses Bemühen wurde sicherlich vor allem in denjenigen Beiträgen zur COSIGN 2001 spürbar, in denen die Sprache der Semiotik in die Entwicklung von neuartiger Technologie einbezogen wurde und sich Theorie und Praxis ergänzten. Dies galt nicht nur für den „visuellen Browser" PhotoGlas, der von Ramesh Srinivasan vom MIT in Boston vorgestellt wurde, sondern auch für die Arbeit Werner Kriechbaums (IBM Development). Kriechbaum demonstrierte, wie unabhängige Hyperlinks, d.h. solche, die nicht in den Code von miteinander verbundenen Informationen eingebettet sind, dazu verwendet werden können, zusätzliche Informationen zu vermitteln und eine strukturelle Navigation zu ermöglichen. Was sich zunächst nach technischem Fachchinesisch anhörte, entpuppte sich im Laufe von Kriechbaums Vortrag als semiotische Theorie in nuce und lief letztendlich auf ein sehr überzeugendes Konzept dafür hinaus, wie sprachliche Kategorisierungen und die Ontologien, die sie transportieren, in computergestützten Systemen emuliert werden können. Dass der Techniker und studierte Biologe seine Ausführungen mit einem Zitat von Charles S. Peirce beschloss, muss als deutliches Zeichen dafür gewertet werden, dass das Vokabular der Semiotik auch in der Anwendungsentwicklung mittlerweile zum guten Ton gehört.

Auch der Beitrag von Chitra Dorai (IBM T.J. Watson Research Center) in Zusammenarbeit mit Svetha Venkatesh von der Curtin University of Technology Perth machte dies auf eindrucksvolle Weise deutlich: Vorgestellt wurde ein System zur automatischen Filmanalyse, das auf der Erkennung typischer Muster im Verlauf der Handlung beruht. Dabei stützten sich die Entwickler auf Konzepte der Filmgrammatik, die sich in diesem Zusammenhang als durchaus gangbar für eine technische Analyse erwiesen. Zwar ist das System aus naheliegenden Gründen in erster Linie für die Untersuchung von Hollywood-Produktionen geeignet, die einem sehr starren Schema folgen, doch auf diesem Gebiet konnten die Vortragenden beachtliche Ergebnisse vorweisen. Das Verfahren zur Schließung der „semantischen Lücke" zwischen den Anforderungen der Benutzer bei der Suche nach medialen Inhalten und den tatsächlich möglichen Inhaltsanalysen könnte sich auch bei anderen Anwendungen dieses produktionsorientierten Ansatzes als produktiv erweisen. Denkbar wäre dies nicht nur für eine Analyse von Literatur und bildenden Kunstformen, sondern vor allem für die Suche nach und die Klassifikation von musikalischen Werken. Damit wird die Arbeit von Filmphilologen, Literatur-, und Musikwissenschaftlern sicherlich nicht überflüssig, im Gegenteil: den Wissenschaftlern werden damit Analysewerkzeuge an die Hand gegeben, die ihre Arbeit erheblich erleichtern könnte.

Im Vortrag von Steffen Walzvon der Universität Tübingen kamen schließlich auch anthropologische und kognitionswissenschaftliche Gesichtspunkte zur Sprache. Walz verglich strukturelle Ähnlichkeiten von Wahnsinn und Virtualität und stellte dabei signifikante Übereinstimmungen fest. Diese siedelte er vor allem auf der Ebene des Strukturierens und Prozessierens sowie der Performanz von Information an. Der daraus resultierende „konstruktivistische" Ansatz legt es nahe, die Ergebnisse aus der Untersuchung des einen Gebiets auf das jeweilige andere Gebiet anzuwenden. So liefert die Untersuchung pathologischer oder halluzinogener Bewusstseinszustände nicht nur wertvolle Erkenntnisse über virtuelle Realitäten, sondern die Ergebnisse der Betrachtung von VR-Umgebungen geben umgekehrt auch Aufschluss über temporäre oder chronische Wahnvorstellungen. Zwar mutet Walz' These, dass virtuelle Realitäten „Realitätsverlust" bzw. „-überschuss" ausgleichen könnten, beinahe utopisch an, doch er hat sicher recht, wenn er darauf hinweist, dass virtuelle Realitäten Mittler zwischen Realität und Wahnsinn darstellen könnten. Bisher findet der „Transport" alternativer Realität hauptsächlich in einer Richtung statt, doch es wäre sicherlich einer näheren Untersuchung wert, inwiefern ein Transport in umgekehrter Richtung möglich und wünschenswert ist.

Den Abschlussvortrag hielt der KI-Forscher Mirko Petric von der Universität Split. Er präsentierte aktuelle Versuche, computerbasierten Systemen soziale Intelligenz beizubringen, und betonte dabei noch einmal die Rolle der computervermittelten Kommunikation zwischen Menschen, die vor der Mensch-Maschine-Kommunikation Vorrang habe. Petric konzentrierte sich bei seinen Ausführungen in erster Linie auf mikrosoziologische Ansätze, die die Interpretation von social cues zwischen autonomen Software-Agenten gegenüber makrosoziologischen Prozessen in den Vordergrund stellen. Welche Rolle die Semiotik in solchen Prozessen spielen könnte, machte Petric anhand von Modellen der Moskauer Schule sowie von Jakobson und Greimas deutlich. Eine wichtige Rolle spielte auch Umberto Ecos Konzept der kulturellen Enzyklopädie. Die von Greimas und Courtes vorgebrachte Unterscheidung zwischen actor und actant wurde in diesem Zusammenhang auf soziologische Prozesse übertragen, wobei neuere Untersuchungen im Gebiet der Künstlichen Intelligenz, die sich einer dem Theater entlehnten Metaphorik bedienen, die Vermittlung erleichterten. In soziologisch orientierten KI-Experimenten findet zwischen den einzelnen Software-Agenten (actors) häufig ein Wechsel der actant-Rolle statt, ein Prozess der mit Hilfe semiotischer Modelle implementiert und beschrieben werden kann. Es ist klar, dass kulturelle Enzyklopädien in solchen Interaktionen eine gewisse Rolle spielen, da die Agenten ein gewisses Selbstverständnis darüber haben müssen, welche Rolle sie in einem gegebenen sozialen Kontext spielen. Weitere Untersuchungen in diesem Bereich sind auf jeden Fall wünschenswert, da damit nicht nur der KI-Forschung sondern auch der Weiterentwicklung der praktischen semiotischen und sozialen Modelle gedient wäre.

Den Veranstaltern der COSIGN 2001 ist es gelungen, einen Großteil ihrer Ziele für diese Konferenz zu erreichen. Zwar wurde im Verlauf der drei Tage deutlich, dass bis zur Etablierung einer gemeinsamen Sprache zwischen den verschiedenen Disziplinen, die zur computersemiotischen Diskussion beitragen, noch ein weiter Weg zurückzulegen ist, doch ein Anfang wurde gemacht. Für die Teilnehmer stand jedoch wahrscheinlich die erfreuliche Erfahrung im Vordergrund, Überschneidungen ihrer teilweise sehr speziellen Fachgebiete festzustellen. Besonders am ersten Konferenztag, bevor die schrecklichen Ereignisse in den USA die Stimmung trübten, herrschte eine äußerst kreative Atmosphäre im CWI, auf deren Früchte man gespannt sein darf. Einige der daraus entstandenen Projekte werden sicher auf der COSIGN 2002 in Augsburg zu sehen sein.