Geert Mul en het Nederlands Instituut voor Beeld en Geluid
Ander Nieuws
Ander Nieuws is een digitale installatie gebaseerd op het archief van het instituut voor Beeld en Geluid met zestig jaar NOS nieuwsuitzendingen. (waarvan in deze versie drie zijn zijn gebruikt). De installatie Ander Nieuws gebruikt semantische analyse, interactie en data visualisatie om de database van het NOS Journaal-uitzendingen te exploreren. In deze pilot-versie van Nov. 2014 worden drie jaargangen van het NOS 8 uur-journaal ontsloten (2011 – 2013)
Ander Nieuws past in een internationale trend van fundamenteel media onderzoek naar mogelijke generatieve, narratieve en creatieve kwaliteiten van de database. Ander Nieuws onderzoekt specifiek wat het mediatie-model kan zijn van een nieuws-database. Het streven is om de bezoeker in een constructieve en creatieve relatie met de Nieuws-database te brengen: de bezoeker als informatie engineer. Afhankelijk van de intenties en handelingen van de bezoeker kan Ander Nieuws een vorm van entertainment bieden, een kunstwerk zijn of dienen als een research-tool.
Kennis wordt in Ander Nieuws niet ontsloten; er bestaat geen vooraf gedefinieerde kennis in Ander Nieuws, maar er bestaan wel vooraf gedefinieerde kwantitatieve semantische relaties tussen begrippen uit de database. Kennis wordt in Ander Nieuws ge-engineerd. De bezoeker kan een idee krijgen van hoe connotaties van nieuwsonderwerpen door de tijd heen aan verandering onderhevig zijn. Hij/zij kan inzicht krijgen over veranderende culturele patronen.
Bernadette Schrandt. Researcher Crossmedia at Hogeschool van Amsterdam.
ANDER NIEUWS – Een interview met mediakunstenaar Geert Mul (V.1)
Visuele poëzie
Het onderzoeken van de mogelijkheden om “visuele poëzie te creëren”, dat is hetgeen waar mediakunstenaar Geert Mul door gefascineerd is, zo valt te lezen op zijn website. Door beelden van collecties en databases op een andere manier met elkaar te combineren, laat Mul zien hoe nieuwe betekenissen tot stand kunnen komen en hoe datastromen onze perceptie kunnen beïnvloeden. Louter reflectief blijft het niet; juist de mogelijkheid om tot een immersieve ervaring te komen in deze ‘visuele poëzie’ is hetgeen staat centraal in zijn werk.
Die poëzie komt bijvoorbeeld duidelijk terug in een werk van 2005, Match Maker. Hier heeft Mul via een satelliet verbinding (random) internationale televisiebeelden verzameld en deze beelden met elkaar vergeleken met behulp van een specifiek softwareprogramma. Dit programma analyseerde de visuele karakteristieken van het ene beeld en vergeleek deze met karakteristieken van alle andere beelden die waren verzameld. Hieruit ontstond een rangorde met afbeeldingen die veel overeenkomsten met elkaar vertoonden. Wat Mul dan met visuele poëzie bedoelt wordt hierdoor direct duidelijk: beelden die semantisch totaal niks met elkaar van doen (lijken te) hebben, worden dan ineens aan elkaar gelinkt omdat het patroon van de beelden wel op elkaar lijken. Een shot van een gerecht wat lijkt op boerenkool met worst wordt dan ineens gekoppeld aan een overstroming. De kleding van een catwalk mannequin blijkt sterke overeenkomsten te vertonen met een kamer van een bibliotheek. En een badende vrouw in bikini wordt naast twee visfilets geplaatst. Niet per se relaties die we in het dagelijks leven zouden leggen, maar die het software programma wel aan je voorlegt.
Ander Nieuws: nieuwspoëzie
Muls passie om te laten zien hoe datastromen onze perceptie kunnen beïnvloeden, komt ook weer terug in een nieuw experiment waarin hij samenwerkt met Beeld en Geluid: Ander Nieuws (werktitel). In dit project onderzoekt Geert Mul samen met B&G hoe het veelzijdige materiaal uit het nieuwsarchief vorm kan krijgen in een interactieve installatie.
Geheel nieuw voor Mul is het op deze manier werken met een cultureel archief niet. Eerder heeft hij in samenwerking met het Nederlands Fotomuseum te Rotterdam de installatie W4 ontwikkeld, waar 80.000 afbeeldingen uit het archief van het Fotomuseum verwerkt zijn. Op deze manier kan de ‘onzichtbare’ collectie toch tentoon worden gesteld aan het publiek. Interessant aan W4 is de manier waarop Mul op zoek gaat naar de mogelijkheid voor bezoekers om nieuwe verbintenissen te leggen in bestaande data (de foto’s), door het Wie, Waar, Wat en Wanneer (de 4 W’s) van elkaar los te trekken. Letterlijk, aangezien elke W gerepresenteerd wordt door een apart object dat bezoekers kunnen bedienen en op basis hiervan een criterium voor een foto kunnen selecteren (bijvoorbeeld ‘Wie’).
Net als in W4, trekt Mul bij Ander Nieuws de verschillende functionaliteiten uit elkaar. Geert: “Waar we op dit moment een mobiele telefoon hebben, met de mogelijkheid om dit te laten functioneren als een opname-apparaat, een muziekdrager of telefoon, wil ik de functionaliteit in deze installatie juist elkaar halen.” Enerzijds om te laten zien hoe deze functionaliteiten de perceptie kunnen sturen, anderzijds om de mogelijkheid te creëren om nieuwe verbindingen te leggen en daardoor tot een nieuwe betekenis te komen. Mul daagt bezoekers op deze manier uit om elkaar op te zoeken om samen tot nieuwe verbintenissen (e.g. betekenissen) te komen. In W4 was dit niet altijd het gedrag waar bezoekers op zaten te wachten. Mul: “Sommige ouderen snapten niet hoe de installatie werkte en vonden het niet leuk dat anderen ook impact hadden op de ervaring.” In Ander Nieuws is het dus ook afwachten hoe bezoekers hier op zullen reageren.
Het moment van toen in het nu
Het doel van Ander Nieuws is om een onderdompelende ervaring te bieden die meer inzicht biedt op hoe enerzijds nieuws gemaakt wordt, maar anderzijds ook meer informatie geeft over bepaalde nieuwsonderwerpen. Het ‘grote doel’ dat zowel Mul als B&G met de installatie voor ogen hebben, is dat de bezoeker door middel van de audiovisuele ervaring van een nieuwsonderwerp, totaal in het onderwerp gezogen wordt. Mul licht toe: “Ik wil geen ‘vast verhaal’ of ‘vaste waarheid’ meegeven, als ik jou vertel wat ik vandaag heb gedaan en ditzelfde morgen aan iemand ander vertel, zal ik andere woorden gebruiken. Een ander verhaal maken. Maar dat verhaal is niet minder waar. Dat is ook wat ik mee wil geven in deze installatie: iedere bezoeker kan zelf het verhaal samenstellen op basis van de data in de database. Wat ik hoop is dat bezoekers helemaal in het verhaal opgaan, ook al wordt het op een andere manier verteld. Dat het moment van toen zich in het nu openbaart.”
De installatie is niet specifiek voor een bepaalde doelgroep gemaakt. Eerder is rekening gehouden met verschillende interesses. In het ontwerp zitten namelijk twee lagen, zo legt Mul uit: een design-laag (visueel en audio) en een concept-laag. Hierdoor kan de installatie verschillende interesses en niveaus aanspreken. Mul: “Scholieren hebben een ander doel dan wetenschappers, maar beiden doelgroepen kunnen terecht bij de installatie. Doordat de bezoeker zelf verantwoordelijk is voor de input die hij geeft op basis van de content van de installatie, kunnen elke keer nieuwe connecties tot stand komen.”
De beleving ontwerpenNieuwe connecties tot stand brengen, hoe ontwerp je dat? Welke keuzes liggen daaraan ten grondslag? Mul legt uit dat de huidige vorm gedeeltelijk afgeleid is van W4, waar eenzelfde soort vraag centraal stond: het interactief presenteren van een archiefcollectie (in dit geval het acht uur journaal). Het belangrijkste aspect hierin is om ervoor te zorgen dat de functionaliteit uit elkaar getrokken wordt, dus geen apparaat waarmee bezoekers in een handomdraai een aantal criteria kunnen selecteren, maar juist die situatie te creëren waarbij men met meerdere personen verantwoordelijk is voor de set van criteria die de uiteindelijke een unieke beleving bewerkstelligt. Juist het loskoppelen van deze functionaliteiten zorgt voor een openheid waardoor nieuwe interpretaties kunnen ontstaan. Een aantal aspecten ligt hieraan ten grondslag.
Allereerst worden twee tablets geplaatst, waarbij de bezoeker op het ene tablet de tijdsperiode kan bepalen en op het andere tablet het onderwerp. Op deze manier kan de bezoeker een groot scherm bedienen waar hij de output voorgeschoteld krijgt. Hier ziet de bezoeker enerzijds welke andere woorden aan dit onderwerp gerelateerd zijn, maar bovenal ervaart hij hoe dit onderwerp in de loop der jaren in nieuwsitems naar voren is gekomen.
Het bepalen welke woorden en onderwerpen relevant zijn in welke periode wordt onderzocht door de zogenoemde ‘speech-to-text’ methode, waarbij de gesproken tekst van nieuwsitems omgezet wordt in geschreven tekst. Aan elk stukje geschreven tekst wordt een tijd gehangen, zodat het systeem later terug kan zien op welk tijdstip in het item dit woord uitgesproken werd. Daarna wordt gekeken welke woorden ervoor en erna uitgesproken worden, om op deze manier tot een relationele (semantische) analyse te komen. Dit is de database waaruit bezoekers kunnen gaan navigeren.
Omdat het nieuws bovenal een gesproken medium is, wil Mul de woorden tevens als een soundscape aanbieden aan de bezoeker. Wanneer deze laatste een bepaald onderwerp heeft geselecteerd, komen de beelden naar voren waarin dit woord genoemd wordt en hoort de bezoeker het woord waarop hij gezocht heeft in elk van deze beelden. Op deze manier wordt de audio-beleving als een soort ‘rap’ aangeboden.
Deze combinatie van een visuele en auditieve prikkeling is hetgeen waarvan Mul hoopt dat dit unieke ervaring oplevert. Doordat bezoekers informatie van allerlei verschillende disciplines kunnen zoeken – zoals entertainment, wetenschap en geschiedenis – wordt de installatie toegankelijk voor een zeer divers publiek.
De experimentele belevingWat wel duidelijk naar voren komt tijdens het interview, is dat het hier in eerste instantie nog om een experiment gaat waarin de mogelijkheden van het interactief tentoonstellen van een dergelijk archief nader onderzocht worden. Ander Nieuws zou dus eerder als een onderzoeksproject kunnen worden gezien dan een daadwerkelijk ‘kant- en klare’ tentoonstelling. En dat dit onderzoeksproject niet altijd van een leien dakje gaat, blijkt uit het feit dat conceptuele wensen soms niet te rijmen zijn met technische of budgettaire overwegingen. “Het is een process while doing, dus we moeten continue met elkaar afstemmen. De beleving wordt eigenlijk gemaakt in de mediatie tussen programmeur en conceptualist”, benoemt Geert. Ook wordt niet vooraf getest hoe bezoekers met de installatie omgaan en of er verbeterpunten zijn; die fase vindt juist plaats in de tijd dat Ander Nieuws te bezichtigen is. Op basis van deze informatie willen Mul en Beeld en Geluid de installatie verder ontwikkelen en bekijken of en hoe het concept – het interactief tentoonstellen van archiefmateriaal – verder uitgewerkt kan worden en wellicht ook in andere musea een plek kan krijgen. Immers, musea liggen vol met archieven waar bezoekers zelden mee geconfronteerd worden.