Luc Steels en zijn team bij Studio Stelluti analyseerden alle schilderijen die te zien waren tijdens de prestigieuze tentoonstelling La Pelle in het Palazzo Grassi te Venetië in 2019. Ze maakten gebruik van verschillende AI-technieken zoals patroonherkenning en computervisie, het semantische web, natuurlijke taalverwerking en machinaal leren.

De bevindingen moeten uiteindelijk uitmonden in een verzameling van AI-instrumenten, FLOW genaamd, die Tuymans en andere kunstenaars kunnen ondersteunen bij hun visueel onderzoek of artistieke beslissingen. Kan AI voor de kunstenaar van de 21e eeuw zijn wat de camera obscura was voor Vermeer in de 17e eeuw? Hieronder volgen fragmenten van een werkbijeenkomst tussen de kunstenaar en de wetenschapper in de loop van het proces.

Kan AI kunst begrijpen?

Luc Steels: Volgens mij is AI vandaag niet in staat om de complexiteit van de interpretatie van kunst zelfs maar te benaderen. Nog niet in elk geval. Ik geloof dat dit tijdens mijn leven nog niet mogelijk zal zijn.  

Luc Tuymans: Sommige mensen beweren van wel.

LS: Inderdaad, maar er heerst momenteel een verregaande hype. Vroeger zagen we eigenlijk een onderschatting; mensen dachten dat het nergens toe zou leiden. Nu krijgen we te maken met een soort overschatting. Veel mensen denken dat je AI kunt kopen, het over je computer kunt uitstrooien, en dat er dan een wonder zal gebeuren. Dat is niet het geval. Maar het is wel fascinerend, vooral wat kunst betreft, om te kijken wat er gebeurt met algoritmen die werden ontworpen om afbeeldingen te herkennen. De eerste fase houdt nu in om te kijken wat er gebeurt als je AI over de afbeeldingen plaatst. 

LT: Mijn idee was om uit te zoeken of AI intelligent genoeg is om een beeld niet alleen te herkennen, maar ook de bron ervan op te sporen. Mijn werk is gebaseerd op een bron, dus vind ik het interessant om na te gaan of AI intelligent genoeg is om een afbeelding aan de bron ervan te koppelen. We willen kijken hoe ver de herkenning teruggaat. Het boeiendste aspect van het hele project is in de onnauwkeurigheden ervan te duiken. Wat kan er uit de fouten voortkomen, op creatief vlak?

Kijkt AI op dezelfde manier naar een schilderij als wij dat doen?

(Ze bespreken het kunstwerk Twenty Seventeen, 2017)

LS: We pasten 5 verschillende algoritmen toe. Het idee is om na te gaan welk deel van het kunstwerk je aandacht trekt, wat het uitgangspunt is voor de kijker. We ontdekten dat verschillende algoritmen er volledig naast zaten, zonder dat er enig verband was met de blik van de kijker. Slechts één ervan is vrij doeltreffend.

LT: Ja. Eén dat accuraat is, het meest voor de hand liggende: het wit van het oog. Dit deel van de afbeelding licht het meest op, waardoor het gezicht bijna uit het kader komt. Het is het eerste dat je ziet.

LS: Het algoritme is een verzameling van netwerken. Een neuraal netwerk dat werd getraind via gegevens van mensen met eyetracking – om te achterhalen waarnaar zij kijken. Maar dit gebeurde aan de hand van foto’s, afbeeldingen van de wereld, niet met schilderijen. Er zijn er ook een aantal die in de richting van de lippen wijzen.

LT: Dat is ook juist, maar het belangrijkste dat oplicht is het oog.

LS: Dan namen we een ander, gecompliceerder beeld: The Valley uit 2007.

LT: Het is voor de hand liggend om te denken dat de ogen het brandpunt zijn in dit schilderij. Maar in dit beeld gaat het meer over de top van de neus en het voorhoofd, want deze afbeelding vertoont een soort vervorming. Ook de lijn tussen het licht op de neus en de schaduw ernaast vormen een onderbreking in de beeltenis. Maar het algoritme gaat voor het meest waarschijnlijke, met name de ogen.

LS: Zo is er bijvoorbeeld een kleine opening in de neuslijn. Ik neem aan dat dit de bedoeling was.

LT: Ja, dat klopt. Dit isoleert en benadrukt de middelpuntzone die we daarnet beschreven nog meer.  Het draagt een onwaarschijnlijkheid in zich. Wanneer je een fout maakt, ook al begrijpen de kijkers die fout niet, toch voelen ze dat er iets niet werkt. Zo zet het zich vast in je geheugen. De hersenen slaan dit op en verwijzen ernaar.

In de foto, de bronafbeelding voor het schilderij, zijn de ogen van het kind wijd open. Dit kind is misschien onschuldig. Kijk je naar het schilderij, dan zie je iets anders in de ogen. Dit kind lijkt beschadigd. Dat is niet zichtbaar wanneer je het kind als zodanig ziet. Het kind op de foto is volmaakt; het kind op het schilderij is onvolmaakt. Door de afbeelding te herwerken, enkel door het manuele aspect van het schilderen ervan, breng je veranderingen tot stand, geef je een interpretatie - of je dat nu wil of niet.

Het gezicht van het kind is ook slanker dan dat van de foto. Als schilder projecteer je er ook je lichamelijkheid op. Dit werd eerder al vaak besproken, bijvoorbeeld bij de langgerekte figuren van El Greco, en dit is iets dat in acht moet worden genomen. Zoiets is ongecontroleerd.

Kan AI het oorspronkelijke materiaal terugvinden waarop een kunstwerk gebaseerd is?

LT: Vonden de algoritmen het beeld waarop het schilderij was gebaseerd onmiddellijk terug?

LS: Wel... met een beetje hulp.

(Beiden lachen)

Voeg je de naam van het werk The Valley toe, alleen dat woord, dat verandert veel, dat is een heel belangrijke aanwijzing. Zoek je gewoon op basis van de afbeelding, want je kunt ook een afbeelding ingeven in de zoekmachine, dan verschijnt de originele foto niet. Er zijn zoveel beelden op het internet dat het origineel overschaduwd wordt. Titel en beeld moeten dus samen voorkomen om een resultaat te krijgen.

Hoe reageert het algoritme buiten de comfortzone van de gegevens waarmee het getraind werd? Kan een zebra een algoritme bijvoorbeeld misleiden?

LS: We werkten met een nieuw soort algoritmen, namelijk segmentatie-algoritmen, die getraind zijn op basis van miljoenen gegevens. Die algoritmen werken op basis van die gegevens, werken op beelden die erg vergelijkbaar zijn met die gegevens, maar verlaat je deze comfortzone, zelfs als je het beeld slechts een klein beetje verschuift, of slechts één pixel toevoegt, dan kan dit het resultaat verstoren.

“Verlaat je de comfortzone, zelfs als je het beeld slechts een klein beetje verschuift, of slechts één pixel toevoegt, dan kan dit het resultaat verstoren.”
Luc Steels

Een andere mogelijke fout van de algoritmen treedt op wanneer één element van het schilderij de aandacht voor een ander element overneemt. Nemen we het voorbeeld van een schilderij waarop zowel een mens als een zebra is afgebeeld. Hoewel het algoritme werd getraind op gezichtsherkenning, kan het eenvoudig worden misleid als je een afbeelding van een zebra toont, want die zebra is zo sterk voor het algoritme dat het de mens op het schilderij vergeet.

Kunnen algoritmen een nieuw licht werpen op het proces van het cureren van een tentoonstelling? Kan AI de curator van de toekomst zijn? Kan het je vertellen welke schilderijen je naast elkaar moet hangen bij een tentoonstelling, op basis van een kleurenschema?

LS: We hebben ook wat geëxperimenteerd met kleuren. We nemen de pixels in het beeld en projecteren ze in het kleurenspectrum om de schakering te zien. We kunnen meten hoe uitgebreid het kleurgebruik is. Er is ook een clusteralgoritme om te kijken welke kleuren het vaakst gebruikt worden in het schilderij. Je kunt het kleurenspectrum van verschillende schilderijen vergelijken. Bijvoorbeeld bij twee werken die naast elkaar hangen op een tentoonstelling. Als je het kleurenspectrum analyseert dat in de schilderijen wordt gebruikt, kun je werken beginnen groeperen. Er zijn veel dimensies waarmee je kunt spelen. Om de evolutie van het kleurgebruik doorheen de tijd te volgen bijvoorbeeld.

LT: Wat haalbaar is volgens mij. In het eerste deel van mijn Catalogue Raisonné waren de kleuren bijvoorbeeld warmer. In het tweede deel zijn deze veel koeler. Dat is omdat ik in 1995 polaroids begon te gebruiken. De kleuren worden rechtstreeks afgeleid van de kleuren van de polaroidfoto’s en deze bevatten een paars aspect. In het derde deel wint de kleur indigo dan weer aan belang. De aardetinten verwijzen dus naar het eerste deel, nadien krijg je de meer artificiële kleuren. Het licht verandert ook: van normaal licht naar het licht van de polaroids, dat beperkter is, en tot slot krijg je het digitale licht. Dus dat is iets dat je effectief kunt nagaan.

De kleuren zijn niet vooraf samengesteld, ze groeien organisch tijdens mijn schilderproces. De kleuren worden ter plaatse gemengd en uitgetest naast het schilderij, want er bestaat een verschil tussen een kleur die je vlak op een tafel of verticaal ziet.

LS: Dat is iets dat we kunnen opsporen via een algoritme. Een computer kan zaken met betrekking tot kleurlagen vaststellen die het menselijke oog niet kan zien.

Kan een algoritme de verbanden reconstrueren die de kunstenaar legde bij zijn onderzoek voor het kunstwerk?

(Ze bespreken Tuymans’ gebruik van afbeeldingen van naziarchitect Albert Speer en van de bekende Villa Malaparte zoals deze verschijnt in de film Le mépris van Jean-Luc Godard)

LS: De manier waarop de hersenen verbanden leggen tussen deze verwijzingen en inspiraties kunnen worden gereconstrueerd, want deze verbanden vinden we terug in de enorme “knowledge graphs” die momenteel bestaan.

LT: Dat vind ik een interessant idee: kijken wat de patronen zouden zijn en nagaan hoe de punten verbonden zijn. Want er zijn onvermijdelijk patronen, dingen die terugkomen, obsessies, fascinaties, compulsieve elementen.

LS: Hetzelfde experiment kun je uitvoeren met de titels, de contexten, de volgorde van de schilderijen in een tentoonstelling. Je plaatst mensen in deze netwerken zodat ze verbanden leggen...

LT: Maar meestal doen ze dat niet. (Lacht) Maar dat kan tot een interessant resultaat leiden als deze volgorde bepaald wordt door algoritmen. Of we dan bij iets anders uitkomen. Of bij iets dat hetzelfde is... maar anders. Dat zal interessant zijn.

De resultaten van deze experimenten zullen in het najaar van 2020 op BOZAR worden besproken in het kader van de S+T+ARTS-tentoonstelling (Science+Technology+ the Arts).

FLOW zal een beschikbare open source zijn voor de hele gemeenschap van kunstenaars, curatoren en historici via het platform Penelope.

Meer informatie over dit lopende onderzoek:
Steels, L. & B. Wahle (2020), "Perceiving the Focal Point of a Painting with AI: Case Studies on Works of Luc Tuymans", in Proceeding of the 12th International Conference on Agents and Artificial Intelligence, Vol. 2, 895-901, 2020, Valletta, Malta.