A research project on the virtualisation of the live performer

An overview: HADES


DSC01578

3D scanning for the stage
a '
Technology Driven Art' research project
by Peter Missotten and Woody Laurens (Toneelacademie Maastricht)
thanks to Hans Lasschuit

DSC01557

3D scanning of persons is a well established practice, especially within the Hollywood movie and gaming industry. But the machinery for it remains rather hightech and expensive, well outside the reach of a small performance company. 3D scanning in general is a booming business, but almost exclusively orientated towards the scanning of non-moving objects for the industry. Most scanners require you to sit down very quiet for quite some time, unless they are done with a huge and expensive rig of over 30 professional camera's in a dome like construction.

Is it possible to do that with a much smaller rig of cheap consumer camera's? How workable is that in practice? And how does the technology influence the artistic practice?

In this first round, several software solutions were examined - Strata Foto 3D, Autodesk’s 123D Catch, Agisoft Photoscan etc… It all didn't work out self evidently, most of times because of some tiny technical problems. Firing all of the cameras with the remote control proved to be challenging, even with IR-relay modules. And Strata Foto requires an underlay print which proved to be very unpractical for moving objects.

All in all, the research time proved to be way too short to get a decent and usable result. At the same time, the students designed a very inspiring 3D installation, as a set for the project. Somehow, thinking in 3D influenced their mind and gave them inspiration for a new kind of set design, even if the 3D scanning proved to be quite challenging.


In the second research period (May and June 2016),
with Diederik Kreike, Caro Derkx, Tim Bijtelaar, Hendrik Kegels and Amanda Dekker.

We made a full fledged performance involving quite a lot of different virtualisation techniques. Starting with a very helpful and inspiring workshop by the media artist Wim Janssen, we experimented with a lot of software tools. We finally got some interesting and usable results out of Strata Foto 3D (patience is a good virtue), and combined it with projection mapping, compositing of a lot of filmed and looped characters (some hundreds of them), a virtual sea made in Blender… All was combined and played out in Isadora 2, with 9 projectors.
The result - 'HADES' - was part of the 'Odysseus' presentation at the ITs Festival Amsterdam 2016, by the Platform for European Theatre Academies PLETA. And that did go unnoticed, with some raving reviews…

DSC01568

It was quite an exhausting but great experience - all the technique was done by the actors/performers themselves, all of the specialising within the scope of two months on one tool:
Diederik Kreike became a compositing expert overnight,
Caro Derkx animated some hundreds triangles in Keynote,
Hendrik Kegels created a liquid sea (with crashing waves) out of the blue in Blender (never having heard of that software before, that's quite an achievement,
Tim Olivier Somer (one of the live performers, with Caro) created the sound track,
Amanda Dekkers did the lights…
And all of them did the shooting and 3D scanning of themselves as performers.
Yes, miracles do happen…
HadesVentjes1

You can see a full registration here: (password is hades)

HADES - ITs Festival Amsterdam from Peter Missotten on Vimeo.



Review in Theaterkrant door Joost Ramaer (Dutch only)

THE ODYSSEY
PLATFORM EUROPEAN THEATRE ACADEMIES
DE OVEREENKOMST TUSSEN ACHT CULTUREN
Door Joost Ramaer gepubliceerd 30 juni 2016 Theaterkrant.nl

De reis begint op Het Stenen Hoofd, een pier die uitsteekt in het IJ. Op het gras is een koord gespannen. ‘Form a line!’, roept een man streng door een megafoon. ‘Stick to the cord!’ Daar staan de toeschouwers dan, in de druilerige regen. Wachtend op hun bestemming en op wat komen gaat. Even voelen we ons vluchtelingen, zojuist aangespoeld op Lesbos.

The Odyssey is een gezamenlijke locatievoorstelling van acht Europese theaterscholen, gepresenteerd tijdens het ITs Festival in Amsterdam. Homerus’ Odysseia vormt de basis voor een theatraal onderzoek naar de confrontatie tussen Europa en de duizenden vluchtelingen uit Afrika en het Midden-Oosten die een goed heenkomen zoeken op het oude continent. Het idee is van de Duitse regisseur Jochen Schölch, tevens docent aan de Bayerische Theaterakademie August Everding in München – een van de acht deelnemende scholen.

De andere zeven zijn de Toneelacademie Maastricht, RITCS uit Brussel, TEAK uit Helsinki, de Akademia Teatralna uit Warschau, de Letse Cultuuracademie uit Riga, de toneelafdeling van het Mozarteum in Salzburg en de Westerdals theaterschool in de Noorse hoofdstad Oslo. The Odyssey is een keten van acht scènes, losjes geïnspireerd op evenzovele sleutelmomenten uit Odysseus’ lange reis. Iedere school neemt er een voor zijn rekening: Odysseus’ confrontatie met Calypso (Helsinki), Poseidon (München), de cycloop (Warschau), Circe (Brussel), de sirenen (Salzburg), de Faiaken (Riga) en de onderwereld (Maastricht). De finale is zijn thuiskomst op Ithaka (Oslo).

Iedere groep studenten maakte haar eigen vertaling van de scène die haar was toebedeeld, zonder die op elkaar af te stemmen. Het enige verband bestaat uit – meestal lawaaiige – figuren die de toeschouwers van de ene naar de andere scène brengen. Van Het Stenen Hoofd naar een pontje, waar koptelefoons en een acteur ons deelgenoot maken van de Poseidon-episode. Deze is gebaseerd op een korte tekst van Franz Kafka, die hem portretteerde als een tobberige bureaucraat. Poseidon kent de wereldzeeën slechts van de statistieken op zijn bureau, niet uit eigen waarneming.

Het pontje brengt ons naar het Tolhuis aan de overkant van het IJ, waar de overige zes scènes zich afspelen. ‘Europa heeft niet langer een uniforme cultuur,’ aldus het programmaboekje, ‘maar meer een amalgaam van verschillende, sterk onderscheiden culturen. Deze voorstelling is deels bedoeld om de speciale en unieke kenmerken van deze culturen naar voren te brengen.’ Maar wat opvalt, is juist een overeenkomst. Ongeacht hun herkomst kiezen de meeste studenten voor een drukke en energieke interpretatie, met veel geschreeuw en heftige bewegingen.

Het verband met Homerus’ oertekst en het thema Europa en zijn vluchtelingen gaat daarbij te vaak verloren. De Odysseia is een rijk gevulde schatkamer voor dat thema – dat heeft Schölch goed gezien. Odysseus verbergt vaak zijn ware identiteit. ‘Niemand’, zegt hij, als de cycloop hem vraagt hoe hij heet. Hij verzint de meest ingenieuze listen om de vele obstakels op zijn reis te kunnen overwinnen. Hij is een wandelend mysterie, zwalkend van hoogst integer naar hoogst onbetrouwbaar – al naar gelang de omstandigheden dicteren.

Als je de Odysseia als basis opvoert voor je voorstelling, moet je hem er ook in verwerken. Calypso houdt Odysseus gevangen op haar eiland omdat zij hem tot haar onsterfelijke echtgenoot wil maken. Met lieflijk gezang probeert zij hem in te palmen. Niet zonder succes: Odysseus slaapt met haar. De Finse manipulatie met megafoon en koord op Het Stenen Hoofd refereert aan ons vluchtelingenbeeld. Maar wat heeft dat met Calypso te maken?

Ook Circe paait Odysseus met een mengeling van genot en chantage: zij verandert zijn metgezellen in wilde zwijnen. De Brusselse delegatie maakt van deze episode een soort toeristische orgie op een tropisch eiland, die overigens wel heel bekwaam wordt uitgevoerd. De geslepen Circe is gereduceerd tot een hysterische gastvrouw annex animatiedame. ‘I’m sooo happy you’re here!!!’, gilt ze naar het publiek. ‘Are you happieieieie?!’

Heel wat ingenieuzer is wat de Letten doen met de Faiaken, een volk dat Odysseus gastvrij onthaalt en hem zelfs terugbrengt naar Ithaka. We zijn in een café in Riga waar vrijwilligers het handjevol vluchtelingen opvangt dat Letland binnenlaat – in het voorbijgaan geven de performers een stoomcursus restrictief Lets vreemdelingenbeleid. Er hangt één vluchteling rond, die met égards wordt overladen, maar uiteindelijk zelf vertrekt omdat hij in dit landje geen toekomst ziet. Gastvrijheid verwordt hier tot nutteloze goede bedoelingen.

The Odyssey bewaart de beste scènes voor het einde. In de voorlaatste zien we Odysseus in de onderwereld, waar hij zijn overleden moeder Antikleia ontmoet. Hier geen geren en geschreeuw. De studenten uit Maastricht blijven dicht bij de mythe, met wonderschone projectiebeelden die zowel de onderwereld zelf als de hedendaagse bootvluchtelingen tot leven wekken. Een verbijsterde Odysseus ziet zijn moeder uit een gat in de grond verrijzen. De Maastrichtenaren durven het als enige groep stil en sereen te houden, en maken daarmee veruit de sterkste voorstelling van de acht.

Het slot, van de Noren, is ook in orde. Buiten, in de Tolhuistuin, mooi uitgelicht in de duisternis onder een imposante boom, zetten zij de thuiskomende Odysseus neer als een sympathieke stuntelaar. Zijn fameuze boog krijgt hij niet gespannen, waarna hij hem in arren moede gebruikt als knots om de verleiders van zijn echtgenote te kunnen doden. Wat volgt is een kinderlijk tikkertje spelen tussen de echtelieden, waarbij Odysseus Penelope ook nog eens kwijtraakt. Ook hier is de band met het thema ver te zoeken, maar het is wel een geestige en originele kijk op de grote held.

The Odyssey jaagt zijn toeschouwers tweeëneenhalf uur lang van scène naar scène, zonder dat zij enig overzicht hebben. Vooral het gedraaf door de krochten van het Tolhuis bracht een gevoel van desoriëntatie teweeg, zoals ook echte vluchtelingen dat zullen ondergaan. Dat was, wat mij betreft, eveneens een verdienste van deze voorstelling.

Building up in Amsterdam - the moment of truth...


HADES 50x50 3DdefHadesTolhuis

Since we only had 2 days to build the set in the actual space, everything depended on the quality of the preparations. Was the 3D sketch accurate? Would we be able to hang the projectors as planned? Will we have enough black curtains?
Fortunately, aside of a non working HDMI repeater, everything worked out as planned. Our students installed the whole technical equipment on their own. The - very friendly - technician of Tolhuis only had to hang the front curtain, and that was that.
We immediately started rehearsing, adapting the light to the space.
HADESCREW

Working crazy...

As opening night is not so far away anymore, we're moving faster. We ditch the idea of getting the array of camera's working - this remote just doesn't work reliable at all. We split tasks:
* Tim will be working on the sound design.
* Caro elaborates her amazing 'Keynote-based' installation in which a myriad of triangles is floating
* Hendrik works on a 3D version of the sea in BLENDER
* Diederik concentrates on compositing the sea of floating corpses

We move this week to Bierbeek, at the factory of Peter Missotten. We shoot the floating corpses in a inflatable swimming pool. Luckily it's indoors and heated - he had to reinforce the floor of his working space, so we wouldn't end up in the basement (with a collapsed building on top of it).
It helps concentration a lot to move to another place, away from school.

A lecture by Wim Janssen - 3D scanning at last


Wim Janssen has been invited to give a lecture on his work, and on his experiences with 3D scanning.
http://www.wimjanssen.be
rid_02
Working part time as an assistant for David Claerbout, Wim Janssen has extensive knowledge on 3D scanning of people, the professional way. It puts our feet back on the ground: nothing is what it seems. It turns out that these 3D scanned people in the work of David Claerbout are a combination of all kinds of 3D techniques. Starting from a 3D scan (in a scanning dome of some 30 professional camera's (Ouch… that hurts :), lot's of details are added in 3D from scratch. Motorcycles are made from 3D models. All hair and furry details are created in Blender… It feels like a Hollywood movie factory.
Wim Janssen helps Hendrik with some technical problems in his BLENDER project.

After this practical work shop, Wim Janssen gives a lecture for the school on his work as an artist. It's always amazing how fascinating and inspiring these lectures are. It gives a glimpse at what an artistic career can be within a few years after graduating.

Diederik 5opname_18112016
We restart the 3D scanning proces, using Strata Foto 3D, using just one camera and a turning table with the Strata reference print on top of it.
However strange behaving and moody this software might be, it turns out to give the most fascinating results. We use it to create all the guardians within HADES. Long haired figures in black and white. We can import these 3D objects straight into Troikatronix Isadora, and manipulate them live within that software, so that's a huge plus.
The errors in scanning hair proved to be quite useful, it gives the statue like quality which blended in perfectly wth this Ancient Greek tragedy.
Turning everything into Black and White was a huge time saver as it hides all the keying artefacts. This utterly unpredictable keying within Strata Foto 3D is definitely it's weakest point.

HADESVENTJES2