Interaction gestuelle improvisée avec un acteur virtuel dans un théâtre d’ombres bidimensionnelles ou au sein d’un univers virtuel en relief : l’illusion d’un dialogue ?
p. 281-300
Texte intégral
« Toujours amené à rêver autre chose et autrement,le rêveur constant est une permanente instigationà la réalisation d’autre chose, autrement. »
Jean-Noël Vuarnet, Le philosophe-artiste.
1Le projet collaboratif CIGALE (Capture et Interaction avec des Gestes Artistiques, Langagiers et Expressifs), soutenu par le Labex ARTS-H2H, a développé un dispositif mettant en œuvre une interaction gestuelle entre un acteur humain et un acteur virtuel (AV). Ce projet interdisciplinaire a réuni pendant quatre ans de nombreux chercheurs, ingénieurs et artistes relevant de différentes structures et domaines : en linguistique, le laboratoire Structures Formelles du Langage1 CNRS – Université-Paris 8 et l’UQAM2 ; en art numérique, l’équipe Image Numérique et Réalité virtuelle du laboratoire AI-AC3 de l’Université Paris 8 ; en théâtre, le Conservatoire National Supérieur d’Art Dramatique4 ; en capture de mouvement, le Laboratoire d’analyse du mouvement5 et la société Solidanim6 ; et en poésie en langue des signes, l’association Arts résonances7.
2Les recherches se sont déployées selon cinq directions : la capture du mouvement, l’analyse gestuelle, la génération de mouvements virtuels, l’improvisation et sa modélisation, l’interaction gestuelle et son analyse. Nous nous focaliserons dans cet article sur les deux derniers axes, ceux de l’improvisation et de l’interaction gestuelle avec un AV en nous intéressant plus particulièrement à l’installation InterACTE, une des créations en réalité virtuelle développées dans le cadre de ce projet.
3Tout d’abord, nous décrirons de façon synthétique le processus de conception et de développement de l’installation InterACTE comme dispositif d’interaction gestuelle improvisée entre un acteur humain et un acteur virtuel. Puis, à partir d’une vingtaine de vidéos enregistrées des interactions entre l’AV et des spectateurs8, nous étudierons, d’une part, l’impact de la situation bidimensionnelle du théâtre d’ombres et la situation en relief avec un casque de réalité virtuelle sur le processus d’interaction gestuelle et d’autre part, nous examinerons ce qui favorise l’émergence et la poursuite d’une interaction gestuelle entre un spect-acteur9 et l’AV et donne l’illusion d’une improvisation « vivante », c’est-à-dire inattendue, singulière et non pas l’impression d’une relation d’interactivité automatique, répétitive et prévue d’avance.
Conception et développement de l’installation InterACTE
Quatre bases de données gestuelles
4L’installation InterACTE, à vocation expérimentale et artistique, a été créée dans l’intention de susciter un dialogue gestuel improvisé entre un spectateur et un AV, dialogue dans lequel l’imitation joue un rôle crucial, mais où celle-ci est sans cesse déjouée par des gestes impromptus et surprenants propres à l’AV. Cette expérience de dialogue gestuel a voulu être très ouverte, sans consigne préalable pour le spectateur, basée sur les gestes libres de ce dernier comme un duo entre deux danseurs improvisant, mais seulement avec les bras et le haut du corps ; ainsi tout geste est possible, qu’il soit signifiant ou non, qu’il soit expressif ou non.
5Quatre bases de données gestuelles ont été réalisées à partir de la capture de mouvement des gestes effectués respectivement, par un linguiste spécialiste des gestes coverbaux10 (Fig. 1), par un poète en langue des signes11 (Fig. 2), par un mime12 (Fig. 3) et par un chef de chœur13 (Fig. 4). Ces mouvements constituent le substrat d’une génération de gestes virtuels (algorithme génétique14) et le fond des réponses gestuelles possibles à l’aide d’un moteur comportemental (machine à états finis15). De la sorte, ces gestes incorporés dans l’AV forment la base d’une interaction avec le spect-acteur.
Figure 1.

Figure 2.

Figure 3.

Figure 4.

Une plateforme multi-agents en réalité virtuelle
6L’un de nos objectifs était de créer une installation artistique mettant en scène un acteur virtuel doté de perceptions/actions artificielles lui permettant de réagir gestuellement aux sollicitations d’un spect-acteur en ne se comportant pas comme un simple automate répétitif, mais donnant l’illusion d’interagir avec une entité virtuelle ayant certaines caractéristiques comportementales du vivant afin qu’émergent des dialogues procurant, à leur tour, l’impression d’être issus d’une relation improvisée. Ces travaux se sont inspirés de recherches antérieures sur l’interaction gestuelle entre des acteurs humains (danseurs, mimes, spectateurs, comédiens) et personnages virtuels en se focalisant sur ceux qui utilisent des modèles de vie artificielle dans le domaine des arts de la scène et dont nous ne citerons que quelques exemples caractéristiques : le logiciel Lifeform utilisé pour la performance Biped de Merce Cunningham16 ; le logiciel Anyflo donnant la possibilité de créer une installation interactive où un danseur de corde est capable de retrouver son équilibre en utilisant un réseau de neurones17 ; un modèle d’interaction gestuelle entre humain et acteur permettant une chorégraphie de capoeira virtuelle18 ; la modélisation d’acteurs virtuels capables d’être dirigés par des metteurs en scène de théâtre19, etc.
7Pour réaliser cette installation (Fig. 5), une plateforme multi-agents en réalité virtuelle20 a été développée, permettant à un acteur humain et un AV d’effectuer des dialogues silencieux à partir d’une interaction gestuelle en temps réel. L’AV en interaction avec les gestes de l’acteur humain est capable de produire ses gestes à partir de plusieurs comportements principaux choisis en regard de la posture du corps, de la position des bras et des mouvements de l’acteur humain saisis par le capteur de mouvement Kinect de Microsoft. Ces comportements ont été modélisés à partir de l’analyse d’expérimentations d’interactions gestuelles improvisées réalisées par des acteurs humains (Fig. 6). Ainsi, l’AV peut interagir, soit en mimant les gestes du spect-acteur à partir des mouvements de celui-ci captés en temps réel grâce au dispositif de capture de mouvement Kinect, soit en effectuant un geste issu de la base de données de gestes captés (gestes coverbaux expressifs ou de mime, ou de poésie en langue des signes), soit en exécutant un geste généré en temps réel par un algorithme génétique, soit en restant dans une posture de repos en attente d’une sollicitation du spect-acteur.
Figure 5.

Figure 6.

8Une machine à états finis (FSM) permet de déclencher la succession des différents comportements au cours du dialogue gestuel entre acteurs21 : imitation, repos, gestes captés de la base de données et gestes auto-générés. L’activité gestuelle des deux acteurs a été modélisée en tant que perceptions. L’AV perçoit sa propre activité et l’activité du spect-acteur obtenues par une analyse continue des gestes en temps réel selon leur dynamique ; une comparaison des perceptions combinées de chacun d’eux provoque la transition d’un comportement à un autre (Fig. 7). Plusieurs perceptions ont été prises en compte pour le déclenchement des comportements (Fig. 8) :
- les orientations de la tête ou du torse du spect-acteur indiquant si celui-ci est présent et s’il est prêt à dialoguer et celles de l’AV permettant de choisir le comportement adéquat ;
- la cinématique des gestes des mains, et notamment la vitesse pour évaluer le rythme global, l’accélération et la secousse pour détecter un changement dans l’accélération, qui peut rendre compte soit d’un moment de pause, soit d’une discontinuité dans le mouvement ; les valeurs d’accélération ou de secousse selon qu’elles soient faibles, moyennes, ou élevées sont associées à différentes transitions du comportement de l’agent virtuel ayant des valeurs correspondantes approchantes ;
- les positions des mains de l’AV relatives à son plan sagittal sont comparées à celles du spect-acteur afin d’estimer où ce dernier effectue son geste dans l’espace, pour lancer le comportement de l’AV dans ce même espace.
Figure 7.

Figure 8.

InterACTE comme théâtre interactif d’ombres 2D ou comme univers virtuel en relief
Bidimensionnalité ou relief : deux configurations, deux situations
9Parfois, dans certaines fictions, comme les contes, les romans ou les films fantastiques, le fait qu’un homme possède une ombre est considéré comme la preuve que celui-ci appartient bien à la communauté humaine a contrario des zombies, des vampires, des fantômes, etc., qui eux peuvent être soit sous la forme d’un corps (silhouette inhumaine informe pour les zombies dans laquelle est incorporée une ombre volée, figure sans reflet dans les miroirs pour les vampires, ou encore personne sans ombre, tel Peter Schlemihl de Chamisso, avec comme conséquence la perte de toute humanité), soit une ombre (présence dématérialisée impalpable et menaçante). Dans l’installation InterACTE, l’AV a bien une ombre : serait-ce là une preuve de son humanité… virtuelle ? Mais en même temps, l’AV n’est pas visible directement aux yeux du spect-acteur, car il ne devient visible pour ce dernier, que quand il porte un casque de réalité virtuelle. Deux situations différentes sont proposées successivement au spect-acteur lui donnant l’occasion d’interagir gestuellement avec l’AV : sous deux apparences, celle d’un « pierrot d’ombre » ou celle d’un « pierrot de lumière ». Le pierrot d’ombre s’incarne sous la forme d’une simple ombre projetée de l’AV, alors que le pierrot de lumière prend la forme d’un acteur virtuel en relief, s’inspirant du personnage de la Commedia dell’arte portant masque et gants, et dont l’habit de lumière est ici composé d’une multitude de particules.
10Deux configurations de l’installation en réalité virtuelle ont été mises en œuvre pour ces deux expérimentations successives : l’une est basée sur la projection bidimensionnelle sur écran, comme un théâtre d’ombres interactif composé de l’ombre réelle du spect-acteur et de l’ombre de l’AV (l’interaction étant rendue possible grâce à un capteur de mouvement Kinect) ; l’autre configuration est basée sur un casque de réalité virtuelle associé au même capteur de mouvement Kinect qui permet, d’une part, l’immersion du spect-acteur découvrant face à lui, en vision stéréoscopique, l’AV dans un univers imaginaire, et, d’autre part, l’interaction gestuelle avec l’AV. À partir de la vingtaine d’enregistrements vidéo des dialogues gestuels entre l’AV et le spect-acteur, on peut faire ressortir quelques caractéristiques de ces deux situations.
11La problématique générale de la réalité virtuelle s’appuie sur deux notions essentielles, celle de l’immersion et celle de l’interaction : « Dans toute application de réalité virtuelle, la personne est en immersion et en interaction dans un environnement virtuel. Elle perçoit, décide et agit dans cet environnement, processus schématisé par la classique boucle “perception, cognition, action” qui doit être réalisée sous des contraintes technologiques, physiologiques et cognitives22 ».
12À ces deux notions, il faut ajouter une autre notion importante, celle du comportement des entités simulées en 3D avec lesquelles on interagit et qui vont donner l’impression à l’utilisateur qu’elles sont réelles et presque vivantes : « La réalité virtuelle est un domaine scientifique et technique exploitant l’informatique et des interfaces comportementales en vue de simuler le comportement d’entités 3D, qui sont en interaction en temps réel entre elles et avec un ou des utilisateurs en immersion pseudo-naturelle dans un monde virtuel23 ».
13Ainsi, ce sont les effets sur l’utilisateur de l’immersion, de l’interaction et du comportement des entités virtuelles qui vont lui donner l’illusion de présence, une présence relative à l’environnement réel et à l’environnement virtuel, comme le souligne Philippe Fuchs : « La présence est alors définie comme l’ensemble des comportements, allant de rapports verbaux à des comportements complexes, en passant par des réactions physiologiques, observées lorsque l’utilisateur est confronté à cet environnement. La présence est définie par rapport à deux environnements, l’environnement réel et l’environnement virtuel24 ». C’est pourquoi Olivier Nannipieri fait justement ressortir que l’effet de présence intervient à deux niveaux dans la réalité virtuelle : « Il est non seulement nécessaire que je me sente présent dans un environnement, mais, également, que l’environnement me paraisse être lui aussi réellement présent25 ». En poussant plus loin le raisonnement, Judith Guez propose que « l’oscillation entre le réel et le virtuel devienne un moyen permettant de nous placer dans cette frontière ambiguë, lieu hybride de la présence dans le réel et le virtuel26 ».
InterACTE comme un théâtre interactif d’ombres bidimensionnelles
14Dans la première configuration, véritable théâtre d’ombres s’inscrivant dans une longue tradition artistique27, on constate que se forme un triangle composé du spect-acteur, de son ombre et de l’ombre de l’AV (Fig. 9). Placé à l’extérieur du plan de l’écran, le spect-acteur regarde, sur l’écran, la projection bidimensionnelle de sa propre ombre de profil et de l’ombre de l’AV également de profil (Fig. 10), l’une et l’autre étant réunies sur cette surface plane dans le même espace et dans la même temporalité. Le spect-acteur est extérieur à l’image, mais en même temps, son ombre est une extension directe de lui-même projetée sur l’écran, en parfaite synchronisation avec son propre corps en mouvement et interagissant en temps réel avec l’ombre de l’AV.
Figure 9.

Figure 10.

15Ce théâtre d’ombres hybride l’ombre réelle du spect-acteur avec l’ombre virtuelle de l’AV, ce qui donne l’illusion qu’elles sont de même nature et favorise leur dialogue, car l’ombre de synthèse de l’AV semble aussi réelle que celle du spect-acteur. Ainsi, il ressort que l’interaction gestuelle par ombres 2D interposées s’engage assez naturellement et tend à se poursuivre en s’approfondissant. Le spect-acteur initie un dialogue gestuel souvent exploratoire, puis le prolonge dans des voies plus intimes, plus singulières, parfois poétiques, parfois comiques, avec cet AV aux comportements parfois complices et d’autres fois assez énigmatiques, mais sur lequel le spect-acteur projette ses propres stratégies gestuelles.
16Ce dialogue gestuel semble focaliser l’attention du spect-acteur, ce qui est renforcé par le point de vue extérieur de celui-ci par rapport à l’écran où sont projetées sa propre ombre et celle de l’AV. Ce positionnement lui donne la possibilité d’avoir une vue d’ensemble des deux ombres des corps en mouvement, en interaction, ce qui lui permet de mieux s’adapter à ce qui arrive, de réagir plus vite, de jouer avec les deux ombres de profil et de composer le dialogue dans le plan de l’écran, en se mettant à l’unisson du rythme des mouvements de l’AV par imitation ou au contraire en décrochant lors d’une rupture gestuelle improvisée. Notons aussi que le spect-acteur peut avoir des mouvements pour pointer, toucher l’AV, mais c’est toujours du bout des doigts, comme à fleurets mouchetés, car c’est la silhouette ombrée de profil qui est visée.
17On assiste à l’élaboration d’une cohérence du flux d’interaction au niveau visuel et au niveau kinesthésique : flux dynamique d’entrée engendré par le geste du spect-acteur dialoguant avec l’AV qui répond par un flux de sortie correspondant à la gestualité du spect-acteur, la plupart du temps imitative ou parfois autonome, ce qui induit rétroactivement les réponses du spect-acteur selon sa propre gestuelle imitative ou non, et ainsi de suite dans une boucle action/perception de chacun d’eux ; une adaptation conjointe s’opère en essayant de produire une cohérence de flux, par la dynamique et par la forme des gestes faisant émerger un dialogue de gestes conjugués qui s’élabore peu à peu dans l’expérimentation, un dialogue énacté28.
InterACTE comme univers virtuel immersif et interactif en relief
18Dans la seconde configuration, celle avec le casque de réalité virtuelle (Fig. 11), le spect-acteur est immergé dans un autre monde, celui du pierrot virtuel. Le spect-acteur devient présent à l’intérieur même de cet univers imaginaire immersif qu’il perçoit en relief et qui lui semble également présent. Cette impression de présence est très différente de la situation précédente d’extériorité où le spect-acteur est placé à distance devant l’image bidimensionnelle projetée sur l’écran, car ce monde virtuel en relief l’entoure à 360 degrés. Il est en immersion à l’intérieur du monde 3D où vit l’AV et se trouve face à lui (Fig. 12).
Figure 11.

Figure 12.

19L’illusion de présence est d’autant plus forte que le spect-acteur perçoit l’AV en relief et qu’il peut interagir gestuellement avec lui. Dans ce monde, il y a aussi des particules, des balles qui jaillissent des mains de l’AV quand celui-ci exécute des mouvements avec ses bras, objets virtuels en relief qui, peu à peu, remplissent cet univers. Alors que dans la première configuration, le corps de l’AV est invisible aux yeux du spect-acteur, dans la seconde configuration, il devient visible. Par contre, le spect-acteur devient invisible dans son casque de réalité virtuelle, car il n’a pas d’avatar le représentant dans l’univers virtuel. Il ne voit ni ses mains ni ses bras, mais son corps réel continue d’agir dans le dialogue gestuel avec l’AV. En outre, la projection des ombres n’est plus visible pour le spect-acteur qui est entré dans le monde imaginaire de l’AV, mais elle reste visible pour le public qui regarde l’interaction gestuelle entre les deux acteurs via les ombres projetées. Ce sont deux mondes qui coexistent.
20Avec le casque de réalité virtuelle, l’immersion provoquée donne au spect-acteur l’illusion d’être présent dans le monde virtuel, et donne aussi de la présence au monde virtuel tridimensionnel perçu en relief et à 360 degrés, monde qui semble bien être là. Comme dans la première configuration, les spect-acteurs sont sollicités à la fois par la vision et par le sens du mouvement (sensations kinesthésiques et haptiques), mais leurs mouvements deviennent plus amples, leurs gestualités embrassent l’espace, elles se déploient vers le haut, vers la gauche, vers la droite, ce sont des gestualités en volume et non plus en ombre chinoise bidimensionnelle.
21Le dialogue avec l’AV en relief dans l’univers de réalité virtuelle produit paradoxalement un effet plus irréel que le théâtre d’ombres ; tout d’abord parce que le personnage 3D et le monde virtuels sont peu réalistes alors que l’ombre de l’AV semblait l’être, mais surtout parce que l’AV de par sa tridimensionnalité et son relief renforce l’illusion de sa présence dans l’espace virtuel ; le spect-acteur a envie de s’approcher de l’AV face à lui, de le toucher, de le caresser, ou encore de le prendre dans ses bras, mais ceux-ci se referment sur du vide, le vide de l’illusion de la réalité virtuelle.
Qu’est-ce qui favorise l’interaction gestuelle et donne l’illusion d’une improvisation « vivante » ?
Contraintes et empathie
22À partir de l’analyse des vidéos d’interaction des spect-acteurs avec l’AV (calcul des rotations des articulations des bras), Dominique Boutet29 a mené une étude dans laquelle il pose les questions suivantes :
« […] qu’est-ce qu’on modifie dans notre gestualité lorsqu’on est face à un AV qui nous répond selon la même modalité ? », « […] est-ce que les modifications que subissent nos gestes au cours de l’interaction vont favoriser l’interaction ? […] est-ce que ces gestes sont porteurs de la marque expressive et peut-être sémantique d’une interaction avec autrui ? »
Dominique Boutet fait ressortir que :
« […] en partant du constat qu’une des contraintes de l’AV, due à la première version de la Kinect, est qu’il ne présente pas de pronation/supination de la main », […] en « un temps très court, les acteurs réels adoptent les contraintes gestuelles de l’AV. Le spect-acteur procéderait à une adaptation grâce à la boucle perception/action sur des bases de kinesthèses. La gestualité contrainte de l’AV contamine la gestualité du spect-acteur par un accroissement des mouvements du bras. Sans doute par empathie. Cela enclenche en tout cas une gestualité dont le champ de signification relève préférentiellement de l’interaction avec autrui. Les gestes mettant en mouvement les bras et avant-bras relèvent de l’interaction avec autrui et établissent ainsi une interaction plus approfondie avec l’AV. »
Pour Dominique Boutet, il apparaît que :
« […] une des pistes vers laquelle cette expérience oriente serait de montrer que des corrélats physiologiques articulaires liés au développement psychomoteur des enfants (contrôle moteur des bras et progressivement des avant-bras et des mains) appellent chez l’adulte une empathie qui favoriserait le mouvement au niveau des bras et au détriment des mains. »
« […] Par conséquent, le fait que l’AV présente une gestualité proche de celle de l’enfant donnerait au spect-acteur l’impression d’interagir avec une entité enfantine, ce qui susciterait chez lui son empathie et l’inciterait à un approfondissement de l’interaction (Fig. 13 et 14). Ce processus irait dans le sens de l’intention esthétique de l’installation InterACTE qui veut instaurer un dialogue gestuel improvisé entraînant une résonance motrice et émotionnelle du spect-acteur. En effet, avec InterACTE inspirée à la fois par le théâtre d’ombres traditionnel et par la figure de Pierrot de la Commedia dell’arte, le choix de mettre en place une situation d’improvisation gestuelle, marquant une volonté de mettre l’accent sur la spontanéité et sur le laisser libre cours à la créativité, le lâcher prise, ce choix n’inviterait-il pas aux retrouvailles avec les jeux gestuels de l’enfance et leurs plaisirs ludiques ? »
Figure 13.

Figure 14.

Alternance du comportement imitatif au comportement idiosyncrasique
23Au début du dialogue, les deux gestualités du spect-acteur et de l’AV tendent à se synchroniser grâce au comportement d’imitation de l’AV (Fig. 15), mais le spect-acteur doit aussi avoir l’impression que les comportements de celui-ci peuvent être indépendants des siens pour donner l’illusion d’une certaine autonomie de l’AV, afin qu’il ne le perçoive pas comme un simple automate mimétique, miroir de lui-même. La transition du comportement imitatif de l’AV au comportement idiosyncrasique (soit des gestes de capture de mouvement, soit des gestes générés par l’algorithme génétique) selon la dynamique gestuelle du spect-acteur joue un rôle important dans la relance du dialogue. L’acteur humain exécute quelques gestes en observant la réaction mimétique de l’AV et lorsque soudainement ce dernier n’imite plus, mais propose son propre geste, alors le spect-acteur surpris, souvent marque un arrêt de perplexité (Fig. 16), tente de comprendre la réponse gestuelle inattendue de l’AV, puis reprend une nouvelle séquence d’interaction gestuelle mimétique et ainsi de suite.
24Le mimétisme gestuel de l’AV permet de créer un lien intime avec le spect-acteur, tout en dépassant la simple image en miroir de celui-ci, car l’imitation gestuelle de l’AV est imparfaite (corps simplifié de pantin, pas de pronation/supination de la main) et elle est décalée dans le temps. Elle donne l’impression que l’AV tente, avec maladresse et hésitation, de suivre la gestualité du spect-acteur comme s’il était lui-même « vivant », ce qui crée une synchronisation approximative entre les mouvements des deux personnages, dans leurs formes et leurs dynamiques ; à son tour, le spect-acteur est contaminé par la gestuelle de l’AV dans une boucle réflexive qui produit, par un mimétisme adaptatif et réciproque, une interdépendance relative, sensible et harmonieuse entre les deux acteurs. Puis brusquement, l’harmonie mimétique ébauchée est rompue par l’apparition de gestes propres à l’AV, puisés dans sa base de données de gestes captés ou générés ; cette rupture tend à relancer le dialogue en provoquant la surprise, l’interrogation et en donnant l’illusion d’une certaine autonomie de cet « autre » qu’est l’AV, avant que celui-ci ne reprenne le chemin du mimétisme maladroit et hésitant.
Figure 15.

Figure 16.

L’énaction de dialogues singuliers
25En visualisant l’ensemble des vidéos d’improvisations gestuelles avec l’AV, il apparaît aussi que les dialogues qui émergent de l’interaction sont très variés, contrairement à un automatisme mécanique qui tendrait à produire de la répétition. Grâce au mimétisme imparfait de l’AV et à sa rupture par les gestes idiosyncrasiques de celui-ci, et grâce au phénomène de double imitation rétroactive − l’AV imite le spect-acteur tout en modifiant les gestes selon ses propres caractéristiques, puis le spect-acteur à son tour s’adapte aux gestes de l’AV par imitation − nous voyons émerger dans l’interaction toutes sortes de dialogues singuliers (Fig 17) ; ils sont porteurs de la trace de la gestuelle et de la stratégie d’interaction propres à chaque spect-acteur, hybridées à celles de l’AV qui les réincorpore, les transforme et génère les siennes, ce qui favorise l’approfondissement de l’interaction improvisée entre les deux acteurs. Nous pouvons dégager plusieurs types de stratégie : la stratégie d’exploration des comportements, celle de la recherche d’une harmonie, celle du duo dansé, celle des scénarios intentionnels.
Figure 17.

26Une des stratégies d’interaction des spect-acteurs, constatée dans les vidéos, est celle de l’exploration des comportements et des réactions de l’AV afin de comprendre comment il est possible de dialoguer avec lui. Si l’on retrouve cette stratégie dans plusieurs expérimentations, surtout au début de l’interaction avec l’AV, certains spect-acteurs la pratiquent tout au long de l’échange. Ils testent les capacités de l’AV en faisant toutes sortes de mouvements afin de découvrir les mouvements que l’AV peut effectuer, comme mouvoir ses bras, son torse, sa tête et ceux qu’il ne peut faire comme se baisser, sauter, se déplacer, bouger les doigts, etc. Ils jouent également sur la lenteur, sur la rapidité du mouvement et le changement de rythme, pour pousser l’AV dans ses limites de variation dynamique. Dans ces cas, ce sont ces jeux exploratoires eux-mêmes qui nouent le cœur du dialogue entre les deux acteurs, en devenant une sorte de joute corporelle.
27Certains spect-acteurs essaient de faire surgir de l’harmonie dans le dialogue en effectuant des mouvements simples et lents afin de ne pas perdre le fil ténu de l’interdépendance gestuelle avec l’AV. Dans une séquence caractéristique de cette stratégie, nous voyons une spect-actrice porter une attention très soutenue aux gestes d’imitation de l’AV ; elle cherche une harmonie en développant une gestuelle très lente et continue qu’elle réadapte sans cesse en fonction des mouvements de l’AV ; ainsi elle entre en résonance avec l’AV en se mettant dans un rythme qu’ils peuvent partager. Cela provoque des interactions gestuelles subtiles, délicates : les mains, les bras des deux acteurs se suivent, se touchent, s’esquivent, s’effleurent pour effectuer une sorte de chorégraphie lente ; puis des moments de décrochage un peu abrupts surgissent, rythmant le duo, suivis à nouveau de mouvements conjoints issus d’un mimétisme hésitant et en attente de part et d’autre, etc.
28Pour continuer dans cette voie du mouvement harmonieux, nous voyons dans plusieurs séquences filmées que des spect-acteurs s’engagent dans le dialogue gestuel avec l’AV comme s’ils entraient dans une danse. Ils développent des mouvements très variés des mains et des bras, certains ondoyants, d’autres traçant des arabesques, d’autres encore balançant les bras en rythme, etc. Chaque fois, de cette interaction avec l’AV, émerge une sorte de duo dansé où l’on retrouve des traces du « style » du spect-acteur hybridé à celui de l’AV.
29Nous notons également une stratégie d’interaction que nous pourrions appeler « celle des scénarios intentionnels ». Certains spect-acteurs projettent sur la relation avec l’AV une sorte de scénario qui structure l’échange gestuel et lui donne en partie son sens. Nous voyons, par exemple, une spect-actrice cherchant à toucher les ombres des mains de l’AV avec les ombres de ses propres mains. Tout d’abord, elle semble échouer, car l’AV se dérobe, ses mains évitent celles de la spect-actrice, ce qui tend à produire, dans un premier temps, un dialogue sous la forme d’un jeu de poursuite assez vif et aléatoire ; puis peu à peu, en tâtonnant, la spect-actrice ralentit ses mouvements des mains, ce qui lui permet d’approcher celles de l’AV qui à son tour diminue sa vitesse gestuelle et nous voyons apparaître un dialogue basé sur un jeu de mains d’attraction et de répulsion : les mains se rapprochent, puis s’écartent, en dessinant ainsi dans l’espace un duo de mouvements esthétiques.
30D’autres encore imaginent le dialogue sous la forme du scénario de la rencontre avec l’AV : ils lui font une révérence, lui tendent la main, lui ouvrent les bras, s’en approchent, lui caressent le visage, le prennent dans les bras, se reculent, lui font un geste d’au revoir et s’en vont, etc. Là encore, des dialogues se construisent dans l’interaction avec l’AV qui réagit à ces gestes, soit en répondant à l’attente du spect-acteur de sa manière imparfaite (il esquisse un salut, il ouvre ses bras maladroitement, il l’entoure de ses bras en hésitant, il tente une révérence), soit en faisant un tout autre geste…
31Tout d’abord, nous avons décrit les processus de conception et de développement pour la réalisation de l’installation InterACTE afin de montrer les choix techniques qui ont permis de mettre en œuvre un dialogue gestuel entre un acteur humain et un acteur virtuel qui ne soit pas un simple automate répétitif, parce que doté d’une capacité de perception/action. Puis, nous avons étudié l’impact, sur le processus d’interaction gestuelle, des deux configurations de l’installation : celle correspondant à la situation bidimensionnelle du théâtre d’ombres et celle correspondant à la situation en relief avec un casque de réalité virtuelle. Il est apparu que, dans la première situation, l’interaction par les ombres 2D interposées renforçait l’émergence d’un dialogue gestuel approfondi entre le spect-acteur et l’AV, alors que, dans la seconde situation avec le casque de réalité virtuelle, si le spect-acteur s’engageait bien dans un dialogue gestuel avec l’AV, il développait une interaction plus ludique. Enfin, nous nous sommes attachés à faire ressortir ce qui favorisait l’émergence et la poursuite d’une interaction gestuelle entre un acteur humain et l’AV et donnait l’illusion d’une improvisation « vivante » : la gestualité de l’AV présentant des caractéristiques proches de celle de l’enfant procurerait au spect-acteur l’impression d’interagir avec une entité enfantine suscitant son empathie ; l’alternance d’un comportement d’imitation approximative avec le comportement idiosyncrasique de l’AV donnerait l’impression d’une capacité mimétique imparfaite et l’illusion d’une certaine autonomie propres aux « êtres vivants » ; l’émergence, dans l’interaction hybridant le spect-acteur et l’AV, d’une grande variété de dialogues singuliers serait la manifestation de leurs caractères improvisés.
32Alain Berthoz nous rappelle « cette théorie d’Empédocle, affirmant que le cerveau projette des rayons sur l’objet30 ». Il fait le lien entre cette théorie et ses propres conceptions dans lesquelles le cerveau est un générateur d’hypothèses et « la perception n’est pas une représentation : c’est une action simulée et projetée sur le monde31 ». « Ces créations numériques ne pourraient-elles pas être envisagées également non plus seulement comme représentation, mais comme une action simulée et projetée sur le monde ? […] Mais l’art interactif ne saurait se réduire à la simulation, même s’il s’appuie sur elle pour faire entrer le spect-acteur dans le jeu de l’interactivité. Il ne peut se réduire à l’illusion, l’illusion des actions/perceptions simulées, qui permet toutefois d’amorcer une cohérence perceptive pour le spect-acteur, acteur de l’expérimentation proposée. Cohérence que l’artiste tente de dépasser : brouiller, perturber, provoquer un dérèglement des sens pour les questionner, les explorer, en sonder les limites, en créant de nouvelles expérimentations artistiques hybridant humains et êtres virtuels, à la recherche de nouvelles sensations, émotions, visions du monde, à partir du mouvement et de l’action32. » Ce dépassement de la simulation serait possible grâce à une de nos capacités humaines essentielles, celle de la vicariance33. En effet, pour Alain Berthoz, « l’originalité de l’homme est justement de pouvoir sortir de ce déterminisme, qui l’enferme dans un réel lié à ses besoins et ses outils sensoriels, grâce à la capacité remarquable de son cerveau de mettre en œuvre les processus vicariants dont il dispose pour échapper au réel ou à son réel34 ». Pour lui, c’est « ce jeu entre la flexibilité fonctionnelle que donne la vicariance et le désir et la capacité qu’a notre cerveau de réorganiser ces synergies différemment […] qui est la charnière du rapport réalité-illusion35 ».
Notes de bas de page
1 Dominique Boutet, Marion Blondel, Coralie Vincent, Marie-Thérèse L’Huillier, Fanny Catteau, Ilaria Renna, Patrice Guyot.
2 Anne-Marie Parisot, Julie Châteauvert.
3 Chu-Yin Chen, Judith Guez, Jean-François Jego, Marie-Hélène Tramus, Dimitrios Batras, Chen Wei Hsieh, Florine Fouquart, Nefeli Georgakopoulou, Isabelle Lemaux, Guillaume Metais Lannaud.
4 Xavier Maurel, Clara Chabalier, Julien Lubek.
5 Sébastien Delacroix.
6 Isaac Partouche, Jean-François Szlapka.
7 Brigitte Baumié, Michel Thion.
8 Captations vidéo effectuées lors d’expositions : Campus Exhibition du Festival international Ars Electronica, Linz Autriche, septembre 2015 ; Les Vitrines du Labex Arts-H2H, Théâtre Gérard Philippe, octobre 2015.
9 Nous emploierons le terme spect-acteur, terme que Jean-Louis Weissberg a adopté pour décrire la situation particulière dans laquelle se trouve la personne qui interagit avec l’œuvre interactive : elle devient à la fois contemplatrice et actrice de l’œuvre. Jean-Louis Weissberg, Présences à distance. Déplacement virtuel et réseaux numériques : pourquoi nous ne croyons plus à la télévision, Paris, L’Harmattan, 1999.
10 Dominique Boutet.
11 Jules Turlet.
12 Julien Lubek.
13 Ariel Alonso.
14 Les algorithmes génétiques créés par John Holland sont des méthodes s’inspirant de l’évolution darwinienne des êtres vivants pour rechercher la solution à un problème dont on ne connaît pas la solution. John H. Holland, Adaptation In Natural And Artificial Systems, Ann Arbor, University of Michigan Press, 1975.
15 Une machine à états finis (FSM) sert à modéliser le comportement séquentiel d’un objet. Elle comporte un nombre limité et défini d’états.
16 Jeffrey Abouaf, « Biped : a dance with virtual and company dancers », MultiMedia, IEEE 6, 3, 1999, p. 4-7.
17 Michel Bret, Marie-Hélène Tramus, and Alain Berthoz, « Interacting with an intelligent dancing figure: artistic experiments at the crossroads between Art and Cognitive Science », Leonardo 38, 1, 2005, p. 46-53.
18 Ronan Billon, Alexis Nédélec, and Jacques Tisseau, « Gesture Recognition in Flow in the Context of Virtual Theater », Intelligent Virtual Agents, Springer, 2008, p. 470-471.
19 Adela Barbulescu, Rémi Ronfard, Gérard Bailly, George Gagneré, and Huseyin Cakmak, « Beyond basic emotions: expressive virtual actors with social attitudes », Proceedings of the Seventh International Conference on Motion in Games, ACM, 2014, p. 39-47.
20 Dimitrios Batras, Judith Guez, Jean-François Jego, Marie-Hélène Tramus, « A virtual reality agent-based platform for improvisation between real and virtual actors using gestures », in Proceeding , Proceedings of the 2016 Virtual Reality International Conference, Article n° 34, Laval, France, March 23 – 25, 2016, New York, NY, USA ©2016, ISBN : 978-1-4503-4180-6.
21 Soulignons que, dans ce projet, nous avons fait le choix d’une illusion d’adaptation par la technique de capture de mouvement en temps réel et d’une illusion d’autonomie en constituant à l’avance une base de données des gestes captés ou en affichant des gestes générés en temps réel. La poursuite de cette recherche pourrait être de doter l’acteur d’une capacité d’adaptation et d’autonomie en s’appuyant sur des algorithmes d’intelligence et de vie artificielle (réseaux de neurones, algorithmes génétiques).
22 Bruno Arnaldi, Philippe Fuchs, Pascal Guitton, « Introduction à la réalité virtuelle », Le traité de la réalité virtuelle, Vol. 4 : Les applications de la réalité virtuelle, Paris, Les Presses de l’École des Mines de Paris, 2006, p. 3-30.
23 B. Arnaldi, P. Fuchs, P. Guitton, op. cit., p. 6.
24 Philippe Fuchs, Guillaume Moreau, Alain Berthoz, (Eds), Le Traité de La Réalité Virtuelle, Volume 1 – L’Homme et l’Environnement Virtuel, Paris, Les Presses de l’École des Mines, 2006, p. 331.
25 Olivier Nannipieri, « Les Paradoxes de La Présence Dans Les Environnements Immersifs : De La Réalité À La Réalité Virtuelle » (Thèse, Université de Toulon, dir. Philippe Dumas, 2013), p. 151.
26 Judith Guez, « Illusions entre le réel et le virtuel (IRV) comme nouvelles formes artistiques : présence et émerveillement » (Thèse en Esthétique, sciences et technologies des arts, spécialité : image numérique de l’Université Paris 8), 2015, p. 139.
27 Tradition toujours renouvelée, allant des théâtres d’ombres de nombreuses cultures et époques (Chine, Cambodge, Thaïlande, Malaisie, Java, Bali, Grèce, Turquie, France, Italie, etc.), jusqu’aux animations de silhouettes du cinéma (Paul Grimault, Michel Ocelot, etc.) et aux dispositifs d’ombres interactives contemporains (Myron Kruger, Lali Krotoszynski, Jean-François Jego, etc.).
28 Pour Francisco Varela, dans L’inscription corporelle de l’esprit : Sciences Cognitives et Expérience Humaine, Paris, éd. Seuil, 1999, p. 235, « La perception par l’énaction n’est donc pas de déterminer comment un monde indépendant du sujet de la perception doit être reconstitué, elle consiste plutôt à déterminer les principes communs ou les lois de liaison des systèmes sensoriel et moteur qui expliquent comment l’action peut être perceptivement guidée dans un monde qui dépend du sujet de la perception. »
29 Dominique Boutet et al., « Gestuelle contrainte et empathie dans l’interaction homme-machine », Rencontres internationales d’anthropologie linguistique (RIAL 2016), L’être de langage, entre corps et technique : nouvelles données, nouvelle donne ?, Montpellier, mars 2016, https://hal.archives-ouvertes.fr/hal-01293427, consulté le 17 février 2017.
30 Alain Berthoz, Le sens du mouvement, Paris, Odile Jacob, 1997, p. 146.
31 A. Berthoz, op. cit., p. 147.
32 Marie-Hélène Tramus, « Recherches, expérimentations et créations dans les arts numériques, interactivité, acteurs virtuels » (HDR en Esthétique, sciences et technologies des arts de l’Université Paris 8), 2002, p. 194.
33 « Processus par lesquels nous pouvons faire la même chose avec des mécanismes ou des solutions ou des comportements différents », Alain Berthoz, La Vicariance. Le cerveau créateur de mondes, Paris, Odile Jacob, 2013.
34 Alain Berthoz et Marie-Hélène Tramus, « Pour une vicariance créatrice », revue Hybrid [En ligne], 02 | 2015, mis en ligne le 23 octobre 2015, consulté le 17 février 2017. URL : http://www.hybrid.univ-paris8.fr/lodel/index.php?id=526.
35 A. Berthoz et M.-H. Tramus, op. cit.
Auteurs
-
Marie-Hélène Tramus
Équipe INRéV et Laboratoire SFL
-
Chu-Yin Chen
Équipe INRéV et Laboratoire SFL
-
Judith Guez
Équipe INRéV et Laboratoire SFL
-
Jean-François Jego
Équipe INRéV et Laboratoire SFL
-
Dimitrios Batras
Équipe INRéV et Laboratoire SFL
-
Dominique Boutet
Équipe INRéV et Laboratoire SFL
-
Marion Blondel
Équipe INRéV et Laboratoire SFL
-
Fanny Catteau
Équipe INRéV et Laboratoire SFL
-
Coralie Vincent
Équipe INRéV et Laboratoire SFL
Le texte seul est utilisable sous licence Licence OpenEdition Books. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.
Régie théâtrale et mise en scène
L'Association des régisseurs de théâtre (1911-1939)
Françoise Pélisson-Karro
2014
L'avenir de la mémoire
Patrimoine, restauration et réemploi cinématographiques
André Habib et Michel Marie (dir.)
2013
Les archives de la mise en scène. Hypermédialités du théâtre
Jean-Marc Larrue et Giusy Pisano (dir.)
2014
Pour un cinéma léger et synchrone !
Invention d'un dispositif à l'Office national du film à Montréal
Vincent Bouchard
2012
