La mise en abyme
De la curiosité esthétique au fondement de la sémiotique
p. 85-101
Texte intégral
1Il s’agira ici de réactualiser l’analyse que fait Dällenbach de la notion gidienne dans le Récit spéculaire, afin d’en élargir la portée scientifique à des travaux récents allant de l’anthropologie de l’art à la linguistique, en passant par les sciences du vivant et les mathématiques. Plus précisément, il s’agira de montrer, grâce à une approche interdisciplinaire, que les structures dites « en abyme » où l’on assiste à la récurrence de formes identiques enchâssées à plusieurs niveaux sont indispensables à la constitution de systèmes sémiotiques artificiels – formes picturales, textes, fictions, langage mathématique – mais également naturels, car ils sont l’expression la plus simple de toute croissance et de régénérescence de la forme ; le langage humain se logeant à la charnière entre les deux puisque lui aussi fondé sur des imbrications et des réitérations morphosémantiques à plusieurs niveaux, à l’origine de l’émergence d’une cohérence sémiotique et/ou textuelle signifiante.
Littérature, auto-réflexivité et méta-textualité
2En littérature comme en peinture, la mise en abyme, relève d’un processus de duplication formelle hiérarchisée assorti d’un rapport de type contenant/contenu. Chaque unité de sens, motif narratif, image, semble inséré[e] dans une structure supérieure présentant les mêmes propriétés morphologiques que celles qu’elle contient. La réitération formelle et le changement d’échelle s’y expriment non par le truchement d’une juxtaposition, analytique et linéaire1, mais par celui, plus énigmatique, de l’enchâssement, dispositif synthétique et fascinant. Dans ce type de configurations, l’esprit peine à identifier où et comment s’opère la jonction entre chaque entité imbriquée, et comment chacune parvient à se déployer avec, en son sein, cet analogon, à la fois partie intégrante de ce qui la contient et corps étranger, du fait même de sa singularité ; un isomorphisme miniature perçu comme incongru. Cette spécificité apparaît de façon immédiate et obvie en peinture, alors que dans le récit, elle se loge au détour de la diégèse, de façon plus ou moins explicite car « la clef herméneutique ne peut en aucun cas ouvrir l’accès à une réflexion avant que le récit n’en ait révélé l’existence et indiqué l’emplacement2 ». La réduplication enchâssée peut ne concerner que ses contours, exemple du cadre dans le cadre, fort courante en peinture. Elle peut aussi s’étendre au contenu3, ou se faire l’écho de la relation entre le cadre et le contenu, reflétant le réseau de relations qui sous-tend l’œuvre, entre auteur, narrateur, récit, et personnages. Au-delà, le récit de fiction peut lui-même être l’objet d’une écriture fictive4 comme c’est le cas dans Les Faux-monnayeurs :
« L’on peut donc définir la mise en abyme gidienne comme un couplage ou un jumelage d’activités portant sur un objet similaire ou, si l’on préfère comme un rapport, la relation du narrateur N à son récit R étant homologique de celle du personnage narrateur n à son récit r.5. »
3La réduplication peut en outre être de différente nature : simple, à l’infini ou aporistique (« fragment censé inclure l’œuvre qui l’inclut ») pour reprendre la typologie proposée par Dällenbach6.
4Partant, c’est précisément sur cette réduplication subreptice, sise en elle-même, que le regard se porte, et de là, se voit convié à remettre en cause le signifiant, voire à ébranler sur son socle tout l’attirail représentationnel, tel que l’envisage le Nouveau Roman. Car il s’agit bien d’interroger le signifiant en le dissociant du signifié auquel il renvoie à plusieurs niveaux, par convention (signes linguistiques), ou par iconicité (cas des signes visuels en peinture figurative) ; cette opération de dévoilement, voire de dessillement, correspondant au phénomène d’« artistisation » théorisé par Molinié selon lequel tout régime sémiotique oscille constamment entre « mondanisation » (« résultat instrumental de l’opération sémiotique ») et « artistisation » (« action d’exhiber l’opération sémiotique en train de s’effectuer7 »). On peut dès lors considérer que le signifié du signifiant réitéré est justement le signifiant lui-même paré de cette récurrence définitoire, ce qui n’est pas sans rappeler la sémiotique peircienne8 et la génération de signes en cascade.
5Se produit alors une mise à distance quasi littérale, puisque l’itération morphologique s’incarne dans une, voire plusieurs figures plus petite(s), toujours contenues9, générant un mouvement de type travelling arrière pour employer un terme cinématographique. L’œuvre est alors perçue en retrait non plus comme donnant exclusivement préséance à ce qu’elle n’est pas formellement, son signifié, ce qui requiert une projection au-delà du signifiant, mais plus à ce qu’elle est, du point de vue de sa structuration, de sa genèse, de sa surface et de sa texture et ce, de façon parfaitement délibérée et réfléchie. Une fois le processus enclenché, la mise au jour de l’économie textuelle ou picturale gagne la périphérie, donnant lieu à une prise de conscience accrue du rôle que chacun est amené à tenir dans le traitement de l’œuvre, voire à une possible permutation de ces mêmes fonctions du fait de la dynamique spéculaire engendrée.
Rythme et vertige, le miroir dans le tableau
6Régies par un phénomène de concentricité, ces compositions dynamiques suscitent aussi un sentiment d’harmonie. La réitération rassure autant qu’elle déroute, comme autant d’occasions pour la pensée de se saisir par réverbération dans le temps de l’appréhension, ce qui crée un rythme propre à l’œuvre. Le point de fuite (on peut en effet considérer que les mises en abyme sont de véritables « points de fuite » en ce sens qu’elles créent une dynamique d’absorption de la forme en elle-même) y est à la fois abyme et point d’articulation centripète de l’œuvre. Deux réponses antithétiques s’offrent en effet à l’être aux prises avec le chaos : le vertige (« l’automouvement du chaos »), ou le rythme, c’est-à-dire, l’automouvement du moi dans la genèse de la forme (« Figuratif ou non, l’art vit de la vie des formes qui est genèse10 »).
7Dans le cas des mises en abyme picturales à partir d’un miroir représenté au point de fuite (cas bien connu du Portrait des Epoux Arnolfini de Van Eyck [1434]), la microstructure spéculaire inscrite au cœur du tableau redouble le phénomène en créant un passage vers un ailleurs à la fois au-devant du tableau et plus en profondeur dans le tableau ; une prolifération spatiale virtuelle, gouffres de la pensée et reflets spécieux demeurant là encore circonscrits par une structure maîtrisée et rythmée : « une eurythmie de l’apparaître11 ». La structure spéculaire est vectrice d’axes virtuels convergents en un point de fuite qui se confond géométriquement avec celui qu’elle recouvre et en un sens redouble, le foyer12. Mais elle se poursuit bien au-delà si l’on considère l’illusion de profondeur que la composition engendre, en perçant la surface plane du tableau coïncidant avec le mur du fond de la pièce représentée, d’une ouverture circulaire censée refléter un point de fuite diamétralement opposé au-devant de la scène (ce que le miroir bombé suggère), et se confondant, lui, avec le point de vue (dans le cas d’une perspective linéaire stricte). On a bien là affaire à une concaténation de points de fuite, avec un phénomène d’inversion selon le point de vue adopté puisque le point de fuite initial, plus proche, peut contenir le point de fuite secondaire ou bien être contenu par lui, si l’on se projette dans le miroir en son hic et nunc. Ce point de fuite passe en réalité outre le point de fuite premier pour se projeter au-delà, mais reste contenu structurellement du fait de son inscription dans le cadre pictural ainsi que dans le maillage dense et statique du dispositif perspectif. Ainsi le miroir suggère la subrogation, l’inversion des rôles, l’observé observable observant dans un jeu de reflets permettant au regard de circuler, au tableau de vivre mais aussi au sujet de se saisir et de s’« instituer » (pour reprendre la formulation lacanienne) et ce, bien qu’en réalité, ici, il n’y ait ni miroir, ni reflet. De fait, nul n’est besoin ni de miroir, ni de tableau pour se sentir observé quand on observe : « dans le champ, le regard est au-dehors, je suis regardé, c’est-à-dire je suis tableau. C’est là la fonction qui se trouve au plus intime de l’institution du sujet dans le visible13 ».
8Mais l’inversion des rôles auquel Van Eyck convie le spectateur afin de le faire virtuellement pénétrer dans l’espace pictural et d’en occulter la bi-dimensionnalité, provoque également un décalage temporel. La position des personnages, visibles au fond du miroir, l’un derrière l’autre, figure la projection dans un infiniment petit et signale la vision à venir, une vision proleptique, car la projection dans l’espace sous-tend toujours une projection dans le temps. En reculant dans l’infiniment petit du tableau, ces personnages se projettent infiniment plus loin dans le temps, jusqu’à nous qui en sommes les lointains descendants (voir le développement très convaincant sur la question que propose Martinet à propos de Paradise Lost14). Ainsi le peintre injecte cinétisme et temporalité dans ce qui en est intrinsèquement dépourvu. Une fois transportés par subrogation dans l’intérieur concave du miroir convexe, nous sommes en mesure d’imaginer l’envers des époux, donc des signes picturaux, dont la bi-dimensionnalité interdit normalement l’existence concrète. Pourtant Van Eyck contourne cette difficulté, en représentant l’envers du signe sur la courbure du miroir où l’on peut distinguer le dos des deux personnages. Outre la profondeur et la pluralité spatio-temporelle que la mise en abyme génère, l’on assiste à un dynamisme nous invitant à transcender la surface pour dépasser le signifiant en soi iconique et bidimensionnel, afin d’en extraire autre chose que le simple signifié, une myriade de possibilités, passant ainsi de l’iconique à l’arbitraire, du fini au multiple, fait paradoxal mais prégnant pour la suite de notre exposé.
Héraldique et dynamique d’engendrement
9Si la réduplication se heurte en général assez rapidement à ses propres limites représentationnelles et aux contraintes matérielles qui lui sont propres (rappelons l’aporie visuelle au cœur du tableau d’Escher intitulé Exposition d’Estampes où le peintre n’a pu reproduire le principe de récursivité géométrique qui régit son dessin dans l’infiniment petit)15, elle produit cependant une sensation d’infini très concrète de par le jeu de reflets qu’elle contient mais aussi, plus abstraite, de par la logique qu’elle sous-tend où la forme répétée semble se soustraire à la raison, mue par un dynamisme propre, sans limite ni moyen de l’endiguer, véritable abysse ou mind-trap (voir ci-après). Le processus inexorable dont il est question ici, est décrit par Dällenbach lorsqu’au chapitre v du Récit spéculaire, il revient sur l’art héraldique. Il s’était déjà penché longuement sur le sujet dès le premier chapitre afin d’évoquer comment, lorsqu’il s’était agi de forger l’expression qui désignerait le modèle esthétique auquel il aspirait, Gide avait puisé dans la terminologie du blasonnement ou l’art de décrire en termes techniques les armoiries. Plus exactement, ce dernier s’était inspiré d’un terme s’appliquant à désigner les symboles graphiques présents sur les écus, le mot « abîme » renvoyant dans ce contexte au « […] cœur de l’écu. On dit qu’une figure est en abîme quand elle est avec d’autres figures au milieu de l’écu, mais sans toucher aucune de ces figures16 ». Là, point de contact entre les formes, seule demeure l’idée d’une isomorphie de contenant mais non de contenu, écu dans l’écu : « […] ce qui dérive de ces définitions, c’est que le blason miniature ne saurait par principe reproduire l’écu qui lui sert de cadre, puisque celui-ci symbolise les quartiers […] du noble qui porte l’écu central17 ». En réalité, ce qui stimule la pensée gidienne, c’est une version détournée de cette première définition, dans laquelle « ce ne peut être que l’image d’un écu accueillant, en son centre, une réplique miniaturisée de soi-même18 ». Ainsi la mise en abyme gidienne inspirée de l’héraldique, renvoie à un signifiant dont le signifié serait le signifiant se contenant lui-même. Or l’apparition de l’écu dans l’écu produit un phénomène pour le moins fascinant : il bouleverse la forme initiale de l’écu, son unicité simple, parfaite et close. De fait, il implique quasi mécaniquement que l’écu contenu renferme à son tour un écu, puisqu’il modifie par rétroaction la forme initiale. Il lui ôte une part d’elle-même et, par ce prélèvement, la perpétue dans une autre forme amenée à se mutiler elle aussi :
« en s’ajoutant la possibilité d’être reproduite, l’identité de A s’est trouée de cet ajout et s’est partiellement perdue (abymée) dans l’écu qui la supplée – en d’autres termes, l’excès de B par rapport à A est en réalité en défaut […] chaque exemplaire de la série, toujours décalé par rapport à soi-même, ne trouve sa forme prescrite par le blason qui le précède qu’en s’incorporant un nouveau blason qui le creuse19 ».
10Est ainsi suggéré un lien de causalité sans fin, la première immixtion étant à l’origine d’un effet domino, traduisant un phénomène d’auto-engendrement, ou l’œuvre à chaque instant fait éclore une forme nouvelle nourrie d’elle-même ; phénomène qui, si l’on devait choisir une image naturelle, trouverait une illustration dans celui de la déhiscence en botanique (éclosion spontanée d’une plante pour libérer des graines ou autre, en des points d’ouverture déjà inscrits dans sa forme initiale).
11Loin de se réduire à une esthétique spéculaire voire à la seule subversion d’un genre littéraire ou pictural qui se prendrait pour objet, la mise en abyme est régie par une redoutable dynamique d’engendrement, quasi organique, en ce sens que sa morphogenèse induit mécaniquement une autre morphogenèse ad infinitum ; d’où sa portée déterminante dans des domaines ne relevant pas exclusivement de productions artistiques jouant sciemment de leur dimension méta-textuelle ou autoréflexive.
Pièges topologiques, abduction et agentivité
12La suggestion d’auto-génération que recèle la mise en abyme par la répétition du même en soi et le jeu répété du rapport contenu/contenant évoque la notion de « piège à pensée » ou mind-trap forgée par l’anthropologue Gell à propos de certains motifs décoratifs. De fait, notamment dans le cas de motifs géométriques en abyme comme on en retrouve dans les parquets en étoile de marqueterie par exemple, ces dessins semblent agir comme un leurre visuel absorbant le regard dans une profondeur illusoire. La notion de piège nous rappelle que les objets peuvent paraître dotés de propriétés intentionnelles (nous l’avons vu, la simple représentation d’un miroir peut nous donner l’impression d’être observé). Les cadres encadrés dénotent d’ailleurs figurativement les pièges à trappe issue de la tradition cynégétique (cadres posés au-dessus d’une fosse creusée dans la terre, dotés de deux battants qui pivotent vers l’intérieur au passage d’une proie), et connotent ainsi le vide dans lequel le regard ou l’esprit menacent de basculer au gré des caprices de ces dispositifs, comme doués d’un mouvement et d’une volonté propres. Ils rappellent aussi les réseaux concentriques des toiles d’araignée qui vibrent au moment de la prise, pièges naturels si l’en est20.
13Gell rend compte de la force opératoire de ces motifs en arguant que ces derniers exercent une emprise cognitive sur celui qui les observe et en pressent la logique sans parvenir à la déchiffrer, à la façon des labyrinthes dont on sait qu’ils comportent une issue sans savoir comment y accéder21. Il prend aussi pour exemple les kolams, entrelacs éphémères que dessinent chaque matin à la poudre de riz les femmes indiennes sur le pas de leur porte et ce, pour conjurer le mauvais sort (notamment dans le Tamil Nadu22). « Pièges topologiques » composés de méandres, sinuosités et autres zigzags très réguliers, ces arabesques sont si complexes dans leur tracé et leur orientation, qu’elles génèrent un sentiment d’impuissance quant à la forme perçue, d’où leur action sidérante sur les esprits maléfiques, comme sur le commun des mortels23. Chaque fois, le motif semble transcender la structure finie qui l’accueille.
14L’anthropologue forge à ce propos un autre concept, celui d’agency ou « agentivité », qui découle des notions d’abduction et d’indice peirciens. L’abduction est un processus naturel, un « schéma d’inférence24 » à partir de signes indiciels qui ne relèvent ni de la déduction logique, ni de l’induction mais plutôt d’une propension cognitive naturelle à envisager de façon très empirique la cause de tout phénomène perçu comme un effet, le feu pour la fumée par exemple, le sourire pour une disposition amicale25. L’abduction se situe entre la convention sémiotique et la loi de la nature26. Dans le cas précis de la mise en abyme, la notion d’« agentivité » de l’objet semble étayée par le jeu de contenu/contenant qui suggère une intériorité et, par extension, une intentionnalité, à l’instar des « idoles […] constituées de manière à suggérer un “intérieur”, à établir implicitement un rapport contenu/ contenant qui pointe vers des “états internes”, vers une intentionnalité27 ». On ne peut manquer de penser là encore aux matriochkas enchâssées, symboles de fertilité, qui nous font passer de la figure gironde et maternelle la plus grande et la plus extérieure, au petit être logé en son cœur, embryon de vie. Cette configuration organique fait que, naturellement, la manipulation de tels objets dans le temps, où il s’agit de dévisser une à une chaque figurine creuse, nous donne l’étrange impression que l’ensemble contient véritablement en germe un principe de vie, « ce sens de la forme en formation, en transformation perpétuelle, dans le retour du même » qu’est la définition que donne Maldiney du rythme de la forme28. Ceci étant, notons que même avant d’introduire le concept controversé d’« agentivité » en anthropologie29, Gell considérait que l’œuvre d’art acquérait son statut, de sa capacité à « [assouvir] l’examen intense des destinataires parce qu’il “incorpore des intentionnalités qui sont complexes, exigent une attention soutenue, et sont peut-être difficiles à reconstruire entièrement”30 ».
La mise an abyme comme obstacle cognitif et symbole d’inachevé
15L’importance conférée à l’emprise cognitive exercée par l’œuvre d’art s’inscrit dans une approche anthropologique qui privilégie la dimension sociale des artefacts, en tant que symboles des interactions qui s’y jouent (et ce, bien qu’encore une fois Gell s’inspire très ouvertement de la sémiotique de Peirce et d’Eco31). Cette perspective est tout à fait pertinente lorsque l’on considère que l’une des toutes premières images « abymées » dont on ait trace en histoire de l’art, se trouve sur un retable commandé par le cardinal Stefaneschi au début du xive siècle afin d’orner le maître-autel de l’ancien édifice de la basilique de Saint-Pierre de Rome32, et représentant en miniature, au revers de son volet central, l’offrande du retable par son commanditaire, figuré à genoux aux pieds de Saint-Pierre. Ici, nulle trace de l’exécutant de l’œuvre mais seulement de l’agent social à l’origine du triptyque, au moment de la transaction dont le retable est précisément l’objet, transaction à visée éminemment politique puisqu’il s’agit de faire revenir le siège pontifical à Rome33. Ainsi la fascination exercée par l’objet est susceptible de renvoyer métaphoriquement à l’action à venir, que le don de l’objet a pour fonction d’engendrer (la papauté est symbolisée par la présence de Saint Pierre). La transaction réelle et celle représentée se confondent. Plus exactement, nous avons affaire à une mise en abyme aporistique dans laquelle le contenu contient l’œuvre qui le contient en ce sens que la transaction figurée devance la transaction réelle, puisqu’elle est inscrite dans l’œuvre avant même que celle-ci ait été offerte. Cette transaction concrète devrait selon toute logique se prolonger dans celle invoquée, comme si le geste symbolique revêtait une valeur performative. On retrouve ici l’agentivité déjà mentionnée, avec une transaction devant se traduire et se perpétuer dans un infléchissement concret du cours des événements.
16De la même manière, Stoichita étudie les motifs que l’on trouve sur les tapis moldaves, ou sur les œufs peints que l’on offre à Pâques dans cette même contrée, et dont il montre qu’« ils sont composés de manière motivique, afin de produire idéalement, un effet de résistance cognitive34 ». Ce phénomène entre en résonance avec la fonction première des bibelots auquel il s’applique (les œufs), ou dont il constitue la trame (cas des tapis), puisqu’ils sont destinés à resserrer et préserver les liens sociaux ; à les figurer, les affermir mais aussi les générer. Pour cette raison, ces objets se doivent de recéler une forme d’inachevé, emblématique du tissu social qu’ils contribuent à réélaborer inexorablement (voir la notion de « constructions inachevées35 ». L’aspect mystérieux et indécidable de ces motifs est corroboré par le fait que, dans le cas des tapis moldaves de la région de Roman, « même les spécialistes les plus habiles ne savent pas “inventer” de nouveaux motifs et même les plus âgées ne se souviennent pas d’avoir connu un jour une femme qui en fût capable36 ». Dès lors, leur existence même témoigne d’un savoir-faire ayant nécessité le concours de plusieurs générations d’artisans, resserrant les liens communautaires non plus seulement dans l’espace, au moment du don, mais aussi dans le temps, avec la transmission d’un procédé de fabrication ancestral.
17Partant, le motif transcende son appréhension idiosyncratique, le sujet pressentant dans ces formes une force collective qui le dépasse. Peut-être est-ce pour cette raison aussi que l’on retrouve le procédé de la mise en abyme dans nombre d’images publicitaires. Outre le fait que vanter un produit implique parfois de le représenter avec celui qui le produit et/ou le consomme (cas de la réclame bien connue pour le cacao Droste, dont Dällenbach signale qu’elle constitue « son premier contact avec la notion d’infini37 ») et donc de répéter la même forme dans un même contexte à plusieurs échelles, il s’agit aussi, bien évidemment, de captiver le regard du chaland, pris dans le re-jeu constant de la transaction propre à la société de consommation (on citera bien entendu les coffrets de fromage La vache-qui-rit et les anciennes bouteilles de quinquina Dubonnet ; notons à ce propos la mise en abyme verbale aporistique dans le fameux Dubo-Dubon-Dubonnet, le dernier mot contenu syntaxiquement contenant formellement tous les autres).
Fractales, formes naturelles et ontogenèse
18À ce stade de notre analyse, il convient d’introduire la notion de figure fractale38 qui présente comme supériorité sur la mise en abyme classique d’en être une version modélisée « se référant à une dynamique d’engendrement […] et non plus à une disposition statique de traits isolés39 » ; dynamique finalement assez proche de ce que Dällenbach décrit au chapitre v de son ouvrage (cf. ci-dessus), à ceci près que dans le cas des fractales, cela se traduit par un langage mathématique et des moyens informatiques capables de générer visuellement ces espaces dynamiques illimités, en appliquant le même algorithme des millions de fois par itération, afin d’obtenir une courbe que l’on peut littéralement parcourir et zoomer à l’infini grâce à des animations informatiques40. Quelle que soit l’échelle à laquelle on se place, chaque espace contenu est absolument indifférencié morphologiquement de celui qui le contient, ce qui entraîne une perte de repères vertigineuse, cet « automouvement du chaos » signalé par Maldiney. Dans cette occurrence particulière de la mise en abyme, on retrouve la génération d’un infini contenu dans une forme apparemment finie, une homothétie interne ou « self-similaire41 », auxquelles s’ajoutent les principes de récursivité et de consubstantialité, principes fondamentaux pour la suite de notre démonstration.
19La théorie des fractales constitue une alternative à la géométrie euclidienne en ce sens qu’elle permet de mesurer des formes non plus exclusivement « lisses » telles que les cercles, carrés, et autres rectangles, mais également des formes que le mathématicien Mandelbrot qualifie de « rugueuses », c’est-à-dire qui présentent une surface extrêmement découpée ou fragmentaire et ce, en « cascade », avec une myriade de détails à plusieurs échelles42. À l’origine, la question des fractales était intimement liée à celle de la topographie, à l’analyse et la mesure de phénomènes naturels que la géométrie classique ne permettait pas de décrire adéquatement, comme la forme aléatoire des nuages ou celle très accidentée des littoraux. Ainsi, dans les configurations « déchiquetées », telles que celles que présente le littoral breton, composé de baies et de péninsules, elles-mêmes composées d’« innombrables sous-baies et sous-péninsules », elles-mêmes composées de « sous-sous-baies et de sous-sous-péninsules43 », la longueur du littoral varie selon l’échelle à laquelle on se place et l’unité de mesure adoptée. Plus l’unité sera petite et précise, plus on prendra en compte les micro-accidents du relief, plus la longueur mesurée sera grande voire tendra vers l’infini, ce que bien entendu, on évite de faire en utilisant des unités de mesures anthropocentriques, en réalité très subjectives et imprécises mais suffisamment opérantes44. La théorie des fractales montre que rien n’est mesurable puisque dès que l’on change d’échelle, de nouvelles surfaces apparaissent. Les limites absolues n’existent pas dans le monde. Dès lors, ces objets fractals constituent une parfaite illustration des « pièges à pensée » et autres phénomènes motiviques de transcendance cognitive déjà abordés. En effet, tout motif interne présente ici une dimension qui dépasse systématiquement le support fini qui le contient. C’est le cas par exemple des courbes de Peano, découvertes avant Mandelbrot mais dont ce dernier a su percer le secret, et dont l’aspect présente d’étranges affinités avec les motifs plus haut décrits à propos des tapis moldaves45 : « une ligne qui se courbe tellement – sans jamais se couper – qu’elle remplit un plan et a donc de fait une dimension 246 » ; ou de l’« île de von Koch47 » qui « s’inscrit naturellement dans un hexagone régulier convexe » mais dont en réalité la structure étoilée s’avère impossible à mesurer48. Avant même la naissance du concept en mathématique, la nature comme l’art nous ont offert de merveilleux échantillons de formes fractales, on citera entre autres la fameuse estampe japonaise d’Hokusai La Grande Vague de Kanagawa où la vague éponyme se décompose en vagues plus petites, puis en vaguelettes (comme c’est précisément le cas à la surface des océans), ou les rosaces des cathédrales gothiques contenant des subdivisions circulaires en pierre elles-mêmes subdivisées en vitraux quadrilobés.
20Avec les objets fractals, nous ne sommes plus dans le cas de l’écu mis en abyme sans point de contact véritable entre le contenu et le contenant, mais au contraire, en présence d’espaces dynamiques complexes où contenu et contenant entretiennent un lien consubstantiel, emblématiques du vivant49. Que l’on se place à l’échelle de l’atome ou des galaxies (qui rappellent très clairement la courbe de Mandelbrot), du relief montagneux, des ramifications végétales ou de celles du poumon ou de la circulation sanguine, la fractalité y exprime fondamentalement une dynamique de croissance et de prolifération des formes, du plus grand au plus petit, avec des motifs récurrents d’arborescences, de circonvolutions et de fragmentation.
21Or au début du xxe siècle déjà, le naturaliste écossais d’Arcy Thompson avait inventorié une série de formes naturelles, dont il avait su montrer en se servant de la géométrie euclidienne classique qu’elles étaient des variations assez simples les unes des autres, présentant des affinités formelles et des qualités d’auto-organisation macrostructurelles révélant que la nature choisissait toujours les voies les plus simples pour se régénérer : « Tout comme la créature qu’elle abrite, la créature accroît sa taille sans changer aucunement de forme ; et cette constante relativité de la croissance, cette constante similitude de forme constituent l’essence et donc la base de la définition de la spirale équiangle50. » Ainsi à propos de la coquille du Nautilus ou des cornes de bélier qui sont de beaux exemples de mise en abyme naturelle (« qui doivent leur croissance aux cellules vivantes sous-jacentes […] et non pas à un principe qui leur est propre51 »), il montre que ce type de spirale (équiangle) se différencie des spirales uniformes de type spirale d’Archimède, du simple fait d’un changement de paramètre dans la division cellulaire telle que la vitesse ou l’orientation, un processus non-linéaire, lié à la croissance, et donc partie prenante de l’ontogenèse de chaque espèce52.
Énoncé et échanges intersubjectifs
22Ce processus remarquable est aussi très perceptible lorsque l’on considère l’énoncé, forme à la fois vivante et très contrainte. Notamment les énoncés complexes, c’est-à-dire ceux contenant une, voire plusieurs propositions enchâssées. La question des énoncés complexes touche à celle, plus vaste, de l’étonnante propriété du langage humain à pouvoir engendrer non seulement un nombre infini d’énoncés mais aussi des énoncés structurellement illimités et ce, à partir d’un nombre fini de règles morphosyntaxiques.
23Cela signifie entre autres que les lois régissant l’énoncé interdisent, lorsque celui-ci s’amorce, d’en prévoir le terme. Il peut en théorie se développer ad infinitum tout en restant parfaitement grammatical. Or ceci est rendu possible du fait d’un phénomène d’itération de règles morpho-syntaxiques et de répétitions de formes identiques à plusieurs niveaux de l’énoncé. À titre d’exemple, on peut citer l’itération de la règle de construction des relatives en français qui permet de construire un énoncé constitué d’une infinité de méandres, sans que l’on sache au préalable quand cela va cesser, comme l’illustre la tirade bien connue du pompier extraite de la scène viii de La Cantatrice chauve53 de Ionesco, passage souvent signalé par les linguistes54. Ces structures permettent de reproduire à une échelle inférieure une structure syntaxique comparable à celle dans laquelle cette dernière est enchâssée, grâce à l’insertion d’un pronom relatif par exemple, élément charnière à dimension à la fois anaphorique (il reprend l’antécédent), et cataphorique (il permet d’introduire et d’annoncer la suite de la subordonnée), faisant ainsi office à la fois de contenu et de contenant. Ainsi, l’intégration hiérarchisée des éléments phrastiques en français à l’instar d’autres langues, passe forcément par des phénomènes syntaxiques comparables aux structures d’engendrement que sont les fractales, car ce sont ces structures qui permettent l’émergence d’un tout signifiant et dynamique. Ce phénomène a bien sûr été amplement étudié et exploité par la grammaire générative fondée précisément sur un principe de récursivité et d’auto-engendrement des formes mis au jour par Chomsky (s’inspirant en cela du distributionnalisme dont il est un des héritiers). Il dévoile comment des structures linguistiques dites « de surface » relativement complexes et contingentes du type de celles que nous venons d’évoquer (propositions enchâssées), fondées sur une combinatoire infinie, peuvent être transposées en une série de liens logico-syntaxiques assez peu nombreux. Ces liens émanent d’une structure logique sous-jacente simple, grâce à une série de transformations et de règles de réécritures récurrentes, que traduisent formellement les arborescences générativistes55. Dans ce type de grammaire, le sémantisme de l’énoncé est ponctuellement délaissé pour n’en plus considérer que l’articulation logico-syntaxique et ce principe d’auto-engendrement structurel fondateur.
24Plus récemment, le concept de fractalité a été explicitement repris par la linguiste, spécialiste du wolof (langue africaine parlée notamment au Sénégal), Robert, afin de qualifier certains morphèmes dits « transcatégoriels », c’est-à-dire dont la fonction et la portée grammaticale sont variables. Elle montre qu’il existe un lien « motivé » entre sémantique lexicale et sémantique grammaticale lorsque, dans un même terme, tour à tour morphème lexical ou grammatical, le sémantisme initial se perpétue dans la fonction grammaticale, cas du suffixe « -u » en Wolof qui signifie « l’indétermination par rapport à l’espace du locuteur » concrètement (indice spatial)56, mais aussi de façon plus abstraite lorsqu’il permet la construction d’un énoncé hypothétique par exemple (indétermination spatio-temporelle abstraite)57. Elle parle à ce propos de « fonctionnement fractal » : « la dilatation change alors le domaine d’application du sémantisme du terme et on passe de la détermination nominale à la prédication ou à la subordination, de l’espace déictique à l’espace des relations de dépendance syntaxique58 ».
25Or, ce phénomène est décelable dans nombreuses langues. On peut évoquer le morphème « that » en anglais courant contemporain (même si c’est un morphème exclusivement grammatical), qui peut fonctionner tour à tour comme adjectif (« that person »), adverbe (« I didn’t know it was that bad ! »), pronom (ou proforme) (« I like that »), ou conjonction de subordination (« I think that you are behaving badly »). Cela signifie concrètement que « that » peut se contenir lui-même et fonctionner seul quand il est proforme, renvoyant alors à un signifié extralinguistique identifiable par les deux coénonciateurs et qu’il s’agit pour l’énonciateur de désigner pour et par l’autre (« I like that »). Ce « that » permet d’une certaine façon de réduire le champ visuel, d’infléchir le regard pour l’orienter dans une seule direction à la façon d’une lunette, rejetant à la périphérie tout le reste, un opérateur de focalisation. Mais « that » peut avoir une fonction adverbiale ou adjectivale, auquel cas il apparaît aux côtés du nom ou de l’adjectif qu’il qualifie (et désigne aussi d’une certaine manière), ou encore suivi d’une subordonnée qu’il permet d’annoncer, d’introduire mais aussi, de reprendre afin de l’insérer dans l’ensemble supérieur que constitue la principale. À chaque fois, la forme annexée croît syntaxiquement (de l’entité extralinguistique désignée à distance à la proposition) et détermine la fonction grammaticale du « that », alors que l’« incidence sémantique » et la valeur déictique et anaphorique que le morphème recèle restent peu ou prou les mêmes : désigner, circonscrire et isoler une forme pour l’identifier ou l’intégrer dans une forme supérieure. Encore une fois, tout est affaire de perspective puisque selon l’échelle à laquelle on se place, le morphème va revêtir telle ou telle fonction, soit se substituer à un syntagme, soit le déterminer, soit annoncer et agir tel un opérateur d’enchâssement dans le cas d’une subordonnée.
26Reste à signaler un dernier phénomène et non des moindres, à savoir que les inversions et relations de contenu/contenant qui ont finalement constitué le thème fédérateur de cet article, ces dynamiques d’engendrement et de transcendance de la forme sont détectables aussi lorsque l’on considère l’emboîtement des regards, propres aux échanges intersubjectifs pris dans une situation concrète d’énonciation (ce qui n’est pas sans rapport avec ce que nous venons d’évoquer à propos de « that »). Là, le destinataire y est toujours perçu dans le champ de vision comme une enclave, un segment miniaturisé de « hors-moi » que le regard contient, donc inséré dans le « moi » que dessinent l’arcade sourcilière et l’arête nasale59. Ces jeux de regards, permutations et autres entrelacs sujet/sujet, sujet/objet, objet/objet offrent un éclairage intéressant en linguistique concernant par exemple le fonctionnement des pronoms personnels comme « je » et « tu »60, ou celui de « that » qui d’une certaine manière isole et circonscrit une parcelle de hors-moi miniaturisé par la mise à distance, de la même façon que l’arcade sourcilière et l’arête nasale enserrent concrètement l’objet de vision (l’incommensurable contenu dans le champ du regard comme l’infiniment grand peut l’être dans le cadre du tableau). Tout cela n’est pas sans présenter d’étroites affinités avec le dédoublement du sujet, et le « jumelage d’activités ou rapport de rapports » que Dällenbach évoque à propos des Faux-Monnayeurs61 ; mais aussi avec ce que les tenants de l’énaction et de l’autopoïèse nous enseignent, à savoir que toute forme de cognition provient d’une porosité, réelle ou virtuelle, entre le moi et l’autre (sujet ou objet)62. Encore une fois, Dällenbach tient des considérations analogues lorsqu’il mentionne la « construction mutuelle de l’écrivain et de l’écrit63 ». À un degré supérieur, au niveau de l’expérience esthético-cognitive générée par le texte littéraire ou l’œuvre picturale, ce re-jeu constant donne peut-être accès à l’aperception ou conscience d’avoir conscience, autre fameuse mise en abyme.
*
27La mise en abyme n’est donc pas seulement une curiosité esthétique (bien que les échantillons fractals que sont la coquille de nautilus ou la fougère dans sa version fossilisée, se rencontrent souvent dans les rayonnages des cabinets de curiosité au xviiie siècle). Parallèlement à la façon dont elle s’incarne de façon très ponctuelle et sporadique dans certaines œuvres bien précises dont elle constitue le leitmotiv, le motif central, l’accroche cognitive, la mise en abyme est en réalité un phénomène courant voire indispensable à la façon dont les formes se construisent en diachronie, s’agencent en synchronie, mais aussi se perçoivent et se conçoivent. Dans sa version fractale, elle a trait à l’ontogenèse et à l’autopoïese, au principe selon lequel tout être vivant est capable de croître et de se régénérer seul (selon Varela et alii c’est là, fondamentalement, ce qui caractérise le vivant). Mais elle rend aussi compte de la possibilité pour toute forme finie de recéler de l’infini et de l’insondable tant sur le plan du vivant que des artefacts.
28L’examen de la notion de mise en abyme sous un angle théorique interdisciplinaire aura ainsi permis d’en justifier la plasticité sémantique et de mettre au jour des parentés épistémologiques fécondes entre différents champs du savoir.
Notes de bas de page
1 Voir les schémas figuratifs de croissance de végétaux par exemple, comparables aux séries de poupées gigognes alignées en ordre croissant ou décroissant (et non insérées l’une dans l’autre).
2 Dällenbach Lucien, Le Récit spéculaire. Essai sur la mise en abyme, Paris, Seuil, 1977, p. 63.
3 On peut citer cette petite toile de Dalí, El Rostro de la Guerra (Le Visage de la guerre) où apparaît un crâne contenant dans les orbites et la cavité buccale un crâne plus petit, chaque crâne contenant en retour dans leurs orbites et cavité buccale des crânes en miniature, etc.
4 Ce que recouvre la notion de « sujet » pour reprendre la terminologie gidienne « en jouant sur [les] deux acceptions du mot sujet : “le sujet agissant, c’est soi ; la chose rétro-agissante, c’est un sujet qu’on imagine” ; “le sujet même de cette œuvre” ; “cette rétroaction du sujet sur lui-même”… » (Dällenbach Lucien, Le Récit spéculaire, op. cit., p. 30).
5 Ibid.
6 Ibid., p. 50.
7 Molinié Georges, « Pour une sémiotique de l’art verbal. », Quaderni del CIRSIL, 5, 2006, p. 266.
8 « J’ai déjà noté qu’un signe a un objet et un interprétant, ce dernier étant ce que le signe produit dans le quasi-esprit qu’est l’interprète, en déterminant chez lui un sentiment, un acte ou un signe, laquelle détermination est l’interprétant » (Peirce Charles S. Écrits sur le signe, Paris, Seuil, 1978 [1906], p. 189).
9 Voir Dällenbach citant Ricardou : « jamais, semble-t-il, la micro-histoire ne doit être plus longue que l’histoire qu’elle reflète, sous peine de devenir l’histoire reflétée. C’est dire que l’histoire contenue ne peut évoquer l’histoire contenante que sous l’espèce d’un résumé » (Dällenbach Lucien, Le Récit spéculaire, op. cit., p. 62 ; Ricardou Jean, Problèmes du Nouveau roman, Paris, Seuil, 1967, p. 189).
10 Maldiney Henri, Regard Parole Espace, Lausanne, L’Âge d’homme, 1973, p. 156-157.
11 Escoubas Éliane, L’Espace pictural, La Versanne, Encre Marine, 1995, 2e édition augmentée, 2011, p. 60.
12 Arnheim Rudolf, Art and Visual Perception. A Psychology of the Creative Eye, Berkeley, University of California Press, 2004 (1954), p. 295.
13 Lacan Jacques, « Qu’est-ce qu’un tableau ? », Le Séminaire, livre XI. Les Quatre concepts fondamentaux de la psychanalyse (séminaires de 1963-1964), Paris, Seuil, 1973, p. 98.
14 Martinet Marie-Madeleine, Le Voyage d’Italie dans les littératures européennes, Paris, PUF, 1996, p. 27.
15 Depuis, le problème a été résolu par Hendrik Lenstra et ses collègues mathématiciens de l’université de Leyde, qui ont non seulement « complété » la gravure d’Escher mais en ont aussi proposé une animation : [http://escherdroste.math.leidenuniv.nl/].
16 Foras, Amédée de (1883) cité dans Dällenbach Lucien, Le Récit spéculaire, op. cit., p. 17.
17 Ibid.
18 Dällenbach Lucien, Le Récit spéculaire, op. cit., p. 17.
19 Ibid., p. 143-144.
20 Pour filer la métaphore cynégétique, notons que, curieusement, ce sont de ces mêmes fils de soie arachnéens dont on se servit longtemps, du fait de leur extrême finesse, pour élaborer les réticules des lunettes en optique et ceux des fusils, en les faisant se croiser à angle droit dans les verres pour favoriser la visée d’une cible.
21 Gell Alfred, Art and Agency. An Anthropological Theory, Oxford, Clarendon Press, 2013 (1998), p. 107.
22 Ibid., p. 105-106.
23 Ibid.
24 Ibid., p. 19.
25 Ibid.
26 Ibid.
27 Allard Olivier, « Objets, personnes, esprits », Gradhiva, 11, 2010, p. 211.
28 Maldiney Henri, Regard Parole Espace, op. cit., p. 157.
29 Voir Allard Olivier, op. cit., p. 208-209.
30 Gell Alfred, Art and Agency, op. cit., p. 211, cité dans Allard Olivier, op. cit., p. 213.
31 Allard O., art. cité, p. 18-19.
32 Allimann Odile et Revaz Émilie, La Mise en abyme dans les arts, énoncé théorique de master, École polytechnique fédérale de Lausanne, section architecture, Lausanne, 2015, p. 9-10.
33 Ibid., p. 9-10.
34 Stoichita Victor, « Pensée motivique et pièges à pensée. Musique, tissage et œufs de Pâques en Moldavie », L’Homme, 192, octobre-décembre 2009, p. 35.
35 Gell Alfred, Art and Agency, op. cit., p. 100.
36 Ibid., p. 26.
37 Dällenbach Lucien, Le Récit spéculaire, op. cit., p. 34.
38 Comme l’indique Mandelbrot lui-même les deux orthographes sont possibles. (Mandelbrot Benoît, Les objets fractals, survol du langage fractal, Paris, Flammarion, 1995 [1975], p. 154.)
39 Batt Noëlle, « Dynamique littéraire et non-linéarité », Langage et linéarité, Villeneuve-d’Asq, Presses universitaires du Septentrion, 1999, p. 197.
40 « Les mathématiciens-informaticiens prétendent alors souvent engendrer de véritables œuvres d’art fractal dont leur talent et leur expérience esthétique renouvelée ne seraient absolument pas séparables » (Chirollet Jean-Claude, « En quel sens peut-on parler d’une “esthétique fractaliste” ? », Littérature et théorie du chaos, TLE, n° 12, 1994, p. 124).
41 Mandelbrot Benoît, Les objets fractals, survol du langage fractal, op. cit., p. 25.
42 Ibid.
43 Ibid.
44 Ibid., p. 22.
45 Rappelons que les techniques de tissage reposent elles aussi sur des algorithmes. On peut comparer les courbes : [http://aesculier.fr/fichiersMaple/peano/peano.html] avec les motifs des tapis : [http://svictor.net/component/content/article?id=103:lhomme-pieges].
46 Batt Noëlle, « Dynamique littéraire et non-linéarité », op. cit., p. 44.
47 Mandelbrot Benoît, Les objets fractals, survol du langage fractal, op. cit., p. 37.
48 Ibid., p. 34.
49 Notons que c’était d’une certaine manière déjà le cas dans l’art miniaturiste, je cite Panofsky : « la technique propre à Jan Van Eyck est d’une minutie tellement inexprimable que le nombre de détails inclus dans la forme totale approche de l’infini » (Panofsky Erwin, Les Primitifs flamands, Paris, Hazan, 2003 [1953], p. 330).
50 Thompson d’Arcy Wentworth, Forme et croissance, Paris, Seuil, 2009 (1942), p. 187.
51 Ibid., p. 183.
52 Précisons que la même spirale équiangle sous-tend le dessin d’Escher déjà cité, Exposition d’estampes.
53 « Mon beau-frère avait, du côté paternel, un cousin germain dont un oncle maternel avait un beau-père dont le grand-père paternel avait épousé en secondes noces une jeune indigène dont le frère avait rencontré, dans un de ses voyages, une fille dont il s’était épris et avec laquelle il eut un fils qui se maria avec une pharmacienne intrépide qui n’était autre que la nièce d’un quartier-maître inconnu de la Marine britannique et dont le père adoptif avait une tante parlant couramment l’espagnol et qui était […] » (Ionesco Eugène, La Cantatrice chauve, Paris, Gallimard, 1993 [1950], p. 61).
54 Voir Adamczewski Henri et Delmas Claude, Grammaire linguistique de l’anglais, Paris, Armand Colin, 1998 (1982), p. 274.
55 Chomsky Noam, Aspects de la théorie syntaxique, Paris, Seuil, 1971 (1965).
56 Robert Stéphane, « Grammaire fractale et sémantique transcatégorielle : entre syntaxe et lexique », Langages, vol. 33, 1999, p. 110.
57 Ibid., p. 111.
58 Ibid., p. 112.
59 Voir les travaux de Mach décrits par Solso Robert L., The Psychology of Art and the Evolution of the Conscious Brain, Cambridge, MIT Press, 1994, p. 63. Du fait du phénomène dit de « constance visuelle » le cerveau pallie cette perception erronée afin de restituer une représentation plus objective de la réalité. On peut faire seul l’expérience de ce phénomène en se plaçant devant un miroir. On remarquera alors que l’on fait systématiquement abstraction du fait que le reflet de notre visage y est deux fois plus petit qu’il n’est en réalité (voir à ce propos les travaux de Piaget Jean, Lambercier Marc et Iturbide Renée, La comparaison visuelle des hauteurs à distances variables dans le plan fronto-parallèle. Le problème de la comparaison visuelle en profondeur [constance de la grandeur], Neuchâtel, Delachaux et Niestlé, 1943).
60 « Le langage n’est possible que parce que chaque locuteur se pose comme sujet, en renvoyant à lui-même comme je dans son discours. De ce fait, je pose une autre personne, celle qui, tout extérieure qu’elle est à “moi”, devient mon écho auquel je dis tu et qui me dit tu » (Benveniste Émile, Problèmes de linguistique générale, 1, Paris, Gallimard, 1974, p. 259-260).
61 Dällenbach Lucien, Le Récit spéculaire, op. cit., p. 26.
62 Voir à ce propos les travaux du biologiste Varela ou encore ceux du neurophysiologiste Berthoz. Pour générer du sens à partir du perçu, le cerveau simule l’action qu’il pourrait exercer dessus, sans forcément l’exécuter. Par le biais d’une possible interaction avec lui, il l’intègre à son Umwelt ou « monde propre », les réactivations d’expériences passées comparables et les anticipations cognitives futures conférant à l’objet ou au sujet autre, une forme de pérennité ontologique. (Varela Francisco, Thompson Evan et Rosch Eleanor, L’Inscription corporelle de l’esprit. Sciences cognitives et expérience humaine, Paris, Seuil, 1993 ; Berthoz Alain, La Vicariance. Le cerveau créateur de mondes, Paris, Odile Jacob, 2013).
63 Dällenbach Lucien, Le Récit spéculaire, op. cit., p. 25.
Auteur
Le texte seul est utilisable sous licence Licence OpenEdition Books. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.
Comprendre la mise en abyme
Arts et médias au second degré
Tonia Raus et Gian Maria Tore (dir.)
2019
Penser la laideur dans l’art italien de la Renaissance
De la dysharmonie à la belle laideur
Olivier Chiquet
2022
Un art documentaire
Enjeux esthétiques, politiques et éthiques
Aline Caillet et Frédéric Pouillaude (dir.)
2017