1 Introduction

1Le thème abordé dans le second chapitre de cet ouvrage consacré à l’analyse linguistique en langues de spécialité appuyée par les corpus aborde une deuxième problématique centrale en linguistique de corpus, à savoir le partage de corpus. Alors que la linguistique de corpus est en plein essor, et ce pour plusieurs domaines des Sciences du langage (acquisition du langage, syntaxe, morphologie, lexique, linguistique de l’écrit, linguistique de l’oral, etc.), les problématiques liées à la diffusion, à la structuration et au partage des corpus prennent de plus en plus d'importance. Les corpus se diversifient et deviennent de plus en plus nombreux et volumineux, et ces questions s’avèrent de fait centrales. Les travaux de recherches sur l’oral et le multimodal peuvent désormais bénéficier de ces nouvelles ressources et s’appuyer sur les résultats statistiques des analyses quantitatives. La diversité des données est quant à elle devenue indispensable dans l’objectif de construire un corpus d’étude faisant varier, par exemple, les situations d'interaction (interactions spontanées issues d’un recueil écologique, interactions professionnelles, discours pédagogique, etc.) ou les catégories de locuteurs (construites par exemple en fonction de l’âge, de la catégorie socioprofessionnelle ou de la région d'origine du locuteur).

2Dans cette perspective, les chercheurs se retrouvent souvent face à deux options pour construire leur jeu de données :

• constituer ex nihilo leur propre corpus d’étude en procédant au recueil, à l’annotation et à la structuration des interactions (cette méthode demeure la plus couramment utilisée pour obtenir des données spécifiques qui n’existent pas en nombre suffisant) ;
• sélectionner et réutiliser des données existantes, partagées et disponibles.

Si chacune de ces méthodes semble avoir des avantages et des inconvénients qu’il paraît important de mesurer en amont, la réutilisation de corpus préexistants au projet de recherche amène nécessairement les chercheurs à se confronter à la problématique de la mise en commun de données linguistiques hétérogènes au niveau de leur format de structuration. En effet, les corpus peuvent être structurés dans des formats différents et, bien souvent, spécifiques à l’application utilisée pour les documenter ou les analyser.

3Ce chapitre présente une méthodologie outillée permettant d’agréger des données hétérogènes. L’objectif de la méthodologie que nous détaillons ci-dessous est de permettre aux chercheurs d’obtenir, après une série de traitements réalisés au moyen d’outils informatiques libres et techniquement accessibles, un jeu de données structuré dans un format commun et interrogeable à l’aide d’un outil de textométrie, en l’occurrence TXM (Heiden, Magué & Pincemin, 2010).

4Dans un premier temps, il semble important de réaliser une revue des principaux corpus oraux de langue française existants et de présenter les avantages, les inconvénients et les risques à prendre en compte lors d’une agrégation de ressources. Dans cette perspective, nous aborderons notamment les retours d’expériences des projets CRFC (Corpus de Référence du Français Contemporain, Siepmann, Bürgel & Diwersy, 2016) et ORFÉO (Outils et Recherches sur le Français Écrit et Oral, Debaisieux, Benzitoun & Deulofeu, 2016). Dans la suite du chapitre, nous détaillerons la méthodologie employée pour constituer l’agrégation de corpus. Enfin, la dernière section sera consacrée à deux études linguistiques réalisées sur ce jeu de données dans le but d’illustrer les potentialités de l’agrégation de corpus ainsi construite.

2 État des lieux

2.1 Revue des principales ressources disponibles

5Un grand nombre de recherches en linguistique de l’oral et en psycholinguistique requièrent des corpus de plusieurs millions de mots. Elles bénéficient désormais d’un éventail de ressources de plus en plus larges et diversifiées rendues disponibles dans les différentes archives par un nombre croissant de contributeurs. Ces corpus sont généralement constitués dans le cadre d’un projet de recherche spécifique et visent à traiter des problématiques ou des thématiques particulières. Ainsi, ce procédé conditionne non seulement la méthodologie de recueil des données (entretiens en face-à-face, recueil écologique), mais également le format de structuration des données primaires et secondaires. Dans le cas des données primaires, si un corpus visant principalement à étudier des formes de variation phonologique comme PFC (Phonologie du Français Contemporain ; Durand, Laks & Lyche, 2009) va chercher à recueillir des enregistrements audio de bonne qualité, d’autres projets mettant en jeu les interactions et la multimodalité, comme le corpus CLAPI (Corpus de LAngues Parlées en Interaction ; Groupe ICOR, 2016), par exemple, nécessiteront des enregistrements vidéo avec des contraintes de qualité acoustique moins importantes. En ce qui concerne les données secondaires (principalement les transcriptions et les annotations), elles sont le plus souvent structurées dans un format lié au logiciel utilisé pour les analyser. Dans ces deux exemples, PFC a été structuré à l’aide de l’outil Praat afin de procéder notamment à des analyses prosodiques ; CLAPI a été transcrit pour délivrer des annotations interactionnelles dans une version adaptée de Transcriber intégrant un jeu de conventions spécifiques. Ainsi, chaque corpus pourrait se définir en fonction de trois critères : l’objet sur lequel il porte et l’objectif scientifique vers lequel il tend, le type de ses données primaires et le format de structuration de ses données secondaires. Bien évidemment, comme nous venons de le voir, le premier critère conditionne les deux suivants, et donc la méthodologie mise en place pour recueillir et structurer le corpus.

6Depuis quelques années, le développement des espaces de stockage de corpus linguistiques (oraux, écrits et/ou multimodaux) comme ORTOLANG1, Cocoon2 ou CHILDES3 facilite l’échange et la circulation de ce type de ressources dont la constitution se révèle particulièrement coûteuse, notamment en raison de la nécessité de transcrire le signal audio ou vidéo et de superposer (souvent manuellement) à cette transcription des couches d’annotations linguistiques parfois nombreuses. Loin de prétendre à une revue exhaustive des ressources disponibles, nous présentons dans le Tableau 1 les principaux corpus oraux et multimodaux aujourd’hui accessibles en téléchargement à la communauté scientifique en reprenant les trois critères de définition cités plus haut.

7En comparaison avec les corpus écrits, les corpus oraux disponibles sont généralement de taille inférieure et ne dépassent que très rarement le million de mots. L’hétérogénéité du choix du format de structuration du corpus, le plus souvent motivé par son objet, est visible dans les corpus que nous présentons ici, avec trois formats de structuration différents. Ainsi, si la diversité des corpus oraux disponibles pour la communauté n’est pas nécessairement un frein à leur mise en commun, l’hétérogénéité des formats peut davantage poser des problèmes techniques aux chercheurs souhaitant fonder leurs analyses sur un ensemble de données linguistiques. Avant de voir comment cette difficulté peut être dépassée, nous nous pencherons tout d’abord sur les méthodologies mises en place au sein de deux projets d’agrégation de corpus : ORFÉO et CRFC.

2.2 Les agrégations de corpus déjà réalisées

8Si le coût de constitution des corpus oraux semble être un facteur important encourageant la réutilisation de données existantes, celle-ci peut être également motivée par la nécessité de rassembler plusieurs corpus dans le but de créer une collection de données de grande taille. Ces assemblages sont particulièrement intéressants pour répondre à deux objectifs de recherche. Premièrement, ils permettent de réaliser des travaux contrastifs en permettant par exemple de faire varier, lors de l’analyse, les modalités d’interactions (nature plus ou moins formelle des interactions), les caractéristiques des locuteurs (âge, région d’origine, catégorie socioprofessionnelle, etc.) ou bien encore la date d’enregistrement. Deuxièmement, ils ouvrent également la voie à des analyses quantitatives qui concernaient jusqu’à présent majoritairement les corpus écrits.

9Partant de cette logique de réutilisation, le projet ORFÉO a constitué le Corpus d’Étude pour le Français Contemporain (CEFC) à partir d’une vingtaine de sources de données hétérogènes. La plateforme d’interrogation du CEFC a été pensée afin « de se placer du point de vue du linguiste qui veut étudier les formes de l’énoncé et de ses composantes à travers les divers usages de la langue française4 ». Le corpus comprend deux parties : le français oral, d’une taille de 3,5 millions de mots composé de 14 corpus sources différents (cf. Tableau 2), et le français écrit, d’une taille de 7,5 millions de mots, composé de 6 corpus sources différents (cf. Tableau 2).

10La diversité des sources composant l’agrégation du projet ORFÉO permet ainsi non seulement de comparer français oral et français écrit, mais également (et surtout) de permettre l’analyse des énoncés en fonction de la situation de parole.

11Il s’agit du premier corpus d’étude sur le français regroupant une telle variété de sources de l’oral et de l’écrit et qui a fait l’objet d’un travail en partie manuel d’homogénéisation des métadonnées comme des transcriptions, rendant ainsi possible l’exploitation de ce corpus comme s’il s’agissait d’une seule et même source pour des analyses qualitatives et/ou quantitatives. Par ailleurs, la partie orale du CEFC a été enrichie d’annotations en syntaxe (segmentation, lemmatisation, parties du discours, relations de dépendance) conçues par un ensemble d’experts de l’oral et de spécialistes du traitement automatique du langage. Elle a également bénéficié d’un alignement automatique texte/son au niveau du mot, directement accessible depuis l’outil de requête en ligne. Un grand soin a donc été apporté à la qualité du corpus et à son homogénéité formelle afin de garantir l’exploitation la plus fiable possible d’un tel volume de données mais aussi de générer des annotations automatiques de qualité à partir d’un entrainement sur un corpus annoté manuellement par les experts. Ainsi, par exemple, l’ensemble des transcriptions ont été revues pour avoir les mêmes conventions de transcription en orthographe standard.

12Dans une autre approche, le Corpus de Référence du Français Contemporain (CRFC) a été constitué dans le but de « réunir un corpus assez important dans un délai raisonnable et à un coût abordable » (Siepmann, Bürgel & Diwersy, 2016, p. 3). Cette agrégation de corpus se compose d’environ 155 millions de mots, dont 30 millions sont définis comme étant issus d’interactions orales spontanées. La partie écrite de l’agrégation a été réalisée au moyen d’une aspiration automatique (ou dumping) de données issues du web5 tandis que la section « oral spontané » combine une aspiration de sous-titres d’émissions de télévision diffusées sur France 2, France 3 et France 5 (pour 75 % des données) et des transcriptions issues de corpus linguistiques librement diffusés (en l’occurrence CoLaJE (Communication langagière chez le jeune enfant ; Morgenstern & Parisse, 2012), ESLO 1 et ESLO 2 [Enquêtes sociolinguistiques à Orléans ; Eshkol-Taravella et coll., 2012]).

13Si nous pouvons remettre en cause la pertinence de l’utilisation de sous-titres pour l’analyse du français oral spontané (les sous-titres étant en effet très éloignés d’une transcription de l’oral), la méthodologie mise en place par les auteurs montre qu’il est aujourd’hui techniquement possible de réunir, avec un « coût méthodologique » minimum, un ensemble de données de grande taille rendant ainsi possible l’analyse quantitative de données textuelles en français.

2.3 Agrégation de sources existantes : difficultés méthodologiques et enjeux pour l’étude de la langue de spécialité

2.3.1 Homogénéisation des données et des métadonnées

14Si, comme nous venons de le voir, il est devenu aujourd’hui possible d’agréger des données existantes en réduisant les temps de traitement, l’agrégation de corpus oraux amène souvent les chercheurs à se confronter à certains enjeux méthodologiques. Parmi eux, l’homogénéisation des formats de structuration des données et la mise en commun de leurs métadonnées associées restent prépondérants. Dans le premier cas, la mise en commun des corpus impose en effet de se pencher attentivement sur les conventions de transcription et d’annotation des données primaires. Celles-ci sont diverses, allant le plus souvent d’une transcription orthographique normalisée à une transcription phonético-acoustique très précise (Delais-Roussarie, 2004). Afin de pouvoir effectuer des traitements automatiques (lemmatisation ou catégorisation par exemple) ou simplement interroger efficacement les données agrégées, il est nécessaire de les transformer en amont afin qu’elles répondent toutes à la même norme de transcription. Plus spécifiquement, il convient d’homogénéiser les annotations déjà réalisées dans les différents projets qui ont conduit à délivrer ces corpus avant même leur agrégation. Par exemple, des phénomènes comme l’amorçage de prononciation d’un mot ou la pause au milieu d’un énoncé peuvent être traités de façon tout à fait différente en fonction du projet. Nous verrons, dans la section suivante, une solution d’homogénéisation mise en œuvre.

15En ce qui concerne les métadonnées, l’enjeu se présente différemment : si l’un des objectifs de constitution d’une agrégation de corpus est de pouvoir réaliser des analyses contrastives, alors il convient de mettre en place une documentation efficace des métadonnées, chacune d’entre elles pouvant devenir un critère de contraste : l’âge des locuteurs, la situation d’interaction, la date de recueil des données, le lieu de naissance des locuteurs, entre autres. Il apparaît donc indispensable de procéder à une documentation homogène des différents corpus en fonction des objectifs de recherche ayant motivé cette agrégation. Chacun des projets à la base de leur constitution n’étant pas focalisé sur les mêmes variables d’analyses, on observe de grandes différences dans la nature des métadonnées, leurs échelles de valeurs ou leur format. Dans bien des cas, un chercheur peut se trouver bloqué par l’absence de certains descripteurs, comme l’âge des locuteurs par exemple, alors que cette information est connue du collecteur qui pourrait renseigner, à minima, s’il enregistre des enfants ou des adultes. D’autres métadonnées comme le lieu d’enregistrement ou la situation enregistrée ne sont parfois pas mentionnées explicitement quand elles sont liées à un corpus particulier qui porte par exemple sur des entretiens dans une ville donnée. Il convient toutefois d’aborder la question en amont afin de permettre un traitement plus efficace des données et éviter les ajouts erronés à posteriori, sachant qu’un jeu réaliste de métadonnées est souvent préférable à une longue liste qui ne sera jamais renseignée.

16Le CEFC a demandé un travail important de mise en commun des métadonnées, le plus souvent manuellement et conduisant parfois à réécouter les données primaires pour s’assurer de la nature de l’oral, du nombre de locuteurs ou de la qualité sonore de l'enregistrement. En effet, une part importante du projet ORFÉO a concerné la correction des transcriptions, l’utilisation de deux formats (en l’occurrence Transcriber et Praat) et l’homogénéisation des conventions de transcription, ainsi que le renseignement des métadonnées absentes ou incomplètes avant de pouvoir procéder à l’alignement automatique texte-son et d’annoter l’ensemble en morphosyntaxe et en dépendance. Disposer d’une ressource comportant des transcriptions et des métadonnées interrogeables de manière fiable requiert un travail d’homogénéisation et ne peut se limiter à une simple mise en commun des corpus de provenances diverses.

17À l’inverse, comme nous l’avons vu précédemment, un projet comme celui à l’origine du CRFC a décidé de ne pas s’attarder sur ces prétraitements de données pour s’attacher principalement à l’obtention d'un volume de données le plus important possible. Ainsi, les possibilités offertes pour l’analyse linguistique de l’oral poseront davantage de questions que pour le CEFC. Le choix de regrouper des données sources pour une part transcrites orthographiquement et vérifiées (ESLO, CoLaJE) et de l’autre des sous-titres d’émissions de télévision conduit à un corpus dont la représentativité et la variété sont discutables. Concernant le choix des métadonnées, il reste également limité et il ne permet pas de créer des sous-corpus en fonction de critères comme l’âge des locuteurs ou la situation d’interaction.

18Dans cette section, nous avons notamment pu faire le point sur les deux principales agrégations de corpus existantes en mettant en avant leurs spécificités. Issus de deux approches radicalement différentes de l’agrégation de corpus, le CEFC et le CRFC n’ont clairement pas les mêmes objectifs et chaque chercheur pourra privilégier l’un ou l’autre en fonction de ses problématiques de recherche. Dans la section suivante, nous montrerons comment chacun peut, au moyen d’un outil de conversion de corpus, procéder à sa propre agrégation de données pour répondre au mieux et au cas par cas à sa propre problématique de recherche.

3 TEI-CORPO : un format pivot et une bibliothèque d’outils

19TEI-CORPO correspond à une chaîne de traitements des transcriptions de l’oral dont le pivot est le format TEI. Il s’agit de pouvoir convertir au format TEI des corpus provenant d’une large variété de sources, et donc de formats de structuration. En retour, TEI-CORPO doit également pouvoir effectuer le chemin inverse, c'est-à-dire partir du format pivot dans le but de délivrer des transcriptions dans divers formats. Le format TEI constitue donc un format pivot qui partage les informations issues des différentes sources ou logiciels, sans perte d’informations, et qui permet en retour d’utiliser d’autres outils dont, par exemple, les applications de lexicométrie.

3.1 La TEI comme format pivot

20La TEI6 est un consortium dont le but est de développer et de mettre régulièrement à jour un standard pour la représentation de textes digitaux. Pour cela, le consortium a développé un format actuellement basé sur XML qui permet la représentation d’un très grand nombre de documents textuels. Une présentation complète du format, les guidelines (le manuel), est disponible sur le site de la TEI7. Ce manuel est très riche et permet une très grande variété de codages. Cette grande variété est une force car elle fait de la TEI un format pouvant avoir de nombreux usages, mais elle peut aussi être une faiblesse car la manière de coder les données, bien que respectueuse des informations sémantiques décrites dans le manuel, peut facilement varier d’un corpus à l’autre. De plus, même en étant très riche, le manuel peut se révéler insuffisant pour des nouveaux usages non encore pris en compte par le standard.

3.2 TEI-ISO pour l’oral

21C’est pour cela que s’est organisée il y a quelques années une initiative autour de la TEI et de son usage pour la transcription de l’oral qui a conduit au dépôt et à la validation en 2016 d’une norme pour l’oral (norme ISO 24624:2016)8. Cette norme a introduit un nouvel élément dans la TEI, <annotationBlock>, qui permet de regrouper un élément de transcription et des informations complémentaires pour coder aisément les informations de l’oral usuellement appelées tier (qu’on appellera lignes principales ou secondaires). Mais, surtout, cette norme a introduit une description des codes à utiliser adaptée aux données de l’oral, de manière à éviter d’utiliser des éléments ou des attributs différents pour coder le même type de données.

3.3 TEI-CORPO : format et outil

22TEI-CORPO (Liégeois, Etienne, Benzitoun, Chanard & Parisse, 2016) est un format pivot respectant intégralement les consignes de la norme TEI/ISO 24624:2016. On peut aussi dire que TEI-CORPO va plus loin que la norme ISO puisque le projet s’est orienté vers le codage sans perte d’information de fichiers de transcription issus des logiciels les plus utilisés dans la communauté de l’oral. Les logiciels ont été choisis en fonction des usages constatés lors de réunions de groupes de travail du consortium IRCOM (2012-2015). Ces logiciels sont CLAN9, ELAN10, Praat11 et Transcriber12. Ces outils présentent l’avantage de fournir à l’utilisateur des formats de transcription de l’oral très structurés, rendant ainsi possible la conversion. Elle nécessite toutefois une mise au point sur deux plans. Tout d’abord, il faut récupérer l’ensemble des informations de métadonnées fournies par ces outils pour les intégrer dans le formatTEI et permettre leur conservation. Ceci nous a amenés à élargir les usages de la TEI présentés dans la norme TEI/ISO en intégrant des éléments de la TEI qui n’avaient pas été associés à la norme. Dans certains cas, nous avons dû avoir recours au champ libre <notesStmt> pour insérer des informations non encore régies. C’est en particulier le cas pour les informations de structuration des transcriptions qui sont fournies dans CLAN et dans ELAN.

23TEI-CORPO a aussi été conçu pour offrir une conversion de la TEI vers les logiciels de transcription précédemment cités. C’est en particulier la raison pour laquelle des informations supplémentaires à celles du format TEI/ISO ont été ajoutées. Sans l’insertion de ces informations, une conversion des logiciels sources vers la TEI serait possible, mais une conversion inverse de la TEI vers ces logiciels ne le serait plus. TEI-CORPO garantit l’existence d’un aller-retour entre un logiciel source et la TEI. Par contre, les conversions croisées sont limitées par les caractéristiques des logiciels visés. Certaines informations étant disponibles dans certains logiciels mais absentes des autres, le passage d’un format de logiciel à un autre (par l’intermédiaire du format pivot TEI-CORPO) peut amener à une perte d’information.

24Également, TEI-CORPO a été conçu pour permettre une conversion des données TEI depuis ou vers d’autres formats que les logiciels de transcription. Il est ainsi possible d’importer des données textuelles, soit au format texte UNICODE, soit aux formats Microsoft Word ou Microsoft Excel (uniquement les variantes du format Office Open XML, norme ISO/CEI 29500, extensions usuellement appelées .docx ou .xlsx). L’export de données est possible vers ces mêmes formats, mais aussi vers les formats de données utilisés par des logiciels de textométrie comme TXM13, Iramuteq14, Lexico15 ou Le Trameur16.

25Enfin, TEI-CORPO permet l’utilisation sur les fichiers au format TEI/ISO de logiciels d’analyse syntaxique. L’interface est disponible pour deux outils, TreeTagger17 et le Stanford NLP18. Les analyses sont réalisées au format CONLL19 et permettent une conversion vers des outils comme ELAN, Praat et CLAN. La conversion vers Transcriber n’est pas possible car cet outil n’offre pas la possibilité de coder des tiers secondaires. La conversion vers CLAN est limitée en partie car CLAN ne permet pas de structurer les lignes secondaires. Les conversions vers ELAN et Praat se font en revanche sans perte d’information syntaxique.

3.4 Implémentation

26Les spécifications du format et des usages de TEI-CORPO ont été réalisées par le groupe de travail IRCOM « Interopérabilité »20 et en collaboration avec l’équipe du projet ISO/TEI et les travaux de Schmidt (2011). La réalisation technique des logiciels de conversion se présente de deux manières. La première est celle d’une bibliothèque programmée en langage Java par Myriam Majdoub et Christophe Parisse pour les projets ORTOLANG (Équipements d’excellence : ANR–11–EQPX–0032). Ce logiciel est disponible sur le site Ortolang21. Les sources sont sous licence BSD 2-Clause et sont disponibles sur GitHub22. Une interface sous forme de service web permet une utilisation en ligne sans installation de logiciel.23 Les sources de cette version sont distribuées sous la même licence.24

27Les versions Java et service web présentent quelques petites différences. La version Java permet l’utilisation des analyseurs syntaxiques (TreeTagger, Stanford NLP) et fournit quelques utilitaires de modification des données TEI (en particulier la manipulation des informations sur les médias). La version service web propose des conversions depuis les formats texte et Office Open XML. Les deux versions proposent un mécanisme permettant d’indiquer des options de structuration qui ont régi la transcription lors de la conversion de fichier Praat vers la TEI.

4 Construction du corpus et utilisation de TEI-CORPO

4.1 Les corpus

28Pour tester l’utilisation de TEI-CORPO, nous avons choisi de nous concentrer sur des corpus de grandes tailles comprenant des données médias, soit audio, soit vidéo. L’utilisation de telles données présente deux avantages : premièrement elle permet de tester efficacement l’application TEI-CORPO et les principes de codage des corpus ; deuxièmement, la présence de données audio ou vidéo représente une utilisation intéressante pour la recherche linguistique.

29Les corpus choisis sont les suivants :

• ALIPE (Acquisition de la Liaison et Interactions Parents Enfants ; ALIPE, 2017) : format CLAN, disponible sur https://www.ortolang.fr ;
• CFPP (Corpus de Français Parlé Parisien des années 2000 ; Branca-Rosoff, Fleury, Lefeuvre & Pires, 2012) : format Transcriber, disponible sur http://cfpp2000.univ-paris3.fr ;
• CLAPI : format Transcriber, disponible sur https://www.ortolang.fr ;
• CoLaJE : format CLAN, disponible sur https://www.ortolang.fr ;
• ESLO : format Transcriber, disponible sur https://cocoon.huma-num.fr ;
• Lyon Corpus (Demuth & Tremblay, 2008) : format CLAN, disponible sur http://childes.talkbank.org ;
• MPF (Français Parisien Multiculturel ; Gadet, 2017) : format Praat, disponible sur https://www.ortolang.fr ;
• PFC : format Praat, disponible sur https://www.ortolang.fr ;
• TCOF (Traitement de Corpus Oraux en Français ; TCOF, 2018) : format Transcriber, disponible sur https://www.ortolang.fr.

30Ces corpus représentent un total de 8,5 millions de mots, hors ponctuation. L’insertion dans une base commune présente quelques difficultés qui sont dues aux conventions de transcription suivies et aux métadonnées.

31La totalité de ces corpus suit des consignes documentées et assez précises d’annotation. La conversion est donc limitée à un nombre réduit de problèmes, d'autant plus que certains corpus suivent des conventions proches, voire identiques.

32Le premier cas est celui des transcriptions sous CLAN. Les données de ce type suivent les conventions du système CHILDES, nommées CHAT. TEI-CORPO reconnaît ce format et peut donc le convertir de manière automatique en données brutes, c’est-à-dire transcription orthographique seule, hors codes spécifiques de l’annotation de l’oral (disfluences, pauses, informations complémentaires, par exemple).

33Le deuxième cas est celui des données sous Transcriber. Le logiciel Transcriber permet d’insérer des informations spécifiques de l’oral qui peuvent être automatiquement utilisées par TEI-CORPO pour produire un texte en données orthographiques seules comme pour les fichiers au format CHAT. Toutes nos sources utilisent ce codage des données. Un codage spécifique est utilisé pour indiquer le commencement d’un mot inachevé en terminant le mot par un trait d’union (par exemple : « il va y aller à la m- au collège » – tiré de TCOF). Ces codes sont laissés à l’identique lors de la conversion. Par contre, les codes supplémentaires utilisés par TCOF (+, ***, ///) sont automatiquement supprimés. Enfin, pour CLAPI, les données liées aux annotations interactionnelles et à l’orthographe adaptée ont été « nettoyées » par le producteur même du corpus.

34Le troisième cas est celui des données sous Praat. Praat ne fournissant pas d’indication sur la manière de transcrire, le codage des transcriptions dépend des conventions utilisées par les producteurs de corpus. Pour PFC, le codage est décrit dans le premier bulletin d’information de PFC25. Le traitement des mots inachevés (codage se terminant par /) est similaire aux autres codages. Les indicateurs entre crochets, entre chevrons et entre parenthèses sont supprimés. Le codage des majuscules en début d’énoncé, différent des autres corpus, est conservé. PFC utilise par contre peu de conventions de transcription amenant à la production de formes non standard. Le codage de MPF utilise des codes que l’on retrouve dans CHAT, la même marque d’inachèvement de mot que pour les corpus issus de Transcriber. Le codage des majuscules en début d’énoncé pose le même problème que pour les fichiers PFC.

35On voit donc que, d’une façon générale, il est possible d’obtenir des textes bruts dans des formats assez proches, grâce à la bonne diffusion des conventions de transcription à l’intérieur de la communauté. Il faudra rester tout de même prudent sur l’interprétation des majuscules dans certains corpus. Dans un usage massif des corpus, on pourra, par exemple, sélectionner certains d’entre eux en fonction de la proximité de leurs conventions de transcription si les besoins de la recherche le nécessitent.

4.2 Traitements avec TEI-CORPO

36L’utilisation de TEI-CORPO pour obtenir un large corpus interrogeable par des applications de textométrie (ou toute application pouvant utiliser un fichier au format TEI) procède en trois étapes, en utilisant le module Java en ligne de commande :

4.2.1 Conversion du format original en TEI

37Cette commande convertit tous les fichiers dans le format TEI (extension .tei_corpo.xml). Cette conversion préserve le format original de transcription et insère toutes les métadonnées du fichier source. Le format du fichier de départ est reconnu automatiquement avec l’extension de fichier. Si on n’utilise pas une extension standard, on peut préciser le type de fichier source en ajoutant l’option « -from cha » où « cha » peut prendre les valeurs « cha » (CLAN), « eaf » (ELAN), « textgrid » (Praat), ou « trs » (Transcriber).

4.2.2 Application de l’analyse syntaxique en parties du discours

Cette commande génère une analyse à l’aide du logiciel TreeTagger et en utilisant le modèle de langage Perceo26 – cf. paramètres « -program » et « -model ». Les paramètres « -rawline » et « -normalize » permettent de choisir le traitement à réaliser pour obtenir des données brutes relativement propres. On remarquera que ces paramètres doivent être ajustés au corpus sur lequel on travaille. Le paramètre « -n1 » précise que l’on travaille sur les lignes principales. Le résultat est stocké sous le format CONLL à l’intérieur du format TEI (paramètre « -syntaxformat conll »). Ces fichiers pourraient être convertis vers ELAN ou Praat pour visualiser le résultat de l’analyse avec ces logiciels.

4.2.3 Export vers un format d’import de TXM

Cette commande convertit les fichiers dans un format XML dit « XML/w » dans la terminologie de TXM27. Dans ce format, les mots du texte sont isolés dans un code XML <w> qui comprend les informations sur la catégorie en partie du discours, sur le lemme, ainsi que des informations supplémentaires introduites par le paramètre « -tv ». Ce paramètre est suivi de deux valeurs séparées par « : ». La première valeur sera un attribut du nœud <w> et la deuxième sera la valeur de cet attribut. Ainsi, dans l’exemple ci-dessus, les mots de ce document auront pour l’attribut « corpus », la valeur « alipe » et pour l’attribut « enfant », la valeur « baptiste », etc. Ces paramètres peuvent être individualisés pour chaque fichier traité.

38On notera que certaines informations de métadonnées sont insérées à l’aide de paramètres en ligne de commande. Il s’agit d’informations portant sur l’ensemble du fichier qu’il serait possible dans de futures versions de traiter automatiquement à partir de métadonnées. Par contre, les informations de métadonnées qui figurent déjà dans les transcriptions (par exemple les données sur l’âge du locuteur ou sur son identifiant) seront insérées dans chaque mot <w> de manière spécifique, pour permettre une interrogation ciblée sur ces valeurs.

5 Deux exemples d’analyse

39Afin de montrer les potentialités de notre agrégation de corpus en termes d’analyse linguistique, nous présentons dans cette section deux brèves études de corpus. L’objectif est essentiellement de se focaliser sur deux aspects d’analyse linguistique :

• une analyse grammaticale réalisable à l’aide de l’outil TXM en s’appuyant sur un étiquetage automatique des lemmes et des catégories grammaticales ;
• une analyse visant à mettre en avant les spécificités d’un sous-corpus de spécialité comparativement au reste des données agrégées.

5.1 Futur flexionnel et futur périphrastique

40On peut distinguer en français deux principales constructions permettant d’exprimer le futur : l’une s’appuie sur la flexion simple des verbes (« futur simple » (FS), comme dans « demain je partirai en vacances » par exemple) ; l’autre consiste à combiner le verbe « aller » avec un autre verbe (« futur périphrastique » (FP), comme dans « demain je vais partir en vacances » par exemple). Comme le soulignent Abouda et Skrovec (Abouda & Skrovec, 2017), si la distribution de ces deux formes de futur en français oral et écrit a fait l’objet de nombreux travaux, de nombreuses questions restent encore en suspens. Parmi celles-ci, nous aborderons deux problématiques : l’une concerne l’acquisition de cette distribution par les jeunes locuteurs francophones, l’autre son évolution diachronique en français parlé. Loin de prétendre analyser de façon exhaustive ces problématiques, notre objectif est de montrer ici comment l’agrégation de corpus peut constituer un apport complémentaire en établissant les bases d’une analyse linguistique à poursuivre.

5.1.1 Distribution FS/FP et acquisition du langage

41Dans leur étude, Morgenstern, Parisse et Sekali (2010) ont cherché à analyser la production de ces deux types de futur au cours d’interactions recueillies longitudinalement auprès de deux dyades parent/enfant. Nous ne détaillerons pas ici les résultats obtenus, nous nous contenterons de rappeler les principales observations réalisées par les auteurs :

• les deux formes sont produites par les enfants (âgés de 1;4 ans à 3;4 ans) et les parents ;
• le FS apparaît toutefois plus tardivement dans les productions enfantines.

42Cependant, plusieurs questions sont restées en suspens en raison d’un manque de données comparables. En effet, si les auteurs relèvent « une intégration d’un système de langue [que l’enfant] trouve dans l’input langagier » et postulent que la « fréquence des emplois chez les adultes peut aussi expliquer la distribution des usages enfantins » (Morgenstern, Parisse & Sekali, 2010, p. 14), les données issues des interactions adulte/enfant n’ont pas été comparées à des données issues d'interactions entre adultes. Ainsi, il est difficile d’établir si la distribution à laquelle les enfants ont été exposés est particulière ou si elle relève d’une tendance générale du français oral.

43Dans cet objectif, nous avons simplement cherché à vérifier cette hypothèse en nous appuyant sur l’annotation morphosyntaxique de l’agrégation de corpus. Les résultats ci-dessous montrent la distribution FS/FP dans les productions des locuteurs adultes des principaux corpus constituant l’agrégation.

44Si nous mettons de côté le corpus ESLO1 (nous y reviendrons plus tard), nous pouvons relever que la distribution FS/FP semble similaire dans les productions adultes, que ces derniers s’adressent très majoritairement à des enfants (corpus ALIPE, CoLaJE et Lyon) ou à des adultes (corpus CFPP, ESLO2, MPF et PFC). Toutefois, nous pouvons noter que les taux d’emploi du futur simple, s’ils sont très proches dans les corpus d’interactions entre adultes (de 32,3 % pour MPF à 38,2 % pour CFPP), divergent plus fortement dans les corpus d’acquisition (entre 22,2 % pour Lyon et 42,2 % pour ALIPE). Sans entrer dans une analyse plus complète, nous pouvons nous demander si l’âge des enfants auxquels les parents s’adressent n’influence pas les productions parentales. En effet, le corpus Lyon est celui pour lequel l’âge moyen des enfants enregistrés est le plus bas, et le corpus ALIPE le plus élevé.

5.1.2 Distribution FS/FP en (micro-)diachronie

45Dans leur étude de 2017, Abouda et Skrovec cherchent notamment à observer l’évolution de la distribution FS/FP en diachronie en comparant les données issues de ESLO1 (recueillies entre 1968 et 1971) et celles issues de ESLO2 (recueillies à partir de 2008). La question est d’autant plus pertinente que les deux corpus ont été recueillis en suivant une méthodologie extrêmement proche. Les deux corpus se révèlent en effet comparables, autant au niveau des situations d’interactions que des sujets enregistrés (contrôle des âges, situations socioprofessionnelles, niveaux d’étude, etc.).

46Les résultats obtenus par les auteurs sont le fruit d’une méthodologie extrêmement rigoureuse. En effet, les deux sous-corpus analysés, constitués à partir des corpus ESLO1 et 2, sont équilibrés du point de vue des situations d’interaction (conférences universitaires, repas et entretiens) et des profils des locuteurs (sexe, tranche d’âge et catégorie socioprofessionnelle). De plus, un énorme travail d’annotation manuelle a été effectué dans le but de catégoriser chaque occurrence d’expression du futur dans les deux sous-corpus d’une couverture totale d’un million de mots pour près de 81 heures d’enregistrements audio. Au total, une dizaine de traits d’annotation (« aspect », « lien avec le présent », « substituabilité », par exemple) ont été reportés sur les 3 335 emplois du futur repérés dans les sous-corpus. Pour résumer les résultats obtenus, les auteurs relèvent que « si le nombre d’occurrences du futur (en tant que catégorie générique regroupant les deux tiroirs verbaux étudiés) reste remarquablement stable d’ESLO1 à ESLO2, la répartition interne entre le FS et le FP s’inverse totalement ». En effet, si près de 59 % des formes d’expression du futur sont des formes de futur simple dans ESLO1 (979/1 667), ce taux chute considérablement dans ESLO2 à 27,6 % (461/1 668).

47Il est intéressant de noter que cette tendance a pu être mise en évidence par l’interrogation de l’agrégation de corpus que nous avons présentée dans la section précédente. Ainsi, une recherche brute, c’est-à-dire fondée uniquement sur une annotation automatique et ne se souciant pas de l’équilibre des sous-corpus étudiés, permet également de relever une forte chute de la proportion de FS, passant de 65,9 % dans ESLO1 à 35 % dans ESLO2. Si, bien évidemment, les résultats obtenus ici n’ont pas du tout la même valeur que ceux présentés par Abouda et Skrovec résultant d’une annotation manuelle fine et rigoureuse, ils permettent notamment de mettre en évidence que la distribution observée dans ESLO2 correspond à celle relevée dans les autres corpus composant l’agrégation, ce qui semble renforcer l’hypothèse d’Abouda et Skrovec concernant l’évolution micro-diachronique des emplois du futur.

5.2 Apport de la méthodologie d’agrégation de corpus pour l’étude de la langue de spécialité

48Dans cette section, nous allons chercher à illustrer comment la méthodologie d’agrégation de corpus peut faciliter les recherches sur corpus dans le domaine des langues de spécialité. En effet, les chercheurs du domaine sont très souvent confrontés à la problématique de définition de leurs corpus d’étude. D’un côté, il convient de délimiter les contours du corpus de spécialité qui sera étudié, le plus souvent en le circonscrivant à un domaine professionnel (par exemple, le journalisme) ou à une discipline (par exemple, la biologie ou la médecine). De l’autre, il est nécessaire de comparer les données du corpus de spécialité constitué à celles d’un corpus « de référence ».

49Pour notre analyse, nous nous appuyons uniquement sur les données de l’agrégation de corpus que nous avons constituée. Nous partitionnons notre agrégation de corpus en deux sous-ensembles. D’un côté, nous isolons l’ensemble des interactions se déroulant en situation professionnelle. Dans nos données, cette situation correspond à des interactions enregistrées au cours de réunions professionnelles et issues des corpus ESLO et TCOF. De l’autre côté, nous regroupons dans la même partition les autres interactions entre adultes récoltées dans les corpus ESLO, CFPP, PFC et MPF. À l’aide d’une des fonctionnalités du logiciel TXM, nous sommes capables, à partir de ce partitionnement de notre agrégation, d’observer les spécificités lexicales de notre corpus de spécialité en le comparant au reste des données. Dans cet objectif, nous avons lancé un calcul de spécificités en nous appuyant sur la lemmatisation effectuée lors de la constitution de l’agrégation de corpus. Le calcul de spécificités réalisé dans TXM s'appuie sur le calcul présenté par Lafon (Lafon, 1980). Notre analyse a deux objectifs : relever les termes lexicaux qui semblent spécifiques aux interactions au cours de réunions professionnelles et observer plus spécifiquement l’emploi des pronoms personnels afin de vérifier si la façon de s’adresser à son interlocuteur est spécifique dans ce type de situation. Les principaux résultats obtenus sont illustrés dans les tableaux présentés dans le Tableau 4 et le Tableau 5.

50Concernant les termes lexicaux, nous observons une spécificité du corpus de spécialité à deux niveaux. D’un côté, nous relevons les termes spécifiques au contexte, à la situation d’interaction en général, c'est-à-dire la réunion professionnelle : « bilan », « rapport », « fiche », « réunion », « dossier », « diaporama », etc. D'un autre côté, le calcul effectué met également en avant les termes propres au milieu professionnel au sein duquel les réunions ont eu lieu : « déambulateur », « neurologie » ou « rollators » pour la médecine ; « encoding », « MacRoman » pour l’informatique ; « promoteur », « ouvrier », « pelle » ou « tondeuse » pour l’aménagement de la ville.

51L'analyse comparée de la distribution des emplois des pronoms personnels entre le corpus de référence et le corpus de spécialité permet de mettre en évidence une autre spécificité des réunions professionnelles. Comme le montre la Figure 1, il apparaît clairement que, dans ce type d'interactions, le tutoiement est largement privilégié par rapport au vouvoiement. De plus, les locuteurs semblent également davantage porter un message commun en intégrant leurs collègues dans leur énonciation. Ce phénomène est visible en raison de la spécificité positive du pronom « on » (77,9 ; cf. Tableau 5) qui peut être comparée à la spécificité négative du pronom « je » (-42,2 ; cf. Tableau 5).

Figure 1 – Scores de spécificité des formes de pronoms personnels

6 Conclusion

52À travers les analyses que nous venons de présenter, nous avons pu mettre en évidence les avantages offerts par notre agrégation de corpus. L’utilisation de corpus soigneusement sélectionnés et issus de larges projets comme ORFÉO permet une précision de travail inégalable. L’agrégation de corpus, avec ses limitations de qualité et donc impliquant un usage raisonné et contrôlé, permet de créer des corpus en fonction des besoins de chacun, y compris avec toutes les évolutions des corpus utilisés dans ORFÉO, ou avec d’autres corpus non disponibles dans ce projet. Dans le cadre des langues de spécialité, cette ouverture vers de nouveaux corpus est particulièrement utile, car de nouveaux corpus spécialisés peuvent être facilement utilisés. Le traitement automatique de TEI-CORPO permet alors de défricher une problématique, de vérifier globalement une hypothèse avant de rentrer dans un travail d’analyse plus précis. L’accès aux documents à travers un logiciel unique permet ensuite de réaliser des travaux plus approfondis. Enfin, on ne saurait que conseiller d’utiliser autant de sources que possible, ce qui est rendu plus aisé avec un outil comme TEI-CORPO.