Version classiqueVersion mobile

Formaliser les langues avec l’ordinateur : de INTEX à Nooj

 | 
Svetla Koeva
, 
Denis Maurel
, 
Max Silberztein

Introduction

1. INTEX et Nooj pour la Linguistique et le Traitement Automatique des Langues

Svetla Koeva, Denis Maurel et Max Silberztein

Texte intégral

1Ce numéro spécial des PUFC, qui fait suite à celui publié en 2004, rassemble une sélection de vingt-trois communications parmi celles présentées aux sixièmes (Sofia 2003) et septièmes (Tours 2004) journées INTEX / NooJ.

2INTEX est un environnement de développement linguistique utilisé comme outil de formalisation des langues naturelles, comme outil d’analyse de corpus, et aussi comme outil de développement d’applications de Traitement Automatique des Langues Naturelles (TALN). Depuis 1993, s’est développée une véritable communauté d’utilisateurs qui partagent les mêmes préoccupations scientifiques et techniques, suivent une même méthodologie, et mettent en commun leurs outils et ressources linguistiques. A ce jour, une quinzaine de langues disposent de modules INTEX, et plusieurs sites Internet fédèrent cette communauté.

3La nouvelle génération du logiciel, NooJ, est disponible depuis fin 2002. NooJ a bien entendu bénéficié du savoir-faire et de l’expérience acquise depuis 1993 par les utilisateurs d’INTEX, et son moteur linguistique contient des améliorations significatives, à tous les niveaux de la formalisation linguistique. Citons-en les principales :

  • L’intégration des modules morphologique et syntaxique permet de s’affranchir de la dichotomie qui existait dans INTEX entre dictionnaires morphologiques (les dictionnaires « DELA ») et syntaxiques (les tables de lexique-grammaire). En même temps, les diverses unifications : représentations unifiées pour les mots simples et composés, pour la flexion et la dérivation, et pour les divers types de grammaires syntaxiques, apportent aux linguistes une nouvelle flexibilité méthodologique, et procure au moteur linguistique de NooJ une puissance inégalée parmi les systèmes de TALN.
  • Les outils d’analyse automatique de textes de NooJ sont non-destructeurs. Autrement dit, NooJ, contrairement à INTEX, peut analyser des textes en leur appliquant en cascade, ou en parallèle, des grammaires locales véritablement indépendantes. Le système d’annotations de texte de NooJ permet en effet de gérer les informations linguistiques calculées sous forme d’annotations synchronisées avec le texte, alors que dans INTEX, ces informations linguistiques devaient impérativement être insérées au sein même du texte sous forme de balises, ce qui entraînait des problèmes insolubles lorsqu’il fallait composer divers niveaux d’analyse (puisque texte et méta-texte étaient enchevêtrés). L’article de Max Silberztein « NooJ’s Linguistic Annotation Engine » présente ce nouveau moteur linguistique.

4D’autres nouvelles fonctionnalités de NooJ : son aptitude à traiter des corpus contenant des centaines de textes, sa gestion d’une centaine de formats de texte (incluant toutes les variantes d’ASCII, d’Unicode, HTML, RTF), ses outils issus de l’ingéniérie logicielle pour développer dictionnaires et grammaires (outils de maintenance et de débogage), ainsi que ses nouvelles possibilités d’ouverture (importation et exportation de documents XML, accès à ses fonctionnalités grâce à une API orientée objet, etc.) devraient faire de NooJ un outil d’ingéniérie linguistique attractif, et pas simplement pour les anciens utilisateurs d’INTEX !

5NooJ reste cependant largement compatible avec INTEX, et, on le voit dans ce volume, certains utilisateurs ont même réussi à simuler avec INTEX v4.33 (version de transition) certaines fonctionnalités du nouveau moteur morphologique de NooJ. Nous n’avons donc pas introduit ici de séparation arbitraire entre les travaux avec INTEX et ceux avec NooJ. Les thématiques qui se dégagent de ce numéro portent donc sur (1) la constitution de ressources linguistiques formalisées, (2) l’utilisation de corpus techniques, scientifiques ou journalistiques pour analyser, caractériser ou en extraire leur vocabulaire (par ex. noms propres), et (3) l’analyse syntaxique, avec une étude sur la levée d’ambiguïtés, l’implémentation d’un analyseur syntaxique du hongrois et la classification syntaxique des phrases d’un texte littéraire. (4) Le numéro conclut enfin avec une discussion sur trois applications de TALN « non NooJ » mais qui présentent un intérêt critique pour l’analyse automatique, et proposent de nouvelles voies d’exploration pour INTEX/NooJ : un logiciel d’analyse de corpus, le WEB sémantique et la traduction automatique.

6(I) Les problèmes de formalisation linguistique abordés ici concernent la description de l’allemand, de l’arménien occidental, du chiac, de l’espagnol, du français, du hongrois, du macédonien, du portugais et du serbo-croate.

  • L’article de Manuel Fuchs et de Dieter Seelbacg « Les adverbes dans les bulletins météorologiques allemands : description par automates » montre comment formaliser différents types d’adverbes de phrases (de lieu et de « météo ») à l’aide d’automates et de transducteurs, aux niveaux morphologique et syntaxique. Les auteurs ont appliqué leur description à un corpus extrait du journal « Süddeutsche Zeitung » et commentent les résultats.
  • L’article d’Anaïd Donabédian « La lemmatisation de l’arménien occidental avec NooJ » présente différentes solutions pour la formalisation de phénomènes orthographiques et morphologiques des verbes et noms arméniens (perméabilité des catégories morpho-syntaxiques, flexion, variation de normes, syncrétisme).
  • L’article de Michael Long et de Gisèle Chevalier « Le traitement des verbes à particules du chiac à partir d’un DELAS / DELAF » présente une description élégante, à la limite de la morphologie et de la syntaxe, de l’utilisation en chiac de verbes à particule importés de l’anglais.
  • L’article de Xavier Blanco, Angela Catena et Sandrine Fuentes « Macro- ou micro-structure ? Elargir la couverture d’un dictionnaire électronique à partir de sa micro-structure » pose la question de la complétude des dictionnaires électroniques, et montre qu’il est indispensable d’utiliser des outils syntactico-sémantiques (la « micro-structure ») pour pouvoir décrire en extension la morphologie et le lexique (la « macro-structure »).
  • L’article de Marie-Aimée Gazeau et de Denis Maurel « Un dictionnaire INTEX de noms de professions : quels féminins possibles ? » explore le problème de la féminisation productive des noms de métier ; la solution proposée, qui consisté à construire un dictionnaire de plus de 10 000 entrées (plutôt que d’implémenter une dizaine de grammaires morphologiques), a l’avantage d’être robuste, et permet de décrire chaque forme en tenant compte, au coup par coup, des objections variées qui inhibent une ou plusieurs règles morphologiques « productives ».
  • L’article de Tamás Váradi, Péter Vajda et de Viktor Nagy « Hungarian Morphology with INTEX » discute des limites du moteur linguistique d’INTEX pour la lemmatisation du hongrois, et explore deux méthodes pouvant être utilisées avec NooJ : une méthode utilise des grammaires morphologiques contrôlées par des contraintes lexicales, et l’autre utilise le module flexionnel et dérivationnel de NooJ.
  • L’article d’Aleksandar Petrovski « Morphological processing of nouns in Macedonian » présente la construction du dictionnaire des noms macédoniens, ainsi que la description de 56 paradigmes flexionnels associés.
  • L’article de Cristina Mota « Portuguese morphology with INTEX 4.33 » montre comment représenter avec cette version de transition d’INTEX les diminutifs / augmentatifs / superlatifs portugais, ainsi que les combinaisons verbe / clitiques. Cristina Mota conlut qu’il vaut mieux décrire les diminutifs / augmentatifs / superlatifs avec le module flexionnel, et décrire les combinaisons verbe / clitiques avec des grammaires morphologiques de tokénisation.
  • L’article de Cvetana Krstev et de Duško Vitas « Extending the Serbian E-dictionary by using lexical transducers » présente aussi l’utilisation de ces nouvelles fonctionnalités pour décrire la morphologie dérivationnelle du serbo-croate : adjectivation de noms et nominalisation de verbes.

7(II) INTEX/NooJ est utilisé comme outil d’analyse de corpus, pour indexer des termes techniques dans les textes médicaux, pour identifier des collocations caractéristiques du discours scientifique, pour caractériser le vocabulaire de textes scientifiques, et pour retrouver et extraire automatiquement des entités nommées à partir de corpus.

  • L’article d’Aurélie Névéol et alii « Constructions de ressources terminologiques en santé » décrit le projet CISMeF et montre comment INTEX a été utilisé pour formaliser le vocabulaire technique de la santé et indexer automatiquement des textes médicaux.
  • L’article d’Agnès Tutin « Modélisation linguistique et annotation des collocations : une application au lexique transdisciplinaire des écrits scientifiques » s’intéresse au vocabulaire caractéristique des écrits scientifiques (par ex. évaluation, données, postuler), montre comment formaliser les collocations (ex. mener une étude, procéder à une estimation) en utilisant les tables de lexiques-grammaires, et comment implémenter un analyseur automatique capable d’annoter automatiquement ces collocations.
  • L’article de Lucia di Palo « Une leçon méthodologique en histoire de la médecine : l’application du système INTEX au texte ‘Recherches physiologiques sur la vie et la mort’ de Xavier Bichat » étudie le lexique de ce corpus, et montre comment utiliser INTEX pour mettre à jour certaines constructions verbales représentatives du parcours créatif de l’auteur (par ex. « j’appelle », « je crois », « je le prouverai », etc.).
  • L’article de Liborio Dibattista « Using INTEX to build and verify ‘taxonomic territories’ historically determined : the language of neurology and J.-M. Charcot » montre comment cet auteur a véritablement créé une nouvelle discipline, en créant un nouveau langage technique.
  • L’article de Hayssam Traboulsi et Khurshid Ahmad « Automatic Construction of a Thesaurus of Proper Nouns : a Local Grammar-based approach » montre comment utiliser des grammaires locales pour identifier les noms propres ; le système présenté peut être appliqué à des corpus de grande taille, et en extraire automatiquement des noms propres qui alimenteront un thésaurus.
  • L’article de Duško Vitas et de Gordana Pavlović-Lažetić « Extraction of named entities in Serbian using INTEX » décrit la construction d’un extracteur de noms propres dans des textes en serbe fondé sur une coopération entre grammaires syntaxiques locales (pour identifier des contextes spécifiques) et ressources lexicales exhaustives.

8(III) Les ressources linguistiques formalisées explicitement en (I), ou extraites automatiquement à partir de corpus grâce aux procédures décrite sen (II) peuvent former la base d’un analyseur syntaxique automatique. Il faut alors régler le problème de l’ambiguïté lexicale, et construire des ensembles structurés de grammaires locales pour reconnaître les constituants de la phrase.

  • L’article de Jorge Baptista et Luis Faisca « Mapping, filtering and measuring impact of ambiguous words in Portuguese » propose une classification des ambiguïtés lexicales, et devrait être utilisé pour cibler les ambiguïtés et concevoir les grammaires de désambiguïsation.
  • L’article de Svetla Koeva et Svetlozara Lesseva « Word Sense Disambiguation for Purposes of Machine Translation – the nature of Bulgarian clitics » décrit le système des clitiques en Bulgare, et propose un ensemble de règles formalisées avec INTEX pour lever les ambiguïtés des clitiques se/si.
  • L’article de Kata Gabor « Syntactic Parsing and Named Entity Recognition for Hungarian with INTEX » présente un extracteur d’entités nommées, ainsi qu’un analyseur syntaxique construit en appliquant en cascade des grammaires locales pour indentifier les constituants de la phrase.
  • L’article de Katia Zellagui « Les groupes nominaux du texte ‘Du côté de chez Swann’ » présente une étude syntaxique sur ce texte : Katia Zellagui a implémenté une grammaire des groupes nominaux sous la forme d’une bibliothèque de graphes, puis a appliqué cette grammaire à l’ensemble du roman, pour produire une classification de toutes les phrases du roman selon leur structure, par ex. GN V, GN V GN à GN.

9(IV) Les applications de TALN présentées à la fin de ce volume n’ont pas été implémentées avec NooJ, mais sont importantes, parfaitement complémentaires des travaux décrits ci-dessus, et explorent des développements futurs possibles pour une application de TALN.

  • L’article de François Rousselot et Nicolas Montessuit décrit le logiciel LIKES, qui, comme NooJ, permet d’analyser automatiquement des corpus, mais qui apporte de nouvelles fonctionnalités, comme la détection des segments répétés, la reconnaissance de termes et de relations entre termes, des outils d’aide à l’annotation de textes, etc.
  • L’article de Lucilla Fuiano « Semantic Web and linguistic methodologies » présente une approche innovante au problème de l’extraction d’information, qui réaliserait la convergence entre le Web sémantique proposé par T.B. Lee, et le projet de formalisation linguistique de M. Gross.
  • L’article de Xavier Lepetit « L’importance des schémas de réalisation lexicale dans l’étiquetage sémantique en TAL : le cas de l’expression du mouvement » montre, en comparant un schéma sémantique en français et en danois, les limites des étiquetages morpho-syntaxiques ainsi que ceux basés sur des ontologies du type Wordnet, et propose un nouveau type d’étiquettes sémantiques, capable notamment de rendre compte des différences structurelles entre langues.

10Nous pensons que le lecteur saura apprécier l’importance de ces travaux, tant pour la recherche et l’enseignement linguistique, que pour la construction d’applications du TAL.

© Presses universitaires de Franche-Comté, 2007

Conditions d’utilisation : http://www.openedition.org/6540

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search