Applicazione di un metodo attribuzionistico quantitativo alla monodia liturgica medievale
p. 327-332
Résumés
L’articolo mostra come tecniche di analisi stilometriche comunemente usate in ambito letterario (basate sulla distanza tra vettori delle frequenze di n-grammi di lettere) possano essere adattate con successo allo studio di repertori musicali “unidimensionali” (ovvero melodie prive di ritmo e di accompagnamento). I buoni risultati ottenuti su un corpus di monodie liturgie di origine medievale (Canto Gregoriano e Canto Romano Antico) sono un primo passo verso l’adozione e la creazione di tecniche automatiche a supporto di studi stilometrici a carattere e interesse strettamente musicologico.
We adapt a technique commonly used in the stylometric attribution of literary texts (based on a pseudo-distance between frequency-vectors of n-grams of letters) to the analysis of “unidimensional” musical repertoires (rhythm-free melody without accompaniment). We successfully apply the method to a corpus of liturgical monodies of medieval origin (the so-called Gregorian Chant, in comparison with the Old Roman Chant). Our results give a first indication that automatic stylometric techniques can be fruitfully adopted to support the study of refined problems in musicology.
Texte intégral
1 Motivazioni della ricerca
1Il problema dell’attribuzione in arte, vale a dire l’identificazione dell’autore di un’opera dell’ingegno adespota, è comunemente noto per le arti visive e letterarie (attribuzione di quadri e testi non firmati). Come problema filologico non è meno sentito fra gli storici della musica, spesso alle prese con composizioni più o meno antiche d’incerta paternità. Mancano tuttavia al musicologo utili strumenti analitici che consentano di andar oltre la semplice impressione soggettiva d’ascolto, mentre le metodologie d’indagine stilistica fino ad oggi applicate alla musica hanno perlopiù lavorato a livello di macro-generi compositivi. Prima di affrontare veri problemi di attribuzione in ambito musicale è dunque necessario individuare metodologie analitiche adeguate.
2L’applicazione a repertori musicali semplici di metodi d’indagine stilistica computazionale (stilometria) già verificati su testi verbali offre ora i primi buoni risultati, da testare poi su composizioni più complesse, con le dovute modifiche. Lo scopo ultimo non è la costruzione di algoritmi efficienti per l’attribuzione di testi musicali, confrontando l’efficacia assoluta dei diversi metodi, né di sostituire la macchina all’orecchio e al discernimento del musicologo, ma piuttosto offrire a questo uno strumento d’indagine filologica in più che faccia emergere ulteriori tratti distintivi (features) delle varie musiche, dei vari autori, permettendogli così di valutare aspetti stilistici che da solo non percepirebbe.
2 Gli n-grammi in ambito letterario
3Sin dall’avvento dei primi computer si è tentato di processare caratteristiche stilometriche per affrontare problemi attribuzionistici. Inizialmente gli indicatori quantitativi utilizzati erano perlopiù legati a caratteristiche lessicali o sintattico-semantiche dei testi analizzati; in KeȈselj et al. (2003) gli autori si rivolsero a indicatori di livello più basso, individuando come features stilistici i cosiddetti n-grammi, ossia sequenze di n simboli (lettere, spazi, interpunzioni) consecutivi.
4Tale metodo è stato raffinato da Basile et al. (2008) per adattarlo a uno specifico problema: attribuire a Gramsci oppure a suoi collaboratori una serie di articoli giornalistici pubblicati adespoti (un problema difficile in quanto testi brevi ed estremamente simili per tematiche e linguaggio (Lana 2010)). Gli n-grammi sono stati dunque utilizzati per costruire distanze non più fra il singolo testo adespoto e il profilo medio di un singolo autore, come fatto da KeȈselj, ma rispetto ad ogni testo disponibile, prendendo inoltre in considerazione tutti gli n-grammi (e non solo i più frequenti) per contrastare la brevità: al testo adespoto veniva così assegnato un “voto” rispetto a tutti i testi del corpus di riferimento, basato sulla sua posizione in una classifica costruita sulle distanze, e da tali voti veniva ricavato un indice riassuntivo sull’appartenenza all’uno o all’altro gruppo, insieme a una stima sulla validità di tale attribuzione.
3 Verifiche sui testi musicali
5In campo musicale è opportuno notare che ad oggi gran parte della ricerca è stata finalizzata alle tecniche per la gestione, l’organizzazione e l’accesso ai grandi database musicali, principalmente quelli della rete, piuttosto che a una fine comparazione di testi nell’ambito della cosiddetta “musica d’arte”, cui il musicologo è maggiormente interessato. Il punto di vista e le tecniche coinvolte sono ovviamente differenti, là dove alla richiesta estetica di distinguere con precisione gli autori di musiche estremamente simili fra loro si contrappone nel Music Information Retrieval la necessità di automatizzare e velocizzare procedure che trattano grandi quantità di dati, rinunciando a discriminare fra brani di uno stesso genere o di autori stilisticamente vicini.
6I metodi di attribuzione basati sugli n-grammi sono stati già testati più volte, ad esempio da Doraisamy e Ruger (2003) e da Hillewaere et al. (2010), oltre che dallo stesso KeȈselj et al. (2008, 2013), sia nel campo già citato della ricerca e categorizzazione in grandi database, sia in problemi attribuzionistici più prettamente musicologici. Passando dalla linearità del linguaggio letterario alla multi-dimensionalità di quello musicale, i problemi maggiori sono, per metodi basati sugli n-grammi, la definizione stessa di unigramma e il trattamento delle “voci” parallele, e per metodi più generali la difficoltà di trovare un insieme di style-markers effettivamente rappresentativo.
7Backer e Van Kranenburg (2005) sono tra i primi ad affrontare problematiche di attribuzione, utilizzando un corpus di brani di Bach, H¨andel, Telemann, Haydn e Mozart e venti style-markers differenti, utilizzati anche singolarmente o a sottogruppi: i risultati sono molto buoni nella maggior parte delle prove effettuate, con un’accuratezza sopra il 90%, tranne che nel confronto tra Mozart e Haydn, stilisticamente assai più impegnativo, in cui l’accuratezza nelle attribuzioni scende a circa il 75%. Metodologie simili vengono usate più di recente anche da Brinkman et al. (2016) per affrontare le problematiche autoriali relative all’opera di Josquin, messo a confronto con Ockeghem, Dufay, De Orto e La Rue; i risultati tuttavia confermano la difficoltà del problema in quanto solo il 60% circa dei pezzi di Josquin vengono attribuiti correttamente, mentre parecchi vengono confusi con quelli di La Rue.
8Wołkowicz et al. (2008), e Hillewaere et al. (2010) hanno comparato musiche pianistiche di Bach, Mozart, Beethoven, Schubert e Chopin, e confrontato in particolare i quartetti per archi di Mozart e di Haydn; in quest’ultimo caso, non facile anche per il musicologo, i risultati dei vari metodi, siano essi basati sugli n-grammi o sul riconoscimento di patterns, hanno fornito valori di accuratezza simili, con percentuali massime intorno al 70-75%. Globalmente si può notare che se le varie metodologie hanno dato ottimi risultati per un utente medio nella ricerca e gestione globale, raramente possono raggiungere un livello di affidabilità sufficiente per i sottili problemi attribuzionistici della musicologia storico-estetica, con spiccate velleità filologiche. È dunque nella speranza di poter offrire un giorno risposte a questi ultimi che abbiamo fatto in un certo senso un passo indietro, testando in ambito musicale un metodo già noto in ambito letterario: quello di KeȈselj et al. (2003), modificato da Basile et al. (2008)1.
9Per cominciare l’indagine si sono scelti repertori monodici e non mensurali, caratterizzati cioè da una sola e semplice successione di note ad altezze diverse (stringhe di suoni), evitando così tutta una serie di ulteriori parametri che costituiscono la maggiore difficoltà d’indagine per la musica d’arte occidentale (durate, ritmi, dinamiche, agogiche, intrecci contrappuntistici, agglomerati armonici, ecc.). Un esempio:
10In prospettiva, l’intenzione è di estendere il metodo d’indagine - opportunamente adattato - a repertori musicali più complessi (polifonici, armonici, ecc.), nei quali i problemi di attribuzionismo tuttora irrisolti rivestono ben maggior interesse per la musicologia, sul piano storico come su quello filologico.
4 Ambito d’indagine e obiettivo
11La presente applicazione alla musica del metodo computazionale fondato sul concetto di n-grammi è cominciata con il confronto di due repertori liturgici d’origine medievale: il cosiddetto Canto Gregoriano (sviluppatosi in area francese per diffondersi poi in tutta l’Europa cristiana) e il meno noto Canto Romano Antico (rimasto limitato alle chiese romane non pontificali).
12In tali repertori, alla semplicità lineare della musica si contrappone, ai fini computazionali, la difficoltà prospettata da lunghezze assai limitate se confrontate a quelle dei comuni testi letterari (solo poche centinaia di note musicali per ogni brano) e dalla difficoltà di enucleare efficacemente in quelle melodie elementi sintattici analoghi a parole, frasi e periodi. Quanto poi alla natura stilistica di tale musica, va segnalata la notevole somiglianza melodica non solo fra un testo e l’altro del medesimo corpus, ma anche fra i due repertori in esame: una conseguenza della loro genesi, frutto di una autorialità collettiva estesa su un abito temporale e geografico assai vasto, nonché di ripetute contaminazioni.
13Date queste premesse che hanno reso la ricerca ancor più stimolante, l’obiettivo era di attribuire brani dell’uno o dell’altro repertorio al corpus di appartenenza con metodi computazionali, là dove l’orecchio anche esperto non si dimostra sempre in grado di distinguerli con certezza2.
5 Percorsi e metodi
14I 280 brani musicali utilizzati sono di varia natura liturgica e formale: per ciascuno dei due repertori sono stati presi in considerazione 60 Offertori e 50 Graduali, più ulteriori 30 brani con varie e diversificate funzioni liturgiche, destinati ad un test più impegnativo di cui si dirà. Le fonti: per il Gregoriano, le edizioni critiche del Graduale Triplex (1979) e dell’Offertoriale Triplex (1985) prodotte dal centro di Solesmes; per il Romano, l’edizione diplomatica del Graduale Vat. lat. 5319 edito nei Monumenta Monodica Medii Aevi (1970).
15Senza addentrarci in problematiche filologiche, la scelta di tali edizioni è stata dettata dalla loro ampiezza, che ha permesso di avere facilmente a disposizione un vasto assortimento di brani musicali su cui lavorare, offerti in trascrizioni moderne riconosciute come attendibili (a parte una manciata di evidenti refusi che sono stati tacitamente corretti). Si sono ignorati i testi verbali intonati dai singoli brani, l’interesse dell’indagine essendo rivolto esclusivamente alla dimensione musicale. Si è evitata ogni possibile interpretazione ritmica delle melodie, assegnando a ogni nota lo stesso valore di durata standardizzato. Nel gioco dei ritornelli fra le varie antifone si è provveduto a una normalizzazione formale, per evitare eccessive e ingiustificate difformità di lunghezza fra i vari brani.
16Quattro le prove effettuate, a difficoltà crescente. Nelle prime due ogni brano dei due insiemi di riferimento A e B è stato trattato come testo incognito e attribuito all’uno o all’altro insieme. Nella prima prova gli insiemi di riferimento erano rappresentati dai soli Offertori (Gregoriani per l’insieme A, Romani per il B); nella seconda ognuno dei due insiemi A e B è stato esteso a comprendere anche i Graduali (Gregoriani e Romani rispettivamente), rendendolo così più vasto e meno omogeneo. Rispetto agli stessi gruppi A e B della seconda prova, nella terza prova si è poi valutata l’attribuzione dei 60 brani di differente indirizzo liturgico.
17Siamo partiti dagli Offertori per tre ragioni significative: 1) il loro numero elevato a disposizione, sia nel Gregoriano sia nel Romano; 2) una apprezzabile lunghezza dei singoli brani, tra i più estesi in entrambi i repertori; 3) la quasi totale corrispondenza fra i due repertori dei testi verbali intonati, cosa che sposta tutto il peso delle differenze sulla sola componente melodica. Era così possibile avviare un primo lavoro di confronto su un gruppo di brani omogeneo, senza introdurre potenziali variabili dettate dalle diverse funzioni liturgiche. Con motivazioni simili è stato poi aggiunto agli Offertori il gruppo dei Graduali, più brevi e con caratteristiche musicali differenti.
18Ragioni opposte regolano invece il terzo gruppo di musiche, destinato a testare il metodo attributivo con brani attinenti a differenti funzioni liturgiche (di volta in volta: Introitus, Alleluia, Tractus, Sequentia, Offertorium, Communio, Antiphona, Inno, Canticum). Ne consegue una minore omogeneità melodica e una maggiore varietà di lunghezze (i brani sono tendenzialmente più bre-vi), difficoltà cui si aggiunge in alcuni casi, specie fra gli Alleluia, la presenza di stesse melodie o di loro parti fra i due repertori, cosa che rende ovviamente molto più complessa una precisa attribuzione all’una o all’altra famiglia.
19Nella quarta prova, divisa in due parti, gli insiemi A e B erano formati rispettivamente da Offertori e Graduali dello stesso repertorio (Gregoriano o Romano); si è inteso così valutare se l’analisi quantitativa sia in grado di confermare le differenze stilistiche osservate dai musicologi fra Graduali e Offertori, sia all’interno del Gregoriano, sia del Romano: entrambi i generi liturgici sono infatti ben caratterizzati sul piano stilistico, al punto da formare sottogruppi musicali omogenei all’interno dei due repertori.
6 Risultati
20Sull’esempio di Basile et al. (2008), non ci si è avvalsi di un profilo medio dei gruppi di raffronto: per ogni brano si sono calcolate le distanze da tutti gli altri brani di riferimento; quindi, tramite una procedura di voto, si è ottenuto un indice riassuntivo i cui valori, tra [−1, 1], indicassero -oltre alla attribuzione all’uno o all’altro repertorio- anche una stima della validità di tale attribuzione.
21Come unigramma di base è stata scelta la differenza di altezza fra due note consecutive (e non fra ogni nota e la finalis del brano, per evitare la dipendenza dal modo gregoriano di appartenenza). Inoltre, causa la brevità dei brani, si è scelto di valutare tutti gli n-grammi disponibili (e non solo i più frequenti). Il parametro fondamentale n della lunghezza degli n-grammi è stato testato in un range di valori compresi tra n = 2 e n = 10 (corrispondenti quindi a frammenti melodici da 3 a 11 note di lunghezza).
22Utilizzando le seguenti notazioni: ω per il generico n-gramma, Dn(x) per il dizionario degli n-grammi del testo x, fx(ω) per la frequenza relativa dell’ n-gramma ω nel testo x; la distanza dn(x, y) tra i testi x e y, calcolata per un valore fissato n della lunghezza degli n-grammi, è definita come (Basile et al. , 2008):
23 (1)
24con .
25L’assegnazione dei singoli brani all’uno o all’altro repertorio è stata quindi effettuata tramite una procedura di “voto” che utilizza tutte le distanze intertestuali. Le distanze del testo incognito x da tutti i testi di riferimento dei due gruppi sono ordinate in maniera crescente. Per il j-esimo testo del gruppo A nella lista è stato calcolato (k(j)/j) − 1 dove k(j) è la sua posizione nella lista. Sommando infine tali valori per tutti i testi del gruppo A si ottiene un indice di appartenenza g(x); similmente è stato costruito l’indice ng(x) attraverso un’analoga somma sui testi del gruppo B. L’indice g(x) sarà dunque tanto più piccolo quanto più i testi del gruppo A si troveranno in alto nella classifica, ossia quanto più le loro distanze dal testo incognito saranno piccole, e lo stesso varrà per ng(x) relativamente al gruppo B.
26L’uso degli indici, sintetizzato in un unico valore
27 (2)
28permette di offrire anche una stima naturale dell’affidabilità dell’attribuzione: il valore v(x) ∈ [−1, 1] indicherà infatti testi fortemente Gregoriani per valori vicini a 1 e fortemente Romani per valori prossimi a −1, mentre per valori prossimi a 0 indicherà una valutazione più incerta.
29Come riportato nei grafici sottostanti, il metodo di attribuzione utilizzato ha fornito in tutti i casi esaminati ottimi risultati.
30Nelle prove più semplici (i primi due test) la percentuale di riconoscimento ha superato il 90% per ogni valore della lunghezza degli n-grammi, con punte del 100% per n = 3 e una tendenza ad accuratezze inferiori nelle lunghezze medie o elevate, da n = 5 in su (Fig. 1).
31Nella terza prova, resa difficile - come detto - dalla brevità dei brani e dalle frequenti commistioni melodiche fra i due repertori, la percentuale si è comunque mantenuta buona per le minori lunghezze degli n-grammi (n = 2 e n = 3) e per quelle maggiori, con un sensibile calo di accuratezza per le lunghezze intermedie (Fig. 2)
32È interessante notare che i risultati migliori sono ottenuti per n piccolo, in accordo con il fatto che tali repertori sono fortemente caratterizzati da cellule melodiche piuttosto brevi. Nei principali casi letterari studiati, invece, le lunghezze che fornivano i risultati migliori erano intorno a n = 7, 8, giustificabili con una sorta di “lunghezza media” di un’unità che, pur non essendo “semantica” in senso stretto, non è troppo lontana dalla lunghezza media delle parole. Infine anche la quarta prova, mirata a distinguere tra Offertori e Graduali, in cui l’indice finale segnala l’appartenenza all’uno o all’altro ambito liturgico, ha dato risultati superiori all’85% (tranne il caso n = 2 per il repertorio Romano), con un miglioramento per lunghezze medie ed elevate degli n-grammi, per le quali l’accuratezza supera il 90% (Fig. 3).
33Il risultato conferma pertanto che le brevi cellule melodiche caratterizzanti rispettivamente il Gregoriano e il Romano sono comuni a Offertori e Graduali, mentre la distinzione fra i due generi liturgici può avvenire solo sulla base di “frasi” di maggior ampiezza. Riteniamo dunque interessante constatare che il metodo quantitativo qui utilizzato possa addentrarsi nelle caratteristiche di questi repertori sufficientemente a fondo da cogliere differenze che solo studi filologico-musicali approfonditi riescono a evidenziare.
7 Conclusioni e prospettive
34I risultati presentati, con percentuali di riconoscimento esatto intorno e oltre al 90%, fanno sperare che il metodo quantitativo degli n-grammi possa validamente applicarsi anche a composizioni musicali più complesse, caratterizzate da un maggior numero di “parti” sovrapposte, e che potenzialmente sia pure in grado di contribuire a risolvere problemi di attribuzione ancora aperti fra i musicologi: distinguere ad esempio i diversi autori in partiture frutto di collaborazioni, o valutare il grado di attendibilità dell’attribuzione di una composizione d’incerta paternità. Sarebbe poi interessante appurare quale risultato si ottiene se gli n-grammi calcolati vengono processati come features da un classificatore supervisionato (ad es. una SVM con 10-fold cross-validation), o quali features vengono selezionate da altri algoritmi. Recentemente l’utilizzo di character-level embeddings e convolutional neural networks ha pure mostrato buone potenzialità in problemi di attribuzione (Kim et al. (2016), Ruder et al. (2016)): resta da verificare l’efficacia sui testi musicali. Per mantenere alte le percentuali di riconoscimento si dovrà comunque semplificare sempre il più possibile la musica, mantenendo nell’analisi quantitativa solo quelle componenti che possano risultare effettivamente discriminanti per il problema esaminato, valutate di volta in volta. La stretta collaborazione fra il matematico-informatico e il filologo musicale è dunque indispensabile ad ogni passaggio.
Bibliographie
Chiara Basile, Dario Benedetto, Emanuele Caglioti, Mirko Degli Esposti. 2003. An example of mathematical authorship attribution. Journal of Mathematical Physics, 49(12):125211.
Eric Backer, Peter van Kranenburg. 2005. On musical stylometry - A pattern recognition approach. Pattern Recognition Letters, 26:299–309.
Andrew Brinkman, Daniel Shanahan, Craig Sapp. 2016. Musical stylometry, machine learning, and attribution studies: A semi-supervised approach to the works of Josquin. In Vokalek G. (ed.), Proceedings of the 14th Biennial International Conference on Music Perception and Cognition, ICMPC14, 593-598.
Jan Buys. 2011. Generative models of music for style imitation and composer recognition. Honours Project in Computer Science, University of Stellenbosch.
Shyamala Doraisamy, Stefan Rüger. 2005. Robust polyphonic music retrieval with N-grams. Journal of Intelligent Information Systems, 21(1):53-70.
Graduale 1979. Graduale Triplex seu Graduale Romanum Pauli PP. VI cura recognitum & rhythmicis signis a Solesmensibus monachis ornatum neumis laudunensibus (cod. 239) et Sangallensibus (codicum Sangallensis 359 et Einsidlensis 121) nunc auctum. Solesmis, Abbaye Saint-Pierre de Solesmes.
Ruben Hillewaere, Bernard Manderick, Darrell Conklin. 2010. String quartet classification with monophonic models. In Downie J. S., Veltkamp R. C. (eds.), Proceedings of the 11th International Society for Music Information Retrieval Conference, ISMIR, 537-542.
Vlado KeȈselj, Fuchun Peng, Nick Cercone, Calvin Thomas. 2003. N-gram-based author profiles for authorship attribution. in PACLING ’03, Proceedings of the Pacific Association for Computational Linguistics Conference, Halifax, Computer Science Dept. at Dalhousie University, 255-264.
Yoon Kim, Yacine Jernite, David Sontag, Alexander M. Rush. 2016. Character-aware neural language models. In Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence (AAAI-16), 2741-2749.
Maurizio Lana. 2010. Come scriveva Gramsci? Metodi matematici per riconoscere scritti gramsciani anonimi. Informatica Umanistica, 3:31-56.
Bruno Stablein. 1970. Ges¨ange des altrömischen Graduale, Vat. lat. 5319. Monumenta Monodica Medii Aevi,2, Kassel, Bärenreiter.
Offertoriale 1985. Offertoriale triplex cum versiculis. Solesmis, Abbaye Saint-Pierre de Solesmes.
Sebastian Ruder, Parsa Ghaffari, John G. Breslin. 2016. Character-level and multi-channel convolutional neural networks for large-scale authorship attribution. preprint arXiv:1609.06686.
Gissel Velarde, Tillman Weyde, Carlos C. Chacon, David Meredith, Maarten Grachten. 2016. Composer recognition based on 2d-filtered piano-rolls. In Proceedings of the 17th International Society for Music Information Retrieval Conference ISMIR, 115-121.
Jacek Wołkowicz, Vlado KeȈselj. 2013. Evaluation of n-gram-based classification approaches on classical music corpora. In Yust J., Wild J., Burgoyne J.A. (eds.) Mathematics and Computation in Music - MCM 2013 Proceedings - Lecture Notes in Computer Science, 7937:213-225.
Jacek Wołkowicz, Zbigniew Kulka, Vlado KeȈselj. 2008. N-gram based approach to composer recognition. Archives of Acoustics, 33(1):43-55.
Notes de bas de page
1 Utilizzare il metodo nella sua forma originale col solo scopo di comparare la sua maggiore o minor efficacia sul linguaggio musicale rispetto ad altri metodi non rientra fra i compiti circoscritti di questa ricerca.
2 Una analisi quantitativa del problema, tramite prove di riconoscimento auditivo, è in corso. I primi risultati stanno confermando tale difficoltà.
Auteurs
Dipartimento di Scienze Fisiche, Informatiche e Matematiche Università di Modena e Reggio Emilia – francesco.unguendoli@unimore.it
Dipartimento di Matematica Università di Bologna – giampaolo.cristadoro@unibo.it
Dipartimento delle Arti visive, performative, medievali Università di Bologna – marco.beghelli@unibo.it
Le texte seul est utilisable sous licence Creative Commons - Attribution - Pas d'Utilisation Commerciale - Pas de Modification 4.0 International - CC BY-NC-ND 4.0. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.
Proceedings of the Second Italian Conference on Computational Linguistics CLiC-it 2015
3-4 December 2015, Trento
Cristina Bosco, Sara Tonelli et Fabio Massimo Zanzotto (dir.)
2015
Proceedings of the Third Italian Conference on Computational Linguistics CLiC-it 2016
5-6 December 2016, Napoli
Anna Corazza, Simonetta Montemagni et Giovanni Semeraro (dir.)
2016
EVALITA. Evaluation of NLP and Speech Tools for Italian
Proceedings of the Final Workshop 7 December 2016, Naples
Pierpaolo Basile, Franco Cutugno, Malvina Nissim et al. (dir.)
2016
Proceedings of the Fourth Italian Conference on Computational Linguistics CLiC-it 2017
11-12 December 2017, Rome
Roberto Basili, Malvina Nissim et Giorgio Satta (dir.)
2017
Proceedings of the Fifth Italian Conference on Computational Linguistics CLiC-it 2018
10-12 December 2018, Torino
Elena Cabrio, Alessandro Mazzei et Fabio Tamburini (dir.)
2018
EVALITA Evaluation of NLP and Speech Tools for Italian
Proceedings of the Final Workshop 12-13 December 2018, Naples
Tommaso Caselli, Nicole Novielli, Viviana Patti et al. (dir.)
2018
EVALITA Evaluation of NLP and Speech Tools for Italian - December 17th, 2020
Proceedings of the Seventh Evaluation Campaign of Natural Language Processing and Speech Tools for Italian Final Workshop
Valerio Basile, Danilo Croce, Maria Maro et al. (dir.)
2020
Proceedings of the Seventh Italian Conference on Computational Linguistics CLiC-it 2020
Bologna, Italy, March 1-3, 2021
Felice Dell'Orletta, Johanna Monti et Fabio Tamburini (dir.)
2020
Proceedings of the Eighth Italian Conference on Computational Linguistics CliC-it 2021
Milan, Italy, 26-28 January, 2022
Elisabetta Fersini, Marco Passarotti et Viviana Patti (dir.)
2022