La tokenizzazione contestuale avanzata rappresenta il fulcro per garantire una comprensione semantica accurata nei modelli linguistici italiani, specialmente quando si affrontano dialetti ricchi di morfologia e neologismi locali. Nel contesto del Tier 2 – l’estensione specialistica del Tier 1 – emerge la necessità di adattare tokenizer subword a specificità lessicali e flessionali del dialetto lombardo, trasformando un limite tecnico in un’opportunità di precisione pragmatica.
Il dialetto lombardo, pur appartenendo alla famiglia romanica, presenta variazioni fonologiche, morfologiche e lessicali profonde rispetto all’italiano standard: aggettivi con flessioni irregolari, verbi con usanza verbale dialettale, e un lessico tecnico locale spesso non coperto da corpus standard. Queste peculiarità generano errori ricorrenti nei tokenizer tradizionali, come falsi positivi nella lemmatizzazione e perdita di contesto semantico durante la generazione automatica. La soluzione richiede un workflow integrato che unisca analisi morfologica approfondita, costruzione di dizionari espansivi regolari e contestuali, e addestramento supervisionato con feedback dal dominio tecnico.
La fase fondamentale è la creazione di un dizionario personalizzato di forme morfologiche espansibili, che combini regole fisse e contestuali. Esempi concreti includono la trasformazione di “stà” (passato prossimo standard) in “stà” → “stà+” per il verbo “stare”, o la morfema “-tu” in “-t”, come in “lavorà” → “lavorà+”, indicando forma imperfetta. Si definiscono pattern regolari (es. aggiunta di “-it” per nomi in -o → -o + it) e irregolari (es. “far” → “fà” in “ha fatto” → “tà” in “fece”). Questi pattern vengono codificati in un parser esteso, integrato nel tokenizer subword, che riconosce e decompone forme dialettali senza perdere il significato semantico.
Il processo tecnico si articola in tre fasi chiare e dettagliate:

Fase 1: Estrazione e Normalizzazione del Corpus Tecnico Lombardo
Strumenti consigliati:
– **spaCy** con modello multilingue (es. `xx_ent_wiki_sm`) per preprocessing ibrido.
– **SentencePiece** addestrato su un corpus bilanciato di manuali tecnici, documenti ufficiali e testi specialistici lombardi (es. 5.000 token minimi).
– **Pandoc** per conversione da formati vari (PDF, DOCX, XML) con rimozione di caratteri non standard e normalizzazione ortografica dialettale.

Procedura:
1. Caricare il corpus e applicare filtro linguistico basato su frequenza e contesto tecnico.
2. Tokenizzazione preliminare con regole ibride: separazione di forme composte (es. “macchina per calcolo” → “macchina” + “per” + “calcolo”), conservando i morfemi chiave.
3. Rimozione di caratteri speciali non linguistici (es. “—”, “[”, “(”) e punteggiatura inconsistente, mantenendo accenti e segni di punteggiatura dialettale con tagging.
4. Segmentazione di frasi lunghe in unità semantiche coerenti, con tag morfologici preliminari (es. “ha + fatto” → “ha”+ “fatto”+ “-past”).

Fase 2: Definizione di Regole di Espansione Morfologica Supervisionata
Approccio:
Si implementa un parser morfologico esteso, integrato con algoritmi supervisionati di stemming e lemmatizzazione dialettale, basato su modelli supervisionati addestrati su un dataset annotato manualmente di 200+ forme tipiche.

Fasi operative:
1. **Annotazione supervisionata**: creazione di un dataset con tag morfologici (radice, flessione, genere, numero, tempo) per verbi, sostantivi e aggettivi, usando etichette ISO 15457 e mapping al sistema lombardo.
2. **Costruzione di regole contestuali**:
– Verbi: trasformazione di forme irregolari (“stà” → “stà+”, “far” → “fà+”) con substitis di morfemi.
– Sostantivi: aggiunta di suffissi tipici (“-t” per azioni concluse, “-ina” per agenti) su radici.
– Aggettivi: gestione di composizioni dialettali (“lavorà + fat” → “lavorà-fat” → “ha lavorato”).
3. **Parser esteso**: integrazione di un modello di classificazione NLP (es. spaCy + rule-based) che riconosce eccezioni e applica espansioni contestuali in tempo reale, mantenendo il token originale per fedeltà semantica.

Fase 3: Addestramento Supervisionato del Tokenizer Contestuale con Dataset Annotato
Creazione del dataset:
Si definiscono due set:
– **Set di training**: 70% del corpus annotato, con esempi di forme dialettali e loro espansioni.
– **Set di test**: 30% per validazione, con casi difficili (es. “ha fatto” → “tà” vs “ha fatto” → “ha fatto” senza espansione).

Procedura addestramento:
1. Estrazione di triple (testo di input, forma target espansa, contesto morfologico).
2. Addestramento di un modello sequenza-a-sequenza (es. Transformer basato su BERT multilingue) con loss F1 su precisione di espansione.
3. Valutazione con metriche avanzate:
– **Precisione semantica**: F1 score su riconoscimento di neologismi e forme flesse.
– **Riduzione di falsi positivi**: confronto tra tokenizer originale e adattato su testi tecnici.
– **Coefficiente di coerenza semantica**: calcolato con cosine similarity tra embedding di parole espansibili e target annotati.

La gestione dinamica dei neologismi locali richiede un sistema ibrido di riconoscimento contestuale e fallback gerarchico. Si implementano regole di analisi di frequenza e contesto semantico: forme con >3 occorrenze in corpus specifico attivano espansione automatica, mentre quelle con <2 occorrenze o ambiguità >70% attivano fallback a sottoparole o frasi intere. Un workflow di aggiornamento continuo prevede:
– Integrazione di feedback da sviluppatori tramite sistema di annotazione collaborativa (es. GitHub Issues + dashboard).
– Riconoscimento tramite modelli NLP di nuovi termini emergenti (es. “smart building” → “smart-build”).
– Generazione di nuove regole morfologiche basate su pattern ricorrenti.

Errori frequenti e loro risoluzione:

• Falso positivo in lemmatizzazione: verbi dialettali simili a standard (es. “far” vs “fà”) generano confusione. Soluzione: applicare regole di disambiguazione contestuale basate su verbi circostanti e co-occorrenze lessicali.
• Perdita di contesto semantico: espansioni aggressive a “lavorà” → “ha lavorato” generano frasi meno precise. Tecnica: limitare espansione a contesti tecnici certificati e mantenere token originale in output post-processing.
• Allineamento morfologico instabile: flessioni irregolari (es. “mangia” vs “mangia+”) causano errori di parsing. Correzione: estensione del parser con regole irregolari esplicite e validazione morfologica post-tokenizzazione.

Per massimizzare la precisione semantica nel testo generato, si applica un fine-tuning contestuale del modello linguistico italiano arricchito con dati tecnici dal corpus lombardo, usando addestramento supervisionato su dataset annotati con tag morfologici e semantici. Si misura la coerenza tramite cosine similarity su embedding di frasi chiave (es. “il sistema ha ottimizzato il processo” vs “il sistema ha fatto evolvere il processo”), con soglia di tolleranza <0.85 per garantire fedeltà.

Un caso studio concreto dimostra l’efficacia:
– **Corpus**: 4.200 pagine di manuale tecnico infrastrutturale lombardo (progetti ferroviarie e di edilizia).
– **Workflow applicato**:
1. Estrazione e pulizia del corpus con rimozione di formattazione.
2. Definizione di 128 regole morfologiche e costruzione di dizionario espansivo con equivalenze