Cos’è la sentiment analysis e perché aiuta a migliorare i servizi pubblici: il progetto Istat

L’aumento della connettività ha contribuito a una maggiore diffusione e democratizzazione di internet ampliando il numero di utenti. In questo scenario, il crescente utilizzo dei social network nella vita quotidiana ha garantito una fruizione costante e in tempo reale di una sempre più elevata quantità di informazioni.

Osservando i dati rilasciati da Istat, vediamo ad esempio che la percentuale di famiglie che risiedono in una zona servita da una connessione di nuova generazione ad altissima capacità è passata dal 23,9%, nel 2018, al 53,7% nel 2022 (fonte: Istat, RAPPORTO SDGS 2023). Inoltre, si rileva che, nello stesso anno, il tasso di diffusione di Internet tra le famiglie residenti in Italia, con almeno un componente di 16-74 anni, è del 91,4% e tale valore risulta in linea con la media EU27 (92,5%). Inoltre, il 77,5% della popolazione di 6 anni e più ha usato Internet nei tre mesi precedenti l’intervista e il 65,1% si connette giornalmente. Nel periodo analizzato, si conferma l’utilizzo della Rete prevalentemente per i servizi di comunicazione. Ad esempio, il 68,9% degli utenti di 6 anni e più ha usato servizi di messaggeria istantanea, il 60,1% ha effettuato chiamate sul web e il 45,1% ha partecipato ai social network (fonte: Istat, CITTADINI E ICT – ANNO 2022).

Tali dati evidenziano la sempre più capillare diffusione di internet nella vita delle famiglie italiane e la crescente importanza dei social network. Difatti, il mondo social è un’agorà virtuale, uno spazio di condivisione sempre più diffuso, in cui le persone si confrontano, esprimono il loro giudizio e/o il loro stato d’animo, manifestando il loro interesse o il loro disappunto rispetto ai temi di discussione. Risulta strategico per le istituzioni pubbliche e private saper ascoltare la rete, acquisire le skill necessarie per interpretare le righe di un commento, di un post o anche di un tweet in modo tale da cogliere elementi di forza o debolezza di un servizio per implementare adeguate strategie di miglioramento di quanto offerto.

Sentiment analysis, cos’è e a cosa serve

L’attività di monitoraggio delle informazioni e dei dati presenti sui social prende il nome di social media listening, mentre il processo operativo volto a studiare i testi condivisi dagli utenti è chiamato Sentiment Analysis. Tale tipologia di analisi è una tecnica di elaborazione del linguaggio naturale (Natural Language Processing, NLP) che mira a determinare il tono emotivo o il sentiment espresso in un testo pubblicato online da uno specifico utente.

L’obiettivo principale è identificare se l’opinione espressa sia positiva, negativa o neutrale in modo tale da poter sfruttare i risultati ottenuti per indagare e comprendere l’opinione dei consumatori su specifici servizi. Per tale motivo, la sentiment analysis viene utilizzata come strumento propedeutico a determinare la web reputation (o reputazione online) ovvero l’opinione che il pubblico ha di un brand, di una pubblica amministrazione, di un personaggio famoso, di una struttura o di una persona generica, deducibile dalle piattaforme online, dai social media e dai commenti in essi contenuti.

Sentiment analysis, applicazioni nella PA

In questo contesto, la pubblica amministrazione sta portando avanti un percorso di innovazione per avvicinarsi ai cittadini offrendo attività e servizi e utilizzando tecnologie informatiche in un processo di grande cambiamento definito e-government. Risulta – quindi – necessario monitorare l’opinione dei cittadini per comprendere le loro difficoltà nell’uso di servizi, delle piattaforme o delle app messe a disposizione dalle Pubbliche Amministrazioni e definire le linee di azioni da implementare per un continuo miglioramento.

Ad esempio, la sentiment analysis può risultare preziosa in situazioni di emergenza o crisi per rispondere in maniera tempestiva ed efficace a dubbi o incertezze, nella valutazione dei servizi offerti e nell’analisi dei relativi feedback, nell’identificazione di problematiche sociali, nella valutazione dell’efficacia di campagne di sensibilizzazione e nell’analisi del coinvolgimento dei cittadini in eventi o iniziative pubbliche.

La sentiment analysis in 5 passi

La sentiment analysis si basa su una metodologia articolata in 5 passi:

1. analisi del contesto: si realizza identificando i termini, le frasi o le espressioni funzionali alla raccolta dei dati testuali;
2. raccolta dei dati: si realizza mediante crawling di fonti informative liberamente accessibili utilizzando una piattaforma di social media monitoring;
3. analisi linguistica, semantica e statistica: si utilizza per la normalizzazione delle informazioni. Nello specifico, l’analisi linguistica rimuove eventuali ambiguità lessicali, identificando per ogni parola la corretta categoria grammaticale (nome, verbo, aggettivo, ecc…), il lemma e il ruolo logico-funzionale nella frase (soggetto, azione, oggetto, termine, ecc…). L’analisi semantica, invece, rimuove eventuali ambiguità, individuando il significato della parola su base contestuale. Infine, l’analisi statistica rileva l’importanza statistica delle osservazioni, aggrega i testi concettualizzati e valorizzati rispetto agli aspetti emozionali in forma spontanea, secondo uno schema di classificazione non noto a priori, fornendo una nuova chiave di lettura e di interpretazione dei dati;
4. analisi di sentiment, emozionale e psicolinguistica: la prima sottolinea la polarità di un commento cogliendo l’ironia e il sarcasmo nello stesso; la seconda, invece, permette di rilevare l’emozione veicolata in modo esplicito o implicito nel post/commento/articolo scritto da un utente. In seguito, l’analisi psicolinguistica identifica nel testo le caratteristiche valoriali comuni degli utenti, classificandoli rispetto ai loro archetipi comportamentali di riferimento;
5. analisi qualitativa e quantitativa: si applicano per spiegare i motivi razionali che hanno spinto gli utenti a commentare su un determinato servizio o prodotto, da un lato attraverso l’utilizzo di trend e distribuzioni statistiche delle informazioni, dall’altro attraverso la normalizzazione e la concettualizzazione dei dati.

Le evidenze raccolte possono essere rappresentate in maniera visiva, semplice e immediata, mediante diversi strumenti di data visualization. La rappresentazione grafica può avvenire sia tramite l’utilizzo di grafici più standard, quali istogramma, a barre, a linee, ecc, sia tramite quelli più innovativi, quali mappe o cloud di parole, di emoji o di hashtag.

Un progetto Istat-Unint per la sentiment analysis

L’Istat, negli ultimi anni, ha avviato progetti di ricerca per valutare come i messaggi pubblici in lingua italiana, disponibili sui social media, possano essere utilizzati per sviluppare degli strumenti statistici in grado di valutare lo stato d’animo degli utenti su argomenti o aspetti della vita ben definiti.

Ad esempio, ad oggi, Istat rende disponibile un nuovo indice sperimentale, basato sui dati di Twitter: il Social Mood on Economy Index. L’indice fornisce misure giornaliere del sentiment italiano sull’economia, derivate da campioni di tweet pubblici in lingua italiana, catturati in tempo reale. (fonte: Istat, SOCIAL MOOD ON ECONOMY INDEX).

Attualmente, in collaborazione con l’Università degli Studi Internazionali di Roma, è in fase di studio un progetto orientato alla realizzazione di un ambiente di Big Data Analytics per l’individuazione di indicatori statistici in grado di consentire la misurazione della percezione all’estero del turismo in Italia. In altre parole, si analizzerà il sentiment turistico internazionale verso il nostro Paese e lo studio permetterà di valutare, ad esempio, le intenzioni di visita per finalità turistiche, suddivise per macroaree geografiche o per tipologie di vacanza, relativamente a specifici periodi di osservazione.

Si può quindi facilmente comprendere come la sentiment analysis sia uno strumento dalle grandi potenzialità che, allo stesso tempo, richiede particolare attenzione e consapevolezza nella gestione dei dati e delle informazioni sensibili per garantire il rispetto della privacy di ciascun utente.

Tale aspetto verrà approfondito durante il digital talk che FPA  e Istat organizzano il 13 settembre 2023, dal titolo Ascoltare i dati al tempo della privacy: rischi e opportunità del social listening. Le iscrizioni sono aperte.