Ricerca metodologica
La ricerca metodologica condotta in Istat è finalizzata a individuare soluzioni statisticamente robuste e operativamente efficienti per il miglioramento della qualità (in tutte le sue dimensioni) delle statistiche ufficiali e la riduzione dei relativi costi di produzione.
Aree prioritarie di ricerca metodologica
Il Sistema Integrato dei Registri (SIR) è un’infrastruttura finalizzata a garantire la produzione di statistiche sempre più dettagliate e coerenti tra loro mediante l’uso congiunto di più fonti di dati. Il raggiungimento di tale obiettivo presuppone l’impiego di appropriati strumenti nel campo della ricerca metodologica, finalizzati alla piena valorizzazione del vasto patrimonio informativo a disposizione nell’Istituto attraverso un adeguato sfruttamento statistico. L’adozione evolutiva – nei processi di popolamento del sistema – di metodologie documentate e via via più efficaci nel miglioramento qualitativo dei dati prodotti sono una garanzia in tale contesto. Si osserva, inoltre, come quest’area di ricerca sia fortemente connessa a quella del Censimento Permanente della popolazione in quanto il SIR costituisce un support informativo irrinunciabile, basato su solide fondamenta statistico-metodologiche, del nuovo sistema di produzione annuale dei dati censuari.
Risultati attesi
- Metodologie di stima da modello (ad esempio Projection, Piccole Aree)
- Metodologie di trattamento degli errori non campionari e delle mancate risposte
- Metodologie per la valutazione e documentazione della qualità e stima dell’accuratezza
- Stimatori di sovra/sotto-copertura per assicurare la coerenza fra informazioni censuarie e da registro
- Metodologie per la diffusione delle informazioni (a livello micro o aggregato) nel rispetto dei vincoli di riservatezza (privacy by design)
- Metodologie per la valorizzazione della dimensione spaziale in dati multi-fonte
- Progettazione di disegni campionari con componenti Areale e da Lista (in particolare per i Censimenti permanenti)
- Progettazione di disegni campionari per garantire la coerenza delle statistiche della popolazione prodotte dal SIR (coerenza interna)
- Progettazione di disegni campionari per garantire la coerenza tra le statistiche del SIR e le altre statistiche prodotte dall’Istituto (coerenza esterna)
- Stima di variabili “congiunta” e coerente Censimenti permanenti – SIR
- Stima coerente Censimenti permanenti- indagini correnti
- Progettazione di disegni campionari per stima coerente stock-flussi
- Disegni campionari e metodologie di stima di fenomeni speciali (ad es. abitazioni e pendolarismo e popolazioni elusive e rare nel censimento permanente della popolazione)
- Metodologie per l’analisi longitudinale dei fenomeni, con riferimento sia agli aspetti definitori e procedurali connessi alla popolazione e all’implementazione dei relativi registri sia alla progettazione di disegni campionari di tipo panel
Il piano di attuazione dell’ESP 2021-2027 prevede la realizzazione di un’azione trasversale finalizzata allo sfruttamento dei vantaggi derivanti dalla cosiddetta “rivoluzione dei dati” vale a dire la valorizzazione, in un contesto in cui si dispone di una pluralità di fonti di dati, di nuove fonti di dati digitali, compresa la ricerca/sviluppo di nuove adeguate soluzioni metodologiche e architetturali per usare dati detenuti da privati4, per la produzione di nuove statistiche, denotate Trusted Smart Statistics (TSS). Il concetto di TSS implica trasformazioni sostanziali del paradigma tradizionale di produzione della statistica ufficiale, per adattarlo ad un nuovo contesto, in cui sia le fonti dei dati, sia le procedure di elaborazione possono essere esterne agli Istituti di statistica. Questa transizione, unita alla natura privata delle fonti di dati, può mettere in discussione il tradizionale sistema di fiducia alla base del modello di produzione delle statistiche ufficiali. Quindi, siccome i principi e gli obiettivi della statistica ufficiale rimangono gli stessi, è necessario un diverso insieme di strumenti tecnici, oltre che organizzativi e legali per garantire il rispetto dei principi del codice delle statistiche europee e, in generale, i requisiti di qualità del SSE.
Risultati attesi
- Dati da Sorgenti web
- tecniche di web-scraping generalizzato (cioè non dipendente dalla struttura dei siti Web)
- modelli di rappresentazione e di analisi di dati poco strutturati o non strutturati
- architetture di riferimento per sistemi nazionali, costruiti in sinergia con quelli europei
- tecniche di scraping ad-hoc e metodi per la deduplicazione di dati da web
- Dati da sensori
- Sperimentazioni volte a valutare il potenziale informativo delle immagini satellitari multispettrali ad alta risoluzione nei contesti delle statistiche territoriali, ambientali e
agricole - Studi e sperimentazioni volte a valutare il potenziale informativo dei dati di telefonia mobile
- Studi e sperimentazioni sulle Trusted Smart Surveys (TSSVY), compresa la eventuale realizzazione di indagini pilota
- Sperimentazioni volte a valutare il potenziale informativo delle immagini satellitari multispettrali ad alta risoluzione nei contesti delle statistiche territoriali, ambientali e
- Linee Guida per l’Elaborazione di Big Data nella Statistica ufficiale
- Sviluppo ed applicazione delle architetture di riferimento per i Big Data definite, a livello europeo, come Big Data Reference Architecture and Layers (BREAL)
- Studio e sperimentazione di metodi per la valutazione ed il miglioramento della qualità delle statistiche derivate da fonti Big Data
- Riduzione del rischio di distorsione delle statistiche derivate da Big Data, in particolare quello indotto dalla selettività (non-rappresentatività) delle fonti
L’Istituto svolge una consolidata attività di ricerca e innovazione nei tre diversi ambiti citati: metodi, metadati e qualità. Partecipa ai tavoli in cui i modelli GSIM, GSBPM e CSPA sono manutenuti e aggiornati e applica tali modelli nei prodotti di Istituto (dai sistemi informativi e documentativi, allo sviluppo di strumenti applicativi dei metodi, solo per citare alcuni aspetti rilevanti dal punto di vista metodologico). Tali standard sono alla base delle attività per l’aggiornamento del sistema dei metadati dell’Istituto, di documentazione delle indagini e del repository dei metodi e degli strumenti. La combinazione fra dati e metodi e la loro strutturazione in processi è il tassello fondamentale per rendere i metodi disponibili per ogni processo e ogni fase del processo (ampliando la disponibilità di metodi e quindi perseguendo l’obiettivo dell’accuratezza), tramite una identica definizione dei dati di input (che favorisce la coerenza e la confrontabilità, dando luogo a dati facilmente integrabili), lungo una evoluzione del processo di trasformazione dei dati universale (che aiuta a dettagliare il processo non solo a fini documentativi, ma con la descrizione di passi operativi che facilitano la chiarezza, o trasparenza, su come i dati sono stati ottenuti e ne consentono la replicabilità). Per tale motivo, si può dire che l’applicazione degli standard nei sistemi di Istituto è un’attività di produzione di servizi trasversali con forti connotati di ricerca (ad esempio sui modelli standard o sullo sviluppo di strumenti) e che facilitano l’attività di ricerca strettamente metodologica (legata alla individuazione di nuovi metodi di qualità, necessari nei processi tradizionali dove vi sono margini di miglioramento o, nel caso dell’uso di big data e delle TSS, dove ancora non sono totalmente disponibili).
Risultati attesi
- Definizione di modelli di metadati e ontologie, con l’obiettivo di poter definire dati a livelli diversi (ad esempio dati micro e dati macro) con gli stessi modelli e gli stessi concetti. Questa linea consente l’armonizzazione dei metadati fra processi diversi e, all’interno di uno stesso processo, fra fasi diverse del processo
- Individuazione di metodi e procedure standard utili a ogni fase in cui si sviluppa un processo di produzione statistica (realizzazione di linee guida)
- Realizzazione di sistemi di workflow (meta)data-driven, con l’obiettivo di consentire anche agli utenti esterni di poter ricreare gli output desiderati a partire dai dati messi a disposizione dall’Istituto [questo argomento è attualmente affrontato parzialmente nel progetto Register based Analytics Framework (RAF)]
- Realizzazione di servizi implementativi dei metodi e delle procedure standard, con l’obiettivo di rendere tali servizi coerenti con la logica CSPA
- Interazione con il Sistema dei metadati centrale di Istituto, al fine di rendere un processo statistico quanto più possibile documentato automaticamente, con un dettaglio di massima trasparenza
- Documentazione on-line dei metodi e degli strumenti correlati
- Evoluzione delle linee di produzione metodologiche tenendo conto del complesso di metodi e strumenti messi a disposizione
- Industrializzazione del processo, che consenta un più generalizzato uso dei metodi da parte di personale dedicato alla conduzione dei processi
Argomenti oggetto di ricerca
Gli argomenti oggetto di ricerca nell’ambito delle metodologie statistiche per l’Istituto, al fine di assicurare che il processo di produzione dei dati sia di massima qualità, sono state raggruppate in 8 macroaree. Per ognuna di esse, si elencano i prodotti di ricerca ottenuti.