TERRA (imporT ExpoRt netwoRk Analysis) è uno strumento realizzato per consentire l’analisi esplorativa di open data di fonte Eurostat sul commercio internazionale attraverso strumenti dinamici ed interattivi. Il sistema consente di esplorare fenomeni connessi alle dinamiche delle catene del valore globali (GVC). Il vantaggio di questa nuova organizzazione economica è noto: le imprese ottengono vantaggi economici attraverso investimenti diretti esteri o esternalizzando la produzione, delocalizzando alcune fasi produttive in paesi dove l’alta specializzazione o un vantaggioso mercato del lavoro creano maggiori opportunità. Tuttavia, la struttura della GVC si è rivelata altamente soggetta a trasmissioni di shock e a interruzioni delle catene di approvvigionamento associati ad eventi geo-politici o a crisi epidemiologiche come nel caso del Covid-19. In tale contesto, attraverso la Graph Analysis, TERRA offre a ricercatori e policy makers la possibilità di esplorare la dinamica dei flussi commerciali, con possibilità di focus su specifici prodotti e modalità di trasporto, ripercorrendo le fasi di criticità degli ultimi anni. Consente, inoltre, di simulare interruzioni dei flussi o chiusure di specifici poli logistici o vie di trasporto, dando modo di delineare possibili scenari di modifica o rilocalizzazione delle catene globali in grado di mitigare il rischio di trasmissione degli shock (modifiche nelle relazioni bilaterali tra paesi, investimenti logistici o sui trasporti, incremento di investimenti esteri, ecc.).
TERRA presenta sezioni grafiche che illustrano l’evoluzione dei flussi commerciali non solo nei volumi di scambio, ma anche in termini di composizione del paniere di beni scambiati.
La dashboard è accessibile al seguente link: https://www.terra.istat.it
European Big Data Hackathon
L’European Big Data Hackathon è una competizione internazionale (hackathon) organizzata da Eurostat nell’ambito della conferenza “New Techniques and Technologies for Official Statistics” (NTTS). Alla competizione partecipano team di esperti (data scientist, ricercatori, metodologi, esperti di dominio, etc.), provenienti dai diversi istituti di statistica europei, con l’obiettivo di realizzare prodotti innovativi che integrino fonti dati tradizionali e fonti Big Data.
Nell’ambito della competizione i team devono realizzare un prodotto che risponda ad una policy question relativa ad una pressante problematica in ambito europeo (ad esempio il COVID-19) e/o ad un problema di natura statistica (integrazione fonti Big Data, utilizzo di nuovi strumenti per la raccolta dati, incremento della qualità degli output di alcuni processi di produzione, etc.).
Il team che ha rappresentato l’Istat (Team-Istat) ha realizzato il primo prototipo di TERRA durante la competizione che si è tenuta virtualmente nei giorni 26 febbraio – 4 marzo 2021. Il Team-Istat si è classificato al primo posto della competizione. Ulteriori dettagli sull’hackathon sono disponibili sul sito di Eurostat.
Fonti utilizzate e metodologia
TERRA elabora mensilmente circa un miliardo di record relativi all’interscambio commerciale di beni con l’estero, prodotti dai Paesi Membri secondo metodologie armonizzate e pubblicamente disponibili sul database COMEXT di Eurostat. La base informativa fornisce le stime ufficiali dei flussi commerciali in valore monetario e in quantità fisiche alla massima granularità nella risoluzione temporale (frequenza mensile), caratteristiche del prodotto scambiato, paesi partner commerciali, modo di trasporto.
La funzione di bulk download di COMEXT consente agli utenti di scaricare massivamente i dati in formato .dat, in modo da poterli facilmente importare per ulteriori analisi in strumenti quali, ad esempio, R, SAS o Python. I dati sono accompagnati da metadati (classificazioni, informazioni sulla disponibilità dei dati ecc.) e note metodologiche. I dati sono organizzati in diversi folder, e, in particolare, TERRA viene alimentato a partire dai folder:
- PRODUCTS: contenente dati sull’interscambio commerciale mensile ed annuale dei paesi UE, con ogni paese partner in valore (euro) e in quantità (kg e eventuale unità supplementare) per prodotti classificati secondo Nomenclatura Combinata, SITC, CPA (2002, 2008 e 2.1).
- TRANSPORT_NSTR: contenente dati sull’interscambio commerciale mensile dei paesi UE con paesi partner extra-UE in valore (euro) e in quantità (kg) per mezzo di trasporto. I prodotti sono dettagliati secondo la classificazione NSTR.
In ciascun folder della sezione di bulk download vengono resi disponibili dati a frequenza mensile e dati annuali, con le medesime caratteristiche in termini di variabili e classificazioni.
Le principali funzionalità implementate in TERRA consentono di analizzare l’impatto degli shock nei mezzi di trasporto e gli effetti delle interruzioni delle relazioni di scambio tra paesi per specifici prodotto con tecniche di social network analysis, implementate in Python, offendo un set di indicatori, globali o di vertice, propri della graph analysis.
La dashboard offre i seguenti strumenti di analisi:
- Mappa interattiva: Questa sezione fornisce una mappa che mostra per ogni paese la popolazione totale, alcuni indicatori macroeconomici, i principali prodotti importati ed esportati e i principali paesi partner commerciali. Inoltre, viene fornita una funzionalità time-lapse per rappresentare le variazioni mensili tendenziali del commercio internazionale per gli ultimi tre anni.
- Grafi UE – Extra UE: Questa sezione visualizza grafi che rappresentano il commercio internazionale per prodotto (classificazione NSTR, vedi allegato Classificazioni) e modalità di trasporto da fonte COMEXT, insieme alle misure globali e locali pertinenti che descrivono in dettaglio la struttura delle relazioni commerciali tra i paesi UE e quelli dell’area Extra-UE. Il pannello è interattivo e offre la possibilità di applicare diversi filtri e di vedere come la struttura del grafico e le misure cambiano di conseguenza. Inoltre, viene fornita un’animazione che mostra l’evoluzione del grafico del commercio internazionale nel tempo.
- Grafi UE – Mondo: Questa sezione visualizza grafi che rappresentano il commercio internazionale per prodotto (classificazione CPA 2.1, vedi allegato Classificazioni) da fonte COMEXT, insieme alle misure globali e locali pertinenti che descrivono in dettaglio la struttura delle relazioni commerciali registrate dai paesi UE verso/da ogni paese partner commerciale. Il pannello è interattivo e offre la possibilità di applicare diversi filtri e di vedere come la struttura del grafico e le misure cambiano di conseguenza. Inoltre, viene fornita un’animazione che mostra l’evoluzione del grafico del commercio internazionale nel tempo.
- Serie storiche: Strumento di visualizzazione delle serie mensili di dati sul commercio estero COMEXT. Questa sezione consente una lettura facile e comprensibile nonostante la mole di dati sottostanti. Utile come strumento di divulgazione. Le serie sono fornite in valore ed in quantità e il download è disponibile in vari formati.
- Paniere dei prodotti: Questa sezione fornisce, per ciascun Paese UE, le serie storiche mensili delle variazioni tendenziali della composizione del paniere delle merci esportate e importate, classificate secondo le divisioni della classificazione CPA 2.1.
