CONtrollo e CORrezione dei Dati

ATTENZIONE: IL SOFTWARE SAS E' IN DISMISSIONE E L'ASSISTENZA NON E' GARANTITA!!

• Download del software CONCORD

• Download del software SCIA Batch

• Informazioni generali sul software

• Documentazione

• Guida alla soluzione dei problemi

Download del Software CONCORD:

A. Requisiti hardware e software

Dimensione minima hardware
- 64 Mb di memoria RAM
- 6 Mb su disco C:\
Software necessari
- WINZIP
- SAS SYSTEM v8/9 per Microsoft Windows

B. Download del software CONCORD

È possibile scaricare e installare la versione del software sviluppata con SAS v8 (CONCORD v8) e quella successiva sviluppata con SAS v9 (CONCORD v9).

Per la versione CONCORD v9 occorre caricare anche il file sasxcom.exe nella directory: "C:/Programmi/SAS/SAS 9.1″ (si trova in: sasxcom.zip). Per il resto le istruzioni che seguono sono valide per entrambe le versioni.

Il download permette di ottenere un file compresso: concord.zip. (nella versione v9 'concordv9.zip'). Per installare il software è necessario espandere tale file, in una specifica cartella (non è possibile variare il nome della cartella) che è C:\concord.

Attenzione: Nell'espandere il file si controlli l'opzione di Winzip (o ZipGenius) che lascia inalterata la struttura originale (cartelle e rispettive sottocartelle).

La procedura di installazione richiede la sola esecuzione del modulo Installa.bat, che crea i file necessari all'esecuzione dei programmi.

Dopo l'espansione, nella cartella sarà disponibile il file read.me che contiene le istruzioni da eseguire per l'installazione.

Per l'esecuzione dell'applicazione, ciascuna cartella contiene il rispettivo file di collegamento, che può essere spostato sul desktop per creare l'icona di lancio. Può essere necessario modificare i riferimenti al SAS nelle proprietà del collegamento se il SAS è stato installato su disco o cartelle diverse da quelle di default (si veda la "Guida alla soluzione dei problemi").

C. Password di utilizzo

Una volta installato il software, alla sua prima esecuzione, viene richiesta una password.
Tale password è anche al servizio dell'utenza, poichè ogni utilizzatore viene inserito in una lista da contattare per i successivi aggiornamenti o per messaggi informativi.
Per ricevere la password occorre compilare un brevissimo questionario identificativo, tramite il quale, inserito il codice, si riceverà la password via email.
(Attenzione: il codice corretto da inserire nel questionario è quello che appare al primo avvio del software, una volta che è stato installato).

Per ricevere la password è possibile accedere sia attraverso il link: IDENTIFICAZIONE E PASSWORD, sia direttamente tramite la maschera che appare al primo avvio dell'applicazione.

D. Download del manuale

Il Manuale utente riporta le istruzioni operative per il caricamento del software. Contiene, inoltre, informazioni sufficientemente dettagliate sugli aspetti metodologici.

Download del software SCIA Batch:

A. Requisiti hardware e software

Dimensione minima hardware
- 64 Mb di memoria RAM
- 26 Mb di spazio libero su disco
Software necessari
- S.O. Windows
- WinZip

B. Download del software SCIA Batch

Le funzioni di SCIA utilizzabili in maniera batch sono il controllo delle regole, la derivazione degli edit impliciti, il check dei dati e l'imputazione.

INSTALLAZIONE
Scaricare il file SciaBatch.zip e decomprimerlo in una directory diversa da C:\Concord.

IMPOSTAZIONE DEL PERCORSO DI RICERCA DEI COMANDI
Si può usare uno dei seguenti metodi:

1. Da finestra comandi: reimpostare la variabile di ambiente PATH con il comando:
   set PATH=%path%;G:\Documenti utente\bugliell\
   progammi\SciaBatch
   dove G:\Documenti utente\bugliell\progammi\SciaBatch è la directory dove risiedono i programmi.
2. Senza impostare la variabile PATH bisogna posizionarsi, per eseguire la procedura, nella directory dove risiedono i programmi.
3. Da pannello di controllo: reimpostare la variabile di ambiente PATH Start -> Impostazione -> Pannello di controllo -> Sistema -> Avanzate ->Variabili d'ambiente
   Qui da variabili dell'utente reimpostare la variabile PATH.

Attenzione!. Tutti i nomi delle directory e dei file utilizzati da SCIA NON possono contenere spazi.

FUNZIONI

• Controllo delle regole

• Il nome del progetto può essere diverso da quello della directory. Per esempio, volendo utilizzare i file ottenuti con l'interfaccia CONCORD, il nome del progetto deve essere dat (estensione dei file data automaticamente dal programma).
• Derivazione degli edit impliciti

• Check dei dati e imputazione

• Esempio di elenco file:G:\provaFortran\scia1\syschk.dat
  G:\provaFortran\scia1\checkati.dat
  G:\provaFortran\scia1\tabvarf.dat
  G:\provaFortran\scia1\minice.dat
  G:\provaFortran\scia1\frequen.dat
  G:\provaFortran\scia1\errori.dat
  G:\provaFortran\scia1\lischk.dat
  G:\provaFortran\scia1\dati\MEMBERS1_WZ.DAT
  G:\provaFortran\scia1\esatti.dat
  G:\provaFortran\scia1\errati.dat
  G:\provaFortran\scia1\syserr.dat
  G:\provaFortran\scia1\parm.dat
  G:\provaFortran\scia1\statis.dat
  G:\provaFortran\scia1\sysimp.dat
  G:\provaFortran\scia1\pesi.dat
  G:\provaFortran\scia1\maxice.dat
  G:\provaFortran\scia1\varfix.dat
  G:\provaFortran\scia1\corretti.dat
  G:\provaFortran\scia1\incorret.dat
  G:\provaFortran\scia1\sysder.dat
  G:\provaFortran\scia1\serice.dat
  G:\provaFortran\scia1\gener.datDove dat è il nome del progetto e G:\provaFortran\scia1\ la directory del progetto.
  L'ordine in cui sono scritti i file non può essere modificato.

  Informazioni generali sul software

  CONCORD è un software generalizzato integrato per il controllo e la correzione dei dati.

  È stato sviluppato, nell'ambito della struttura che in Istat si occupa dei software generalizzati, da Ercole Riccini Margarucci e Paolo Floris e nasce dall'integrazione dei software precedentemente sviluppati e utilizzati in Istat:

  • SCIA sviluppato da E. Riccini Margarucci, F. Silvestri e P. Floris. Nella sezione Download è disponibile la versione batch di Scia
  • GRANADA sviluppato da E. Riccini Margarucci, P. Floris, R.Ciacci e T. Buglielli
  • RIDA sviluppato da T. Buglielli, G. Massimini e R. Colosi.

  I diversi metodi residenti nel software sono implementati in moduli distinti:

  • SCIA (Sistema di Controllo e Imputazione Automatica).
    Esegue il controllo e la correzione di variabili qualitative applicando integralmente la metodologia di Fellegi-Holt. Per ciascun record errato il sistema prima individua il minimo numero di variabili da imputare e poi effettua l'imputazione garantendo azioni di imputazione coerenti con un predefinito insieme di regole di controllo;
  • GRANADA (Gestione delle Regole e ANAalisi dei DAti).
    Esegue l'imputazione di variabili qualitative e quantitative secondo l'approccio deterministico, ossia mediante l'applicazione di regole del tipo SE [condizione di errore] ALLORA [azione di correzione]. Mediante questo modulo è possibile eseguire anche il solo controllo dei dati (separazione in esatti ed errati) secondo regole di incompatibilità che ammettono operatori logici e aritmetici (e quindi valide per variabili qualitative e quantitative);
  • RIDA (Ricostruzione dell'Informazione con Donazione Automatica).
    Esegue l'imputazione di variabili e qualitative e quantitative mediante donatore di minima distanza. Operazioni propedeutiche sono:

    - la classificazione delle unità in esatte ed errate;

    - la loro registrazione in due file distinti;

    - la identificazione dei valori da imputare mediante un predefinito carattere (di errore).

  Propedeutica ai vari passi è la fase di definizione delle variabili, cioè dei campi del record da sottoporre a controllo, e degli edit o regole di controllo sia formali che sostanziali individuabili a partire dal questionario e dalla conoscenza relativa ai fenomeni indagati.

  Documentazione

  • Abbate C., Bove G., Crescenzi F. - (1992), "Metodi statistici multivariati per la ricostruzione dell'informazione mancante", Avanzamenti metodologici e statistiche ufficiali, Atti delle prime giornate di studio SIS-Istat, Roma 13-14 dicembre 1992
  • Abbate C., Giommi A. - (1993), "Metodi di ponderazione e di correzione di dati elementari", Atti del Convegno "La qualità dell'informazione statistica e la qualità industriale", SIS-Istat-AICQ, Roma 10 maggio 1991
  • Abbate C., Schivano R. - (1993), "Efficacia dell'imputazione da donatore con distanza minima", Atti del Convegno SIS, Sanremo 1993
  • Abbate C. - (1996), "La completezza delle informazioni e l'imputazione da donatore con distanza mista minima", Quaderni di Ricerca, Istat 1996
  • Alboni, F. - (1994), "Il controllo e la revisione dei dati" L'utilizzazione della rete di contabilità agraria in Emilia-Romagna (Cap.7), a cura di F.Alvisi e C.Filippucci, Calderini Editore
  • Barcaroli G. - (1992), "An integrated system for edit and imputation of data in the Italian Statistical Institute", Survey and Statistical Computing, pp.167-177
  • Barcaroli G. - (1993), "Un approccio logico formale al problema del controllo e della correzione dei dati statistici," Quaderni di ricerca Istat n.9/1993
  • Barcaroli G., Ceccarelli C., Luzi O. - (1995), "An edit and imputation system of quantitative variables based on macroediting techniques", Proceedings of the International Conference on Survey Measurement and Process Quality, Bristol (UK), 1-4 Aprile 1995, pp.12-17
  • Barcaroli G., Ceccarelli C., Luzi O., Manzari A., Riccini Margarucci E., Silvestri F. - (1995), "The Methodology of Editing and Imputation by Qualitative Variables implemented in SCIA", Documento interno Istat
  • Barcaroli G., Luzi O. - (1995), "Sistema generalizzato per l'editing e l'imputazione di variabili quantitative (GEIS)" Quaderni di ricerca Istat n.1/1995
  • Barcaroli G. - (1998), "La correzione probabilistica dei dati: il trattamento congiunto degli errori di rilevazione casuali e sistematici stocastici mediante l'applicazione del teorema di Bayes alla metodologia Fellegi-Holt", Statistica Applicata, vol.10, n.2/1998
  • Barcaroli G., D'Aurizio L., Luzi O., Manzari A., Pallara A. - (1999), "Metodi e software per il controllo e la correzione dei dati", Documenti Istat, n.1/1999
  • Cotton C. - (1991), "Functional description of the generalized edit and imputation system", Business Survey Methods Division, Statistics Canada
  • Davila H.E. - (1992), "The Hidiroglou-Berthelot Method", Statistical Data Editing Methods and Techniques, United Nations, vol.I, February, 1992
  • Engstrom P., Angsved C. - (1994), "A description of a geographical macro-editing application", Statistical Commission and Economic Commission for Europe-Conference of European Statisticians, Cork, Ireland, 17-20 October 1994
  • Fellegi I.P., Holt D. - (1976), "A systematic approach to edit and imputation", Journal of the American Statistical Association, vol.71, pp.17-35
  • Ford B.L. - (1983), "An overview of hot-deck procedures", Incomplete data in sample survey, vol.1, pg. 191, Academic Press, New York
  • Garcia Rubio E., Villan Criado I. - (1988), "Sistema DIA, Sistema de deteccion y imputacion automatica de errores para datos cualitativos", Istituto Nacional de Estadistica, Madrid, 1988
  • Granquist L. - (1992), Statistical Data Editing Methods and Techniques, United Nations, Vol. I, February 1992
    a - "A Review of methods for rationalizing the editing of survey data"
    b - "The Aggregate Method"
    c - "The Top-Down Method"
    d - "On the need for generalized numeric and imputation system"
  • Granquist L. - (1995), "Improving the traditional editing process", Business Survey Methods, John Wiley and sons
  • Granquist L. - (1995), "An overview of methods of evaluating editing processes", Conference of European Statisticians, (Athens, Greece, 6-9 November), Working Paper n.3
  • Grenless J.S., Reece W.S., Zieschang K.D. - (1982), "Imputation of Missing Values when the Probability of Response Depends on the Variable Being Imputed", Journal of the American Statistical Association, 77, pp.251-261
  • Hawkins D.M. - (1974), "The Detection of Errors in Multivariate Data Using Principal Components", Journal of the American Statistical Association, vol.69, n.346
  • Hidiroglou M.A., Berthelot J.M. - (1986), "Statistical Editing and Imputation for Periodic Business Surveys", Survey Methodology, June 1986, vol.12, n.1, pp.73-83
  • Jackon J.E. - (1959), "Quality control methods for several related variables", Technometrics, vol.1, n.1
  • Kalton G., Kasprzik D. - (1986), "The treatment of missing survey data", Survey methodology, 12, 1, Statistics Canada
  • Klejinen J., Van Grodendaal W. - (1992), "Simulation. A Statistical Perspective", John Wiley, New York
  • Kovar J.G., MacMillian J.H., Whitridge P. - (1988), "Overview and strategy for the generalized edit and imputation system", Statistics Canada, Methodology Branch, April 1988 (updated February 1991)
  • Kovar J.G., Whitridge P. - (1995), "Imputation of business survey data", Business Survey Methods, John Wiley and sons
  • Latouche M., Berthelot J.M. - (1992), "Use of Score Function to Prioritize and Limit Recontacts in Editing Business Surveys", Journal of Official Statistics, vol.8, No.3, Part II
  • Lee H., Ghangurde P.D., Mach L., Yung W. - (1992), "Outliers in sample survey", Statistics Canada Methodology Branch
  • Little R.J.A., Smith J. - (1983), "Multivariate Edit and Imputation for Economic Data", American Statistical Association, Proceedings of the Survey Research Methods Section
  • Little R.J.A., Smith J. - (1987), "Editing and Imputation for Quantitative Survey Data", Journal of the American Statistical Association, vol.82, n.397, Applications Section
  • Lindstrom K. - (1992), "A macroediting application developed in PC-SAS", Statistical Data Editing Methods and Techniques, United Nations, vol.I, February, 1992
  • Luzi O., Ceccarelli C. - (1997), "Le componenti principali nello studio dell'editing multivariato", Atti della XXXV Riunione Scientifica della Società Italiana di Economia, Demografia e Statistica
  • Luzi O. - (1996), "Applicabilità ed impatto potenziale dei metodi per l'editing di dati quantitativi basati sugli approcci del Macroediting e dell'Editing Selettivo", Contributi Istat
  • Masselli M., Signore M., Panizopn F. - (1992), "Il sistema di controllo della qualità dei dati", Manuale di tecniche di indagine, vol.6, Istat
  • Winkler W.E. - (1994), "SPEER Edit System", Computer system and unpublished documentation, Statistical Research Division, US Bureau of the Census, Washington DC, USA

  Guida alla soluzione dei problemi

  Ad installazione terminata verificare il file di nome 'importa.log' presente nella cartella 'Concord' ed accertarsi che tutti i passi siano terminati con successo.

  In caso di errori segnalati in questo file di log si consiglia di ripetere tutta la procedura di installazione (non è necessario disinstallare quanto già installato).

  Se l'installazione è terminata con successo ma non si riesce ad avviare il software, è possibile che nella icona di collegamento sia necessario modificare i riferimenti al SAS.

  Utilizzando il bottone di destra del mouse sul file di collegamento, è possibile andare in "Proprietà" e da qui in "Collegamento", dove si legge la "Destinazione":
  "C:\Programmi\SAS Institute\Sas\V8\sas.exe" -nologo -config …(versione v8).

  Il percorso deve essere modificato se il SAS è installato su disco o cartelle diverse da quelle di default.
  Ad esempio: se in SAS è installato sul disco D ed il programma sas.exe si trova nella cartella D:\Programmi\SAS Institute\Sas\V8, occorre sostituire
  C:\Programmi\SAS Institute\Sas\V8\sas.exe
  con
  D:\Programmi\SAS Institute\Sas\V8\sas.exe