Fare Open Data
L’AGID, l’agenzia per l’Italia digitale, ha reso disponibili le “Linee Guida Nazionali per la Valorizzazione del Patrimonio Informativo Pubblico”, documento di riferimento per Enti e Pubbliche Amministrazioni che rendono disponibili i propri dati in formato aperto e fruibile. In linea con quanto previsto dall’art.52 del CAD, Codice dell’Amministrazione Digitale. https://docs.italia.it/italia/daf/lg-patrimonio-pubblico/it/stabile/normativa.html
Catalogazione degli Open Data
Come società operante nel settore IT, abbiamo acquisito competenze specifiche, sia normative che tecniche, nell’ambito dell’Open Data, specializzandoci nell’installazione e utilizzo della piattaforma CKAN, Comprehensive Knowledge Archive Network, per la catalogazione, pubblicazione, condivisione, ricerca e utilizzo dei dati aperti
CKAN è la piattaforma di riferimento per gli Open Data, utilizzata da governi, organizzazioni e comunità in tutto il mondo (vedi http://ckan.org/instances/# ). In Italia è molto diffusa e utilizzata sia a livello nazionale, www.dati.gov.it , regionale, Toscana, Emilia Romagna , Sardegna, Trentino, Umbria, Marche, (http://dati.umbria.it/) , (http://goodpa.regione.marche.it/) che comunale, Palermo, Bari, Firenze, Bolzano (http://daten.buergernetz.bz.it/it/ ) e molti altre organizzazioni e comunità.
Cos’è e a cosa serve CKAN?
- CKAN è’ un potente sistema open source di data management (DMS) , basato su web, per la gestione di cataloghi di dati aperti.
- Serve, in linea di principio, per memorizzare metadati, ma ha anche funzioni di archiviazione
- Semplifica il modo di trovare i dati (catalogazione)
- Permette di avere la documentazione dei dati sempre disponibile
- Permette di avere i dati a disposizione via internet tramite una URL permanente
- Permette la fruizione diretta e l’interoperabilità sui dati
- Segue lo standard DCAT W3C per la catalogazione
Alla competenza specifica sulla piattaforma CKAN, la nostra società aggiunge la capacità di progettare e fornire soluzioni in housing per server dedicati con diversi livelli di prestazioni e gradi di sicurezza. Sui sistemi dedicati forniamo assistenza e mantenimento delle prestazioni e sulla piattaforma CKAN aggiornamenti e formazione degli addetti alla raccolta, metadatazione e pubblicazione dei dati.
Esempio di catalogo di dati aperti:
Istanza CKAN a supporto del progetto ESC ESC2020
A corredo del progetto Energy Smart Community presentato al tavolo Ambiente Energia di Spezia 2020 abbiamo attivato, a titolo dimostrativo, una istanza di CKAN per la pubblicazione e la creazione del catalogo dei dati raccolti nella fase conoscitiva di alto livello
Esempio di utilizzo delle API
l'interoperatività è garantita da un corposo set di procedure (API Application Programming Interface) per lo sviluppo di applicazioni che interagiscono direttamente con i dati di CKAN. Di seguito ripotrtiamo esempi di elenchi in formato JSON ottenuti da CKAN
Cosa si può fare con CKAN
Pubblicare e gestire dati
- Un'interfaccia web intuitiva permette a editori e curatori di data set di gestire e perfezionare i propri dati
- È possibile aggiungere e modificare i dati in CKAN in molti modi, tra cui:
- Direttamente tramite l'interfaccia web
- Utilizzando la ricca disponibilità di solide interfacce di programmazione (API)
- Utilizzando importatori personalizzati
Un modello di autorizzazione distribuito denominato «organizzazioni» consente ad ogni editore di avere il proprio processo di immissione e di approvazione dei data set. Questo significa una redistribuzione delle responsabilità e la possibilità di gestire autorizzazioni e accesso ai dati in modo decentralizzato.
Raccolta Dati
Molte organizzazioni hanno già collezioni strutturate di dati, con processi e procedure ben definite per la pubblicazione e la gestione. In questo caso i dati possono essere semplicemente trasferiti in CKAN dai repository esistenti.
Questo metodo di “Raccolta” è un meccanismo sofisticato e personalizzabile, può prendere e importare dati da fonti eterogenee e repository differenti tra cui:
- Geospatial CSW server
- Cataloghi web esistenti
- Semplici indici o elenchi in HTML o cartelle accessibili via web
- ArcGIS, server e database Geoportale Z39.50
- Importazione da altri cataloghi CKAN
L’importazione da altri cataloghi CKAN viene utilizzata su data.gov per aggiornare il catalogo dei dati pubblicati e per implementare un servizio di Discovery come esposto nella direttiva europea INSPIRE. E 'utilizzato anche su www.publicdata.eu European Data Portal per aggiornare il catalogo delle pubblicazioni e per facilitarne la ricerca.
Gestire la raccolta dati
Il soggetto amministratore ha a disposizione un pannello di controllo per gestire gli utenti accreditati, creare e gestire organizzazioni e gruppi di utenti, controllare i set di dati e approvare le modalità di pubblicazione, gestire le fonti di raccolta.
Creare format specifici con l’eventuale pre-compilazione di alcuni campi o crearne di nuovi sulla base di specifiche esigenze.
I data set possono essere pubblici o privati. Nel caso, i dati privati sono visibili solo dai membri dell’organizzazione proprietaria (p.e. Ufficio Anagrafe). All’amministratore viene fornito un selettore massivo che permette di identificare un set di dati e renderlo pubblico o privato.
Ricerca e discovery
- CKAN offre una potente e rapida funzione di ricerca 'stile di Google' basata su parole chiave, e attraverso tag identificativi .
- Gli utenti possono vedere rapidamente quali insiemi di dati sono disponibili, i formati e le licenze, direttamente dai risultati di ricerca. Tutti i campi del set di dati sono ricercabili (vedi metadatazione).
- Ricerca su tutto il set di attributi - gli utenti possono cercare su tutto il metadato, dal titolo, nome dell'editore. Tag assegnati
- Ricerca a testo integrale - i campi di ricerca full-text.
- Fuzzy-matching - opzione per ricerca in alternativa alla corrispondenza esatta
- Drill-Down. Ricerca per approssimazione successiva/approfondimento. Possibilità di ricerca ricorsiva sui risultati affinando sempre più i termini di corrispondenza.
- Ricerca tramite API (Application Programming Interface) - Tutte le strutture di ricerca possono essere rese disponibili su specifiche APP utilizzando le interfacce API JSON di CKAN
Metadatazione
CKAN fornisce un ricco set di metadati per ogni set di dati.
Titolo - consente l'etichettatura intuitiva del set di dati per la ricerca, la condivisione e il collegamento.
Identificatore unico - insieme di dati ha un URL univoco, che è personalizzabile dall’editore.
Gruppi - visualizzazione di quali gruppi il set di dati può appartenere. L’assegnazione a uno o più gruppi rende più facile il collegamento, la ricerca e la condivisione tra gli editori e gli utenti interessati.
Descrizione - informazioni aggiuntive. La descrizione o le caratteristiche del dataset può essere statico o in un formato wiki modificabile. Chiunque può contribuire liberamente o tramite un moderatore.
Anteprima – Anteprima dei dati .csv direttamente nel browser per vedere se è il set di dati desiderato.
Cronologia delle modifiche - CKAN consente di visualizzare una cronologia di revisione per i set di dati che sono liberamente modificabili dagli utenti (come è thedatahub.org)
Campi aggiuntivi – possibilità corredare di ulteriori informazioni, come i dati di localizzazione (vedi funzioni geospaziali) o altre caratteristiche rilevanti per l'editore o per il set di dati. Come e dove visualizzare i campi aggiuntivi.
Licenza - visione istantanea del tipo di licenza attribuita al dataset. Ciò rende chiaro agli utenti se hanno il diritto o meno di utilizzare, modificare e ridistribuire i dati.
Tag – possibilità di etichettare il dataset . I tag facilitano la ricerca e la navigazione tra i dataset oltre a consentire una maggiore reperibilità attraverso la ricerca di tag o set di tag.
Più formati (se presente) – lo stesso dataset può essere pubblicato in diversi formati.
Chiave API - consente l'accesso ogni campo del metadato e la possibilità di modifica se si dispone delle autorizzazioni relative .
Funzioni Geospaziali
CKAN ha funzioni geospaziali per l’ anteprima dei dati, la ricerca, e la scoperta.
Anteprima
Se il set di dati strutturati con informazioni sulla posizione viene caricato nello DataStore di CKAN, CKAN da la possibilità di tracciare i dati su una mappa interattiva. L'immagine mostra una mappa di un set di dati campione, con i marcatori che mostrano i singoli punti di dati e tutti i dettagli indicati per i record selezionati.
Ricerca
CKAN può capire una posizione associata a un set di dati, e utilizzare questo per offrire funzionalità di ricerca geospaziali tramite l'interfaccia web e API. Un utente che cerca i set di dati in grado di filtrare i risultati per area geografica, specificando un rettangolo di selezione per limitare l'area interessata. CKAN capisce diverse geometrie coordina e analizza le informazioni sulla posizione interessata.
Scoperta
Per garantire i vostri dati possono essere facilmente integrati con altri sistemi, CKAN include strumenti per importare i metadati geo-codificati in un certo numero di formati e renderlo interrogabile ( 'rilevabile') secondo lo standard INSPIRE. E 'possibile importare i principali schemi di metadati, come ISO19139, GEMINI 2.1 e FGDC in grado di gestire i record ospitati in una varietà di modi, tra cui la serie CSW geospaziale, WAF, portali ArcGIS, i server ei database Geoportale Z39.50. CKAN può anche servire pacchetti geospaziali tramite la propria interfaccia CSW. L'architettura è estensibile, rendendo più semplice per sostenere altri standard e servizi di distribuzione.
Per una documentazione più dettagliata sulla funzionalità geospaziali di CKAN, consultare la documentazione funzionalità geospaziali.
Comunità
CKAN fornisce diverse caratteristiche chiave che consentono agli utenti di un portale CKAN di comunicare e collaborare sui dati.
Commenti - gli utenti possono aggiungere commenti e discussione su un set di dati. L'estensione dei commenti può essere attivato o disattivato in qualsiasi momento.
Share - gli utenti possono rapidamente e facilmente promuovere e discutere un set di dati tramite l’integrazione con twitter e facebook.
RSS / Atom - creare feed di eventuali modifiche e revisioni di set di dati e gruppi.
Seguire - 'seguire' un set di dati e di essere informati di eventuali modifiche, aggiornamenti o nuove attività.
Bandiera - marcare un set di dati con un problema o segnalare istruzioni su ciò che manca o ancora 'da fare'. Questo permette un impegno guidato dalla comunità per migliorare e affinare i metadati.
Visualizzare dati
L’ anteprima di CKAN ha una serie di potenti funzionalità per la visualizzazione dei dati memorizzati nel DataStore.
vista tabella: se il data set è stato caricato o legato a CKAN come .CSV o tabella di Excel, il datastore carica l’anteprima in un database che consente a CKAN di dare una serie di visualizzazioni e elaborazioni dei dati selezionati.
Rappresentazione grafica dei dati: è anche possibile visualizzare i dati su un grafico, scegliendo le variabili da rappresentare e il tipo di grafico
dati cartografici: Se la tabella ha colonne che CKAN riconosce come latitudine e longitudine, si può tracciare i punti di dati su una mappa, che può essere trascinato e zoommato. Selezionando un punto vengono visualizzati tutti i valori di campo nella riga corrispondente.
immagini: l'anteprima di CKAN non è limitata ai dati tabulari. Vengono visualizzati i formati immagine più comuni, e se una risorsa è una pagina web, sarà anch’essa visualizzata in anteprima direttamente nel dataset di CKAN.
Rotolare il proprio: anteprime built-in di CKAN utilizzare API del DataStore. Se avete i propri dati strumenti di anteprima o sta progettando di costruire loro, è facile collegare loro nel API in modo che è possibile creare visualizzazioni al volo, senza la necessità per gli utenti di scaricare i dati.
Archiviare
Oltre a possedere i metadati e collegamenti a dati esterni, CKAN può fornire funzioni di archiviazione (storage) estremamente sicure. Quando si crea il set di dati o si crea una risorsa, è possibile sia il collegamento ai dati ospitati altrove, o caricarli direttamente nella stessa azione , su CKAN.
Il caricamento o il collegamento al dataset
I dati possono essere memorizzati in qualsiasi formato. Per i dati strutturati, per esempio quando viene caricato un foglio di calcolo, CKAN offre una ricca API per i dati stessi, consentendo agli utenti di interrogare, recuperare e utilizzare i dati istantaneamente da set di dati in CKAN senza la necessità di scaricarli o pre-processarli. CKAN è fornito di propri strumenti di visualizzazione per le anteprime di dati, grafici e immagini.
Federare
Poiché la funzionalità di raccolta possono essere usate per consultare/importare i metadati da altre istanze di CKAN, si possono utilizzare queste funzioni per creare una rete federata di nodi CKAN .
Ciò è utile se, ad esempio, si vogliono aggregare le informazioni dalle istanze CKAN delle amministrazioni locali, o per istanze CKAN su argomenti specifici o sottoinsiemi di data set.
CKAN segue lo standard per i metadati DCAT (Data CATalog vocabulary ) per la catalogazione, quindi i dati possono anche essere federati da cataloghi non CKAN.
Links
Agenzia per l'Italia Digitale http://www.agid.gov.it/
Codice dell'Amministrazione Digitale http://www.agid.gov.it/cad/codice-amministrazione-digitale
CAD Linee Guida Open Data http://www.dati.gov.it/content/linee-guida-open-data-2016
Formati aperti http://www.agid.gov.it/agenda-digitale/pubblica-amministrazione/formati-aperti
Interoperabilità semantica https://www.dati.gov.it/content/dcat-ap-it-v10-profilo-italiano-dcat-ap-0
Descrittori semantici RDF https://it.wikipedia.org/wiki/Resource_Description_Framework
Open Government Data https://opengovernmentdata.org/
I Dati Aperti della Pubblica Amministrazione https://www.dati.gov.it/
CKAN https://ckan.org/about/instances/
Analizzatore semantico https://dandelion.eu/
Riutilizzo di dati aperti http://it.dbpedia.org/
Infrastruttura di Linked Open Data http://www.smartopendata.eu/
Cittadinanza attiva http://www.linkedopendata.it/wp-content/uploads/statotrasparente.pdf
Riutilizzo delle informazioni nel settore pubblico http://www.evpsi.org/evpsifiles/bianco_beta.pdf
© 2017 Giovanni Cortelezzi - Servizi Informatici Srl
|
