Jacathon Aragón Open Data

Hola a todos,

Estamos organizando el Jacathon Aragón Open Data, que es un evento dirigido a desarrolladores y otras profesiones relacionadas con los datos abiertos en el que queremos conocernos, fomentar la apertura de los datos a través de su uso y que los participantes colaboren/compitan en el desarrollo de aplicaciones. Así que queremos aprovechar para invitaros a participar a todos a través de este espacio que amablemente nos deja la gente de OpenData Euskadi (Gracias!!). logo_jacathon

Durante el Jacathon, el formato seguido será de una primera mañana dedicada a la formación y a continuación 24horas ininterrumpidas para el desarrollo de soluciones informáticas. En la Web del Jacathon tienes toda la información. Además acuérdate de leer las bases, ahí se explica todo lo que puede afectar al concurso.

Dónde y cuándo

Por suerte en Aragón tenemos la mejor ciudad del mundo para realizar Hackathones: Jaca, así que no podíamos desaprovechar la ocasión para realizar allí este evento: Jaca + Hackathon = Jacathon El Jacathon se celebrará el 26 y 27 de septiembre en el Pabellón de Hielo de la ciudad de Jaca.

jaca_ice_rink

Programa

Las actividades principales del Jacathon Aragón Open Data serán las siguientes:

  • Jueves 25 de Septiembre a partir de las 16:00: Abierta llegada de participantes
  • Viernes 26 de Septiembre, 09:30 – 14:00 Formación en herramientas genéricas y de Aragón Open Data
  • Viernes 26 de Septiembre, 15:00: Comienzo fase de desarrollo de aplicaciones Jacathon Aragón Open Data
  • Sábado 27 de Septiembre, 15:00: Fin fase de desarrollo de aplicaciones Jacathon Aragón Open Data
  • Sábado 27 de Septiembre, 16:30-19:00: Presentación de propuestas (5 minutos por equipo)
  • Sábado 27 de Septiembre, 20:00-20:30: Entrega de premios
  • Sábado 27 de septiembre, 21:30: Cena para participantes
  • Domingo 28 de septiembre, 12:00: Abandono de habitaciones por participantes

Premios

Hemos creado tres categorías de premios para los mejores desarrollos del Jacathon:

  • Premio AragoPedia: Mejor desarrollo, aplicación o historia con base en AragoPedia/AragoDBPedia
  • Premio Aragón Open Social Data: Mejora desarrollo, aplicación o historia con base en Aragón Open Social Data
  • Premio Aragón Open Data: Mejor desarrollo, aplicación o historia con datos de Aragón Open Data

Cada uno de estos premios contará con una remuneración económica de 3.000€ para el equipo ganador.

Inscripción

La inscripción en el evento cuesta 50€ por persona. A cambio de esta cantidad cada asistente tendrá derecho a:

  • Alojamiento en la Residencia Universitaria de Jaca (habitación doble y desayuno) desde el 25 al 28 de septiembre (3 noches)
  • Acceso a las sesiones de formación del Jacathon Aragón Open Data
  • Participar en el concurso Jacathon Aragón Open Data y optar al premio en una de las categorías
  • Comidas que se sirvan durante la celebración de la fase de desarrollo de aplicaciones del Jacathon y cena final de evento
  • Documentación que se entregue a los participantes
  • Camiseta del Jacathon Aragón Open Data.
  • En lo relativo a créditos de formación, a aquellos que lo requieran, con la entrega de su aplicación o historia se les expedirá un certificado por valor de un crédito de la Universidad de Verano de Zaragoza

En la web de Aragón Open Data puedes realizar la inscripción

Posted in Noticias | Tagged , | Leave a comment

Opendash, cuadros de mando utilizando Open Data

Hoy traemos a este blog un proyecto de investigación en torno al Open Data. La aplicación Opendash (Dashboard y Business Intelligence utilizando OpenData) es uno de los resultados del proyecto desarrollado por 4 empresas vascas, CodeSyntax , ZylkNet , Fidenet y Prospektiker en colaboración con la Universidad de Deusto a través de DeustoTech, Deusto Instituto de Tecnología y ESLE, la Asociación de Empresas de Software Libre de Euskadi, que además ha contado con la ayuda del programa GAITEK del Gobierno Vasco, gestionado por SPRI. El proyecto Opendash ha pretendido crear una herramienta que permita de forma rápida y sencilla configurar dashboards o cuadros de mando que aprovechen el nuevo tipo de datos públicos, open data, que diferentes organismos y administraciones públicas comienzan a poner a disposición de todos de forma abierta. opendash-web   Para el desarrollo del proyecto se ha hecho uso de la plataforma CKAN, promovida por la Open Knowledge Foundation y que proporciona una funcionalidad genérica para encontrar, compartir y reutilizar contenidos y datos abiertos. CKAN es utilizado en Opendash con la idea de reducir la necesidad de definir un nuevo modelo de datos y de implementar sus funcionalidad, ya sea desde cero o utilizando otra tecnología de gestión de contenidos. La plataforma incorpora un módulo para la visualización de datos abiertos e incorpora APIs de explotación de Open Data. La implementación del API de explotación de datos de la plataforma Opendash se ha llevado a cabo utilizando Flask. El proceso de gestión y explotación de datos mediante el API, se refleja en este esquema: opendash-graph A día de hoy OpenDash ofrece la posibilidad de combinar y trabajar con algunos datasets. La plataforma permite a los usuarios elaborar cuadros de mando sencillos con esos datasets, incorporar nuevos datasets, o generar los datasets desde la misma aplicación, etc. La actualización automática de los datasets provenientes de los datos abiertos existentes es otra de las características que quiere potenciar Opendash a futuro. Es decir, que por ejemplo el último dataset de datos de paro existente, marzo de 2014, se incorpore de forma automática a Opendash y se añada a los previos existentes de 2013, 2012, etc. Tanto las APIs de explotación de los datos, las herramientas para la captura de información, como la herramienta de visualización han sido hechas públicas para su utilización por parte de diferentes usuarios como software libre.

A juicio de los promotores del proyecto, las principales innovaciones del mismo, han sido las siguientes:

  • Establecer una metodología para el tratamiento masivo del OpenData en dashboards
  • Desarrollar herramientas de código abierto que faciliten el tratamiento masivo del OpenData
  • Análisis de la información publica mediante la aplicación de diferente técnicas de inteligencia artificial que permitan hacer un uso más eficiente de los datos disponibles.
  • Permitir la visualización y difusión de los datos más relevantes en cuadros de mando o Dashboards liberados, lo cual ha suscitado ya el interés de varias administraciones locales de nuestro entorno.
  • Permitir el uso, aportaciones y extracción de valor de los datos publicados por los decisores públicos, la propia administración municipal, las empresas interesadas y los propios ciudadanos.

El campo de investigación en torno a las aplicaciones, explotación y uso del Open Data sigue también abierto y Opendash es un ejemplo de ello.

Posted in Buenas prácticas | Tagged , | Leave a comment

Demo: calidad de las aguas de Euskadi

Con los datos de calidad del agua de consumo en Euskadi, hemos creado esta demo, un mapa y aplicación de consulta, con la colaboración de los investigadores de la unidad DeustoTech-INTERNET de la Universidad de Deusto. Hau en Euskadi docenas de estaciones que analizan periódicamente la calidad del aire y del agua. Los datos se recopilan y son públicos, existen entre los datasets de Open Data Euskadi. La presente demo los presenta de una manera más estructurada y atractiva. En la demo llamada Euskalsense, el mapa muestra las estaciones geolocalizadas. Clicando en cada una, llegamos a un punto de muestra, urak-ulibarri Clicar en cada marcador para acceder a los datos de calidad del aire y el agua. Se analizan unos cuantos parámetros, tanto químicos como biológicos. Hay datos de los últimos años, y en cada año, más de una muestra, que se indica con la fecha exacta. Los resultados no siempre son buenos, claro, para algo se hacen estas muestras, para tener constancia y reaccionar. En el embase de Ulibarri el agua es potable, pero no ocurre así en este otro punto en Urigoiti, Orozko. La demo permite comprobar datos en distintos momentos, y se ve que no siempre la situación de un punto dado es potable o no potable, sino que varía. Por ejemplo, del citado ejemplo de Urigoiti hemos extraído este cuadro: aguas-manan6 Este trabajo lo han hecho investigadores de la unidad Deustotech-Internet con ayuda de la iniciativa Bizkailab de la Diputación de Bizkaia y la colaboración de Open Data Euskadi. Nuestros amigos de Deusto no sólo han creado el mapa y los interfaces de consulta. Han hecho también un API de consulta al que se puede acceder programáticamenre a través de un SPARQL endpoint. La sintaxis es tal que así: http://helheim.deusto.es/euskalsense/sparql?query=SPARQL_QUERY Además, la misma aplicación se ha liberado, la tenéis en Github. El modelo de extracción de datos y la descripción del proceso se publicó en este estudio: Semantic Annotations for Sensor Open Data (PDF; autores: Mikel Emaldi, Jon Lázaro, Unai Aguilera, Oscar Peña, Diego López de Ipiña).

Posted in Técnico | Tagged , | Leave a comment

Demo: asociacionismo en Euskadi (uso avanzado del API)

Hemos preparado otra demo, usando datos de fuentes distintas. El mapa del asociacionismo en Euskadi.

Basándonos en el Registro de Asociaciones de Euskadi disponible entre los datasets de Open Data Euskadi, combinamos los datos extraídos del mismo con el listado de municipios del servicio geográfico Nora del Eustat y con los límites municipales disponibles en Open Street Map, el gran mapa libre.

El resultado es un “mapa de calor”, donde aparecen en rojo más oscuros las localidades con mayor número de asociaciones por habitante, y en verde las zonas más frías, con menos asociacionismo, por así decirlo.

opendata1

Pero el mapa va un poco más allá: clicando en un municipio dado, obtenemos el listado de asociaciones con sede en tal localidad, su nombre, y también su objeto. En este caso, no es un volcado de datos que hayamos hecho, sino una consulta en tiempo real al API.

Por ejemplo, los datos de Elgoibar, con 92 asociaciones registradas, desde la micológica Karakate al Coro Parroquial. Este listado lo obtenemos en tiempor real en consulta desde el API del registro. Si surge una nueva asociación en Elgoibar y se añade al registro la semana que viene, la consulta a la misma página os dará con 93 asociaciones.

opendata-elgoi

El interfaz de la aplicación demo es, como en ejemplos anteriores que hemos hecho, muy simple. Las casi 4.000 asociaciones que hay en Bilbao las mostramos paginadas en 40 páginas. No es lo más usable, obviamente. Ahora bien, ahí están las herramientas y los datos, y si alguien quiere hacer un buscador, lo puede hacer :-)

Explicación del API

La consulta que hacemos nosotros, concretamente, se hace accediendo al registro de asociaciones usando el API genérico de euskadi.net. Este API nos ofrece resultados en formato XML. Al no ser un API específico, cuesta un poco dar con los parámetros concretos para realizar la búsqueda. Pero trataremos de explicarlos.

La url de base es http://opendata.euskadi.net/r01hSearchResultWar/r01hPresentationXML.jsp y a esta url tenemos que pasarle un query string para recuperar los objetos que nos interesan. Para elaborar este query_string hemos tenido en cuenta lo siguiente:

  • Nos interesaba recuperar las asociaciones por municipio. El API de euskadi.net utiliza los códigos del Eustat para identificar los municipios, utilizando el código de provincia y el código de municipio.
  • Tenemos que conocer también cuales son los registros que queremos recuperar y también de que tipo son. En este caso estamos hablando de registros_administrativos del tipo asociación.
  • Por último, es necesario elaborar algun tipo de sistema de páginación, ya que hay localidades que pueden devolver muchos resultados, y una petición de este tipo seria muy costosa en tiempo de ejecución y consumo de recursos.

A la hora de construir el query string tenemos que tener en cuenta cual es el formato que utiliza la API de euskadi.net. Por defecto, como en cualquier petición http, los diferentes campos del query_string se definen entre el carácter ‘&’. La API de euskadi.net recibe estos parámetros:

  • r01Lang: Idioma de la consulta
  • r01kQry: query que se aplicará en el entorno de datos de euskadi.net (volveremos a este parámetro, pues es el más interesante para la demo que nos ocupa)
  • r01PgCmd: modo de paginación
  • r01kSrchSrcId: Identificador de la fuente de búsqueda.

La mayor parte de los argumentos no tienen mucho secreto, pero es en el parámetro r01kQry donde nos encontramos con la potencia (y complejidad) del API.

Con la cadena que pasamos en este argumento, el sistema de euskadi.net construye una query con la que recupera datos. En esta cadena pasamos los criterios de búsqueda, criterios de ordenación, criterios de paginación… Para generar estos criterios utilizamos el formato ‘identificador_operacion:filtro;’. Por ejemplo, para buscar documentos en euskadi.net el criterio a aplicar es ‘tC:euskadi;’

La documentación del API de Euskadi.net es prolija y lo cierto es que lleva trabajo desentrañar sus misterios. Pero, resumiendo, en este caso, hemos aplicado estos criterios de selección de documentos:

  • tC:euskadi;
  • tF:registros_administrativos;
  • tT:asociacion;

Los siguientes criterios de filrado:

  • m:documentLanguage.EQ.es,recTerrytoryCode.EQ.CODIGO_PROVINCIA,recTownCode.EQ.CODIGO_MUNICIPIO;

Criterios de ordenacion:

  • o:documentCreateData.DESC

Y citerios de paginación y número de resultados:

  • pp:r01PageSize.100

Si se observan los criterios de filtrado, ordenación y paginación, se podrá ver como se le pasan valores al sistema interno de euskadi.net.

Analicemos los criterios de filtrado:

  • Se utiliza el caracter ‘,’ para definir los distintos parámetros de búsqueda.
  • Los atributos disponibles para filtrado son los que aparecen en el XML
  • Las operaciones disponibles para filtrar son EQ y LIKE
  • Se utiliza el caracter ‘.’ para definir el parámetro, de esta manera la cadena documentLanguage.EQ.es es equivalente a documentLanguage=’es’

Teniendo en cuenta todo ello la petición para recuperar las primeras 100 asociaciones de Elgoibar tenemos que pedir esta URL (abrir para verla entera).

Una vez  recuperado el XML tendremos que navegar hasta la etiqueta ‘results’ a la que podremos acceder con el xpath ‘/searchSession/searchResultsBySource/searchSourceResults/results’

Para organizar la navegación/paginación tendremos disponibles el número de página y el número de resultados como atributo de la etiqueta navBar que podremos acceder en el xpath ‘/searchSession/searchResultsBySource/searchSourceResults/navBar’

En nuestra aplicación demo, hemos usado el framework de software libre Django, y el código que se encarga de la comunicación con el API, lo hemos publicado aquí.

Posted in Técnico | Tagged | 2 Comments

Demo: deuda de los municipios vascos y su evolución

El Ministerio de Hacienda y Administraciones Públicas ha publicado recientemente los datos de la deuda acumulado por los municipios de España. La llamada deuda viva de las entidades locales, alcanzó, a finales de 2013, los 41.715 millones de euros, lo que supone un 2,6% menos que los 42.800 millones de euros de 2012.

Según la Oficina Virtual de Coordinación Financiera con las Entidades Locales, de esa deuda, 35.321 millones corresponden a los ayuntamientos. Obteniendo los datos del Ministerio, y cruzándolos con los propios de Open Data Euskadi (los listados de habitantes y municipios), hemos hecho una pequeña demo de ejemplo:

Aquí está la demo: Udalen Zorrak (deuda municipal). Hemos hecho un interfaz muy simple, sólo en euskera, pero no hay mucho misterio para su uso. Los encabezados de columna son clicables como en una hoja de cálculo para ordenar, hacia arriba o hacia abajo, por el número de habitantes, el monto de la deuda (la columna donde pone el año), el porcentaje (que indica la variación con respecto al año anterior, 2012) y la ratio de deuda por 10.000 habitantes.

Clicando en un municipio concreto, mostramos también más datos: ya que el Ministerio los da desde 2008, un cuadro y un gráfico con la evolución de la deuda. Por poner un ejemplo, en Artzentales, están deshaciendose de la deuda como se ve en el gráfico (clicar para ver completo):

artzentales

La demo es sencilla, obviamente se pueden utilizar datos de distinto origen (el ministerio publicó en Excel), pero creemos que el resultado resulta práctico, sobre todo para los ciudadanos que pueden saber cuanto debe su ayuntamiento.

Para usarla, ahí la tenéis, Demo Udalen Zorrak / Deuda municipal vasca.

Posted in Técnico | Tagged | 1 Comment

Mapas colaborativos del Ararteko, reutilización y, a la vez, difusión de nuevos datos libres

La Institución del Ararteko ha puesto en marcha un proyecto de mapa colaborativo que informa de la accesibilidad de los lugares públicos de Euskadi. El origen de sus datos es doble: las aportaciones de los usuarios, por un lado, y varios datasets de Open Data Euskadi (además de datos del Eustat). A su vez, los datos de los lugares son libres y reutilizables. Constituye, por lo tanto, un buen ejemplo doble, tanto de reutilización de datos, como de difusión de los mismos.

arateko-map

Ararteko Mapak surgió como proyecto de mapeo colaborativo entre la ciudadanía, las asociaciones y la administración para informar de los lugares que son accesibles. Actualmente dispone de información de transporte, turismo y bibliotecas. Se muestra la información de base de la situación de los recursos así como el nivel de accesibilidad que se ha determinado por el creador de la base de datos en cada caso, pero se pretende que los usuarios mismos aporten información adicional sea en forma de comentarios como fotografías del estado real de cada recurso, sea estación de tren, restaurante, cafetería, biblioteca etc.

El sitio web es accesible para que pueda utilizarse desde cualquier tipo de dispositivo.

Utilización de datos libres tiene estos orígenes:

En cuanto a los datos liberados, toda la base de datos se publica regularmente para que pueda ser reutilizada por la ciudadanía.

La aplicación web que gestiona el sitio web se ha publicado y se sigue actualizando en GitHub, está desarrollada en Django (framework sobre Python), con HTML5.

ararteko-mobile

Recientemente se han publicado aplicaciones móviles para Android e iOS con lo que los usuarios pueden simplificar al máximo la carga de comentarios y fotografías. Se puede comentar directamente en vivo en el sitio que se está visitando.

Posted in Buenas prácticas | Tagged , , , , , | Leave a comment

Demo: Instalaciones deportivas en Euskadi, un foco de actividad económica

Hemos hecho una demo de ejemplo con datos de Open Data Euskadi y otras fuentes, que cruzan informaciones de distinto tipo para obtener una serie de resultados relacionados con las instalaciones deportivas de Euskadi.

OpenData acaba de publicar (en marzo de 2014) el listado de establecimientos cuya actividad principal se encuadra en el grupo 93.1 Actividades deportivas de la Clasificación Nacional de Actividades Económicas CNAE-2009, extraído del Directorio de actividades económicas (Dirae), directorio de carácter estadístico actualizado periódicamente por Eustat.

Lo que obtenemos en cada localidad, en la práctica, es un listado de instalaciones deportivas, en los que se listan diversas empresas que tienen actividades deportivas como eje de su actividad. Como el censo de actividades económicas lista los números aproximados de empleados, obtenemos el dato del impacto en el empleo que cada actividad o instalación deportiva genera en cada localidad.

Uniendo esas informaciones a los datos de población, obtenidos del Eustat, obtenemos unas medias estadísticas que pueden tener interés: la disponibilidad de instalaciones deportivas por habitante (calculado en nuestra demo como una media de instalaciones cada 10.000 habitantes), y el empleo generado en el sector (también calculado por cada 10.000 habitantes).

Aquí teneis la aplicación demo: Kirolguneak. Los datos de las columnas de la demo son indexables y así vemos que Lezama es el pueblo con más empleo deportivo: la presencia del Athletic Club es evidente, y quizás no sea todo empleo estrictamente local sino de la comarca, pero el dato es claro.

kirolguneak-lezama

En cuanto al número de instalaciones deportivas por habitantes, en las localidades pequeñas con una instalación, la media por 10.000 habitantes sigue siendo alta, y por eso salen primeros esos pueblos. En localidades por encima de 5.000 habitantes, Derio y Orio son las mejor equipadas. Por encima de 10.000, Tolosa, y la segunda es ya una capital, San Sebastián, cuyos habitantes disponen del doble de instalaciones deportivas por habitante que los que viven en Bilbao o Vitoria-Gasteiz.

kirolguneak-donostia

Para explorar más datos, ahí tenéis la aplicación demo Kirolguneak.

Posted in Técnico | Tagged , , , , | Leave a comment

La administración pública debe incorporar la óptica Open Data en su forma de actuar

El Director de Atención a la Ciudadanía e Innovación y Mejora de la Administración, Javier Bikandi, ha participado en la jornada “Creando valor desde el mundo de los datos: Open, Linked, Big Data”, organizada por Tecnalia. Bikandi ha asegurado que la administración pública debe incorporar la óptica Open Data en su forma de actuar, “siendo consciente de que éste es un proyecto que debe hacerse sostenido en el tiempo”.

Seguir leyendo esta noticia en Irekia

Posted in Noticias | Tagged , , | 1 Comment

Mejoras en los datos sobre cargos y entidades públicas: SPARQL endpoint y negociación de contenido

Hace algunas semanas publicamos los datos de la “Guía de la Comunicación” del Gobierno Vasco en RDF y vCard. Esta Guía, que incluye gran cantidad de datos de contacto de cargos públicos y de entidades públicas y privadas de Euskadi, resulta de gran interés por la cantidad de datos que posee y su actualización continua.

El siguiente paso que acabamos de dar consta de dos nuevas funcionalidades que pueden resultar de interés para los reutilizadores:

  • SPARQL Endpoint: es una herramienta que permite realizar consultas SPARQL (lenguaje estandarizado para la consulta de grafos RDF). Es una tecnología clave en el desarrollo de la Web Semántica. Acceder al SPARQL endpoint.
  • Negociación de contenido: cuando un agente solicita un recurso especifica si prefiere la representación de esa entidad en RDF o HTML (dependiendo de si es una persona o una máquina). Mediante negociación de contenido, nuestro servidor devuelve la representación en HTML o RDF.

Estas dos mejoras contribuyen, sin duda, a facilitar la reutilización de esta base de datos. No obstante, sabemos que tenemos que seguir implantando más mejoras. Ya tenemos en mente el siguiente paso: enlazar estos datos con datos externos. Iremos avanzando poco a poco.

sparql

Posted in Técnico | Tagged , , , | Leave a comment

Calidad de las aguas de consumo

Esta semana hemos publicado en Open Data Euskadi los datos sobre la calidad de las aguas de consumo en Euskadi. Estos datos, que ya de por sí resultan muy interesantes desde el punto de vista de la reutilización y de la transparencia, cobran mayor interés si cabe debido a dos factores:

  • El nivel de detalle: por un lado, incluimos los datos históricos desde el 2004; por otro, se encuentran desagregados al nivel de los parámetros que se miden y también al punto de abastecimiento donde se ha hecho la medición.
  • Su frecuencia de actualización: los datos del año actual (2014) se van actualizando poco después de su medición física (unas horas después de que los técnicos carguen los datos en la base de datos).

Cómo se mide la calidad del agua

foto_home1Los datos los recogen las Unidades de Control y Vigilancia (UCV), que son entidades autorizadas por el Departamento de Salud del Gobierno Vasco, y se encargan de analizar el agua y adoptar medidas preventivas y de mantenimiento de las instalaciones.

Además de las UCV, también participan los centros de salud pública dependientes del Departamento de Salud, que supervisan las instalaciones, los programas de control y la calidad del agua de todos los abastecimientos de Euskadi.

El resultado de las mediciones efectuadas se puede consultar en la web del dpto. de Salud desde hace varios años.

Sin embargo, convencidos de la utilidad e interés de estos datos para los reutilizadores, nos pusimos en contacto con el dpto. de Salud para proponer su liberación en formatos reutilizables. Desde hace algunos días el resultado lo podéis ver en nuestro catálogo de datos.

Datos en Open Data Euskadi

Para facilitar su búsqueda en el catálogo y su reutilización hemos distribuido los datos por año. Asimismo, cada dataset incluye 3 ficheros (en realidad son 6: formato csv y excel):

  • Uno con las zonas de abastecimiento geolocalizadas (más de 800 en la CAE).
  • Un fichero ZIP con las mediciones organizado en múltiples ficheros (csv o excel), uno por cada uno de los parámetros que se miden (Ej. Benceno, amonio, aluminio, etc.).
  • Un fichero ZIP donde se recogen los datos estadísticos del año por territorio y por parámetro.

Estos son cada uno de los 11 datasets:

Finalmente, agradecer al departamento de Salud su disposición para publicar estos conjuntos de datos. Confíamos plenamente en su utilidad.

Posted in Noticias | Tagged , , , | Leave a comment