Calidad de Datos. Cómo impulsar tu negocio con los datos.

 

Calidad de datos es la cualidad de un conjunto de información recogida en una base de datos, un sistema de información o un data warehouse que reúne entre sus atributos la exactitud, completitud, integridad, actualización, coherencia, relevancia, accesibilidad y confiabilidad necesarias para resultar útiles al procesamiento, análisis y cualquier otro fin que un usuario quiera darles.

¿Escuchas hablar de Big Data? Sin duda una posibilidad para poder tomar buenas decisiones de negocio. Pero sin calidad de datos sólo vas a conseguir decisiones pobres. Ahora más que nunca, es de vital importancia asegurar la calidad de datos para apoyar las acciones empresariales.


calidad_de_datos_toda_la_informacion.jpg

Créditos fotográficos: istock AndSim

¿De qué sirve realizar análisis y llegar a conclusiones para apoyar la toma de decisiones si la calidad de datos es deficiente? Una mala calidad de datos puede provocar decisiones erróneas que te pueden llevar a tener dificultades.

Veamos exactamente qué es calidad de datos y algunas otras cosas que debes tener en cuenta acerca de esta disciplina.

 

  1. Definición de calidad de datos

La calidad de los datos es más que una percepción. No existen estandarizaciones, ni una talla única en lo que se refiere a data quality. Mantener la exactitud y la integridad de todos los tipos de datos en toda la organización es trabajar por su aptitud para cumplir con su propósito en un contexto dado, implica garantizar que cada dato reúne todos los atributos necesarios:

  • Exactitud
  • Actualización
  • Relevancia
  • Coherencia
  • Presentación apropiada
  • Accesibilidad

Dentro de una organización, la calidad de los datos es esencial para la consistencia del reporting, la confianza de los usuarios y para la eficacia de los procesos operativos y transaccionales. La inteligencia empresarialnecesita basarse en datos de alta calidad y, para asegurar que éstos se hallan al nivel deseado, hay que cuidar que cada interacción con los datos lo propicia, desde la forma en que se introducen, a cómo se almacenan y gestionan.

El aseguramiento de la calidad de los datos es el proceso de verificación de la fiabilidad y efectividad de los datos, que debe realizarse periódicamente, y que incluye acciones como:

  • Actualización
  • Normalización
  • De-duplicación

Toda organización debe buscar el obtener una visión única de la verdad, independientemente de que para alcanzar su conocimiento necesite apoyarse en datos de distintos tipos, que éstos se almacenen en múltiples sistemas dispares o provengan de fuentes heterogéneas.

Para garantizar la calidad de datos existen muchas soluciones en el mercado que facilitan los procesos de limpieza, perfilado y data matching, contribuyendo a lograr mejores resultados, en menos tiempo, gracias a la automatización que, al mismo tiempo, reduce el índice de errores en el proceso.

 ¡Resuelve aquí tus dudas sobre Calidad de Datos con uno de nuestros expertos!

 

  1. ¿Qué es Data Quality Management?

La gestión de la calidad de los datos (Data Quality Management) es una forma de administración que abarca desde la definición y designación de roles hasta el despliegue de funciones, de la definición de políticas y responsabilidades al establecimiento de procedimientos para la adquisición, mantenimiento, disposición y distribución de datos.

Un enfoque eficaz de la gestión de la calidad de los datos comprende tanto elementos reactivos, que  incluyen la gestión de problemas en los datos situados en bases de datos existentes; como elementos proactivos, que son los que tiene que ver con:

  • Establecimiento de la gobernanza.
  • Identificación de las funciones y responsabilidades.
  • Implementación de una plataforma técnica que facilite estas prácticas empresariales.

Por eso, para que una iniciativa de gestión de la calidad de los datos tenga éxito, debe garantizarse la cooperación entre las áreas de IT y negocio. Esta asociación es importante porque, si bien los perfiles técnicos se encargarán de la construcción y el control del entorno, los usuarios de negocio serán los propietarios de los datos y, a partir de la aceptación ese rol, asumirán una responsabilidad con la organización y sus activos informacionales.

Así, desde IT se llevarán a cabo todas las acciones necesarias para adquirir, mantener, difundir y poner a disposición de quien corresponda los activos de datos electrónicos de una organización, trabajando para ello en:

  • Arquitectura
  • Sistemas
  • Establecimientos técnicos

En cualquier proyecto de data quality, o al considerar una plataforma de inteligencia de negocios, hay que tener en cuenta los diferentes roles asociados con la gestión de la calidad de los datos:

  • Responsable de proyecto y gerente de programa: es la persona que se encargará de la supervisión de las iniciativas de calidad específicas o del programa de inteligencia de negocios. Entre sus funciones, está también el gestionar el presupuesto, el alcance y las limitaciones del proyecto.
  • Agente de cambio en la organización: se trata de una posición clave puesto que su misión consiste en ayudar a todos los integrantes de la compañía a reconocer el impacto y el valor del entorno de inteligencia de negocios, prestando su colaboración para hacer frente a los posibles retos que se planteen.
  • Analista de negocio: con este rol se designa al perfil encargado de comunicar las necesidades del negocio para traducirlas en necesidades de calidad de datos.
  • Analista de datos: una vez conocidas las demandas del área de negocio, traduce esas necesidades en el modelo de datos y los prerrequisitos para los procedimientos de adquisición y entrega de datos; teniendo siempre presentes las necesidades específicas de calidad, y asegurándose de que queda constancia de ellas en el diseño.
  • Administrador de datos: así se denomina a quien se ocupa de gestionar los datos como un activo corporativo.

 

  1. Hasta dónde llegar con la calidad de datos

¿Existe alguna forma de medir el data quality? ¿Es posible llegar a  una tasa de errores igual a cero? ¿Cómo se puede optimizar la inversión en este área? Lo cierto es que, aunque todo el mundo oye hablar de la calidad de datos, mucha gente no tiene del todo claro a qué se refiere el término o hasta dónde se puede o debe llegar con este tipo de cuestiones.

El primer paso para alejar la confusión y poder centrarse en lo verdaderamente importante es olvidarse de mitos. Y, precisamente, una de las leyendas más extendidas en este campo es la que tiene que ver con lograr activos informacionales 100% libres de errores.

Proponerse este objetivo es crear un pozo de inversión sin fondo y sin fundamento ya que, si en entornos tradicionales podría quizás plantearse, con los sitios web y el big data resulta casi imposible. El fin en ningún caso justifica los medios, puesto que los datos sólo necesitan ajustarse a los estándares que se han establecido para ello.

Y, ¿cuáles son estos estándares? Para poder responder a esta pregunta, primero habría que determinar qué es la calidad y eso es posible cuando se conoce:

  1. Quién crea los requisitos.
  2. Cuál es el proceso por el que se definen.
  3. Hasta dónde llegan los márgenes entre los que moverse para que el cumplimiento de requisitos se pueda considerar aceptable.

La respuesta a estas cuestiones suele tenerla el administrador de datos, que es quien establece los requisitos y entiende las necesidades que los motivan. Quien ostenta este rol es, además, la persona que determina el nivel de tolerancia a errores, que no suele ser cero. El motivo es que todo, desde la recolección de los datos hasta su adaptación a las necesidades de la empresa, es una vía de aparición a posibles errores. Tener datos que son 100% completos y 100% precisos no sólo es increíblemente caro, sino que además lleva mucho tiempo de conseguir y no influye apenas en el ROI.

 

Descárgate nuestra Guía sobre Calidad de Datos y MDM 

  1. Cómo podemos medir la calidad de datos

Llevar a cabo una gestión de la calidad de datos adecuada depende de saber cómo medirla. El establecimiento de indicadores y la recogida de métricas permiten ganar en comprensión acerca de cada componente del ciclo de calidad de datos porque, aunque cada organización es única, existen una serie de medidas cuantitativas del data quality que son universales:

  • Completitud: es el grado en el que todos los atributos del dato están presentes.
  • Validez: representa el ajuste de un valor de datos a su conjunto de valores de.
  • Unicidad: la medida en que todos los valores distintos de un elemento de datos aparecen sólo una vez.
  • Integridad: tiene que ver con el grado de conformidad con las reglas de relación de datos definidas.
  • Precisión: determina en qué medida los datos representan correctamente la verdad sobre un objeto del mundo real o se ajustan a lo establecido por una fuente autorizada.
  • Coherencia: representa el grado en que una pieza única de datos contiene el mismo valor a través de múltiples conjuntos de datos.
  • Oportunidad: este atributo de la calidad de datos permite conocer si éstos están disponibles cuando se requiere.
  • Representación: tiene que ver con el formato, patrón, legibilidad y utilidad de los datos para su uso previsto.

Además de estas medidas cuantitativas de calidad de datos, para adquirir una perspectiva real de la situación de la organización en este área, también deben considerarse las medidas cualitativas, como las que tienen que ver con la satisfacción de los clientes y usuarios de negocio, los índices de cumplimiento, la aparición de redundancias en los procesos o la identificación de oportunidades de negocio.

El establecimiento de indicadores permite establecer una línea base para conocer el estado de la calidad de datos en la organización y poder monitorizar el progreso de las iniciativas de gestión de data quality..

 

 5. Que hace falta para gestionar la calidad de los datos

Además de las métricas existen algunos otros componentes fundamentales del ciclo de calidad de datos. Se trata de los siguientes:

  • Descubrimiento de datos: proceso de búsqueda, recopilación, organización y notificación de metadatos.
  • Perfilado de datos: proceso de analizar los datos en detalle, comparándolos con sus metadatos, calculando estadísticas de datos e informando de las medidas de calidad de los datos que se deben aplicar en cada momento.
  • Reglas de calidad de datos: se orientarán a optimizar el nivel de calidad de los activos informacionales de la organización y, para ello, se basarán en los requisitos de negocio aplicables, las reglas comerciales y técnicas a las que deben adherirse los datos.
  • Monitorización de la calidad de los datos: la mejora continua requiere de un esfuerzo de seguimiento, que permita comparar los logros con los umbrales de error definidos, la creación y almacenamiento de excepciones de calidad de datos y la generación de notificaciones asociadas.
  • Reporting de calidad de datos: está relacionado con los procedimientos y herramientas empleadas para informar, detallar excepciones y actualizar las medidas de calidad de datos en curso.
  • Corrección de datos: se ocupa de la corrección en curso de las excepciones y problemas de calidad de datos según son notificadas.

Una vez que se cuenta con las métricas y están en marcha el resto de componentes, para establecer un programa de gestión de data quality sólo queda considerar algunos principios clave, como:

 

  1. Recordar que no se trata de una acción puntual. La calidad de datos he de entenderse como un proceso continuo donde no existe, ni debe plantearse un fin, sino un mayor ajuste. Este visión implica un cambio cultural en la organización que puede ser lo que más tiempo requiera en la iniciativa de calidad de datos. Asimismo, para garantizar su idoneidad, el programa de gestión debe ser reevaluado periódicamente y modificado según sea necesario.
  2. No tratar de abarcar todos los problemas de calidad de golpe ni intentar llegar a una cota cero de errores. Es inviable. En vez de intentar implementarlo todo a la vez, es preferible construir un programa que vaya resolviendo cuestiones de forma progresiva y paso a paso.
  3. Plantearse metas. Poner objetivos a corto, medio y largo plazo es una forma de motivarse hacia el progreso y la mejor manera de comprobar si se avanza en la dirección adecuada. En la práctica, una vez se entienden los niveles de calidad de datos requeridos por el negocio, pueden plantearse las metas de calidad de datos y establecer los primeros. Una buena política es priorizar las áreas que proporcionarán el retorno de inversión más alto y, a medida que se implementa la estrategia, empezar a centrar la atención en las cuestiones de mayor valor para el negocio.
  4. Estar abiertos a todo. Los datos son de todo tipo y provienen de múltiples fuentes. No hay que ponerse límites ni centrarse en un área en concreto, olvidando a las demás. La calidad de los datos se puede gestionar en cualquier punto del flujo de datos.
  5. No olvidar la importancia de los propietarios de los datos. Por muy bien diseñado que esté un programa de gestión de la calidad de datos, si los usuarios de negocio no conocen sus responsabilidades o las pasan por alto en sus interacciones con los activos informacionales de la organización, no se podrá avanzar hacia los objetivos de calidad. Igual que con los administradores del programa, una buena alternativa es considerar la vinculación de su compensación a los objetivos de calidad para aumentar su motivación y mejorar resultados.

 

6. Material complementario

Soluciones y recursos para calidad de datos:

Guías:

Artículos:

 

New Call-to-action