La supervisión de aplicaciones complejas requiere bloques de datos que puedan medir los cambios que ocurren en tiempo real, estos son los datos conocidos como datos de series temporales. Por tanto, son las bases de datos de series temporales (TSDB) las que se encargan de su gestión, estas son sistemas de software optimizado.
Las TSDB están creadas para gestionar largas secuencias de datos, es una herramienta para rastrear bits que fluyen a través de sitios web, aplicaciones o dispositivos IoT. Estas bases de datos actúan de forma que añaden algoritmos para consultas rápidas de análisis estadístico.
En los últimos años, su uso para la tecnología financiera estaba bien establecido, pero están viviendo un aumento considerable de su uso en el sector industrial para almacenar y gestionar datos en tiempo real debido al aumento de dispositivos conectados IoT en las cadenas de suministro y producción.
¿Qué son las TSDB?
En aumento de la digitalización y la conexión a internet hace que todo disponga de un sensor que genera datos e información, de modo que, se está emitiendo constantemente un flujo de métricas o series de datos temporales. Por ello, las bases de datos han requerido una evolución para admitir estas nuevas cargas de trabajo. Para este tipo de situaciones son necesarias las bases de datos de series temporales, TSDBs, que sean escalables y con alto rendimiento.
Así pues, estas bases de datos están diseñadas para registrar y almacenar datos asociados a un momento especifico en el tiempo o usando una marca de tiempo. Su finalidad es escribir datos rápidamente con un algoritmo de compresión y un motor de consulta más rápido que otras bases de datos tradicionales.
Asimismo, son especialmente útiles para la investigación y recopilación de patrones en el que se mueve un conjunto de datos, así como para detectar anomalías de datos en entornos estables. Esto ocurre, ya que la plataforma se organiza de manera nativa.
A raíz de estas características principales, se ha dado por hecho que las TSDBs son idóneas para aplicaciones industriales, permitiendo realizar un seguimiento masivo de datos en tiempo real con una velocidad instantánea y una gran eficiencia de almacenamiento.
Además, en este tipo de bases de datos las tareas de mantenimiento son constantes y se regulan de manera automática, así como la eliminación de datos antiguos mientras se entregan estadísticas nuevas o, incluso, para dar un tiempo de vida especifico a grupos de datos.
Las TSDBs han empezado a incorporar en los últimos tiempos funciones de compresión especializadas para almacenar series temporales de datos en menos espacio, así como la capacidad de no almacenar copias de datos si la lectura no ha variado entre milisegundo y milisegundo.
Aquella empresa que decida hacer uso de una TSDB necesitara desarrollar una política de retención de información para eliminar automáticamente la información que no es relevante. También se debe conocer, que este tipo de base de datos requiere mayor cantidad de código más complejo, así que el personal que trabaje con ellas deberá estar más cualificado.
En resumen, las TSDB son más fáciles de usar y proporcionan mejores velocidades de escritura, junto con un rendimiento de consulta más elevado que otro tipo de bases de datos, intentar utilizar una base de datos relacional o NoSQL para datos de series de tiempo resultaría en un rendimiento mucho más lento y menos eficiente.
Players en el mercado
Nuevas empresas están surgiendo al ver una oportunidad de crecimiento para hacer las consultas más rápidas y eficientes. Por ello, proveedores tradicionales, como motores de análisis también están incluyendo herramientas para series de datos temporales o, diferentes servicios en la nube que también han empezado a agregar este tipo de almacenamiento, como es el caso de AWS con Timestream. A continuación, se presentan algunos de estos servicios:
InfluxDB es un sistema de gestión de bases de datos de código abierto, creado por la empresa InfluxData. Es una herramienta gratuita que, a su vez, ofrece una versión de pago que se complementa con contratos de mantenimiento y controles de acceso de clientes.
En su última versión, presento consigo un nuevo lenguaje de programación, Flux, empleado para optimizar el proceso ETL en este tipo de bases de datos, haciéndolas más compactas. Con este sistema solo se almacena la fuente de los datos, el valor en sí y la marca temporal correspondiente.
Además, del cambio de lenguaje de programación, ahora trabaja en la nube sin necesitar una infraestructura de servidor propia, pero existe la posibilidad de mantener su versión local.
Timestream es la propuesta TSDB rápida, escalable y sin servidor que propone Amazon para aplicaciones operativas y de IoT. Se caracteriza por ir complementada de herramientas que facilitan la búsqueda de patrones y tendencias en tiempo real, así como acceder de manera simultánea a datos históricos y recientes.
Entre sus propiedades está mantener los datos recientes en la memoria mientras que los históricos son trasladados a capas de almacenamiento optimizadas, pudiendo acceder durante la consulta a ellos sin necesidad de especificar donde se encuentran.
Además, facilita el almacenamiento y análisis de eventos más rápido que otras bases de datos. Con un coste muy económico, asegura cifrar series de datos temporales tanto en tránsito como en reposo.
TimescaleDB es un motor integrado con PostgreSQL, para la gestión de tablas relacionales y datos de series temporales. La ventaja de admitir lenguaje SQL de forma nativa, permite a los desarrolladores adaptarse a esta TSDB sin necesidad de aprender un nuevo lenguaje de programación. Por tanto, es una base de datos relacional administrada únicamente para datos de series temporales.
También, se define como un servicio de base de datos multinube que almacena este tipo de datos de manera rápida y fácil. Esta base de datos ayuda a identificar anomalías de rendimiento industrial y presenta una mejora de rendimiento al llevar consigo elevadas tasas de compresión de datos.
Esta TSDB se encarga de almacenar todos los datos temporales devolviendo un lenguaje de consulta, PromQL. Permite diferentes modos de visualización de datos, además, de almacenar series temporales en memoria en formatos personalizados. A menudo, esta herramienta se usa de forma conjunta con Kubernetes.
En resumen, Prometheus almacena los datos de manera automática proporcionando un conjunto de consultas estándar para analizarlos.
Perspectiva de futuro de las TSDBs
La tendencia futura para este tipo de base de datos es cada vez poder manejar flujos de datos más grandes con análisis más complicados de manera eficiente, es decir, ahorrar espacio sin dejar de aportar resúmenes útiles.
Asimismo, se pretende ampliar la capa de presentación de las TSDBs mediante paneles gráficos, este tipo de herramientas se están implementando poco a poco. Por ejemplo, Grafana se implementa con diferentes TSDBs, para el análisis industrial y domótico usando funciones de visualización.
Por último, se ha iniciado un debate sobre el lenguaje que se debería emplear para escribir consultas. El lenguaje SQL está viviendo un notable aumento de su uso para analizar series de datos temporales, ya que es conocido por una comunidad muy grande, pero no dejan de existir lenguajes desarrollados específicamente para las TSDBs, como el ya mencionado Flux.
Conclusiones
Con la llegada desde hace un tiempo de la nube pública, la generación de datos ha crecido de manera masiva. Además, ha aparecido la necesidad de analizar estos datos en tiempo real con la implementación de IoT en diferentes sectores, ya que se requiere conocer patrones y poder optimizar procesos de forma continuada.
Por ello, las TSDB recopilan series de datos temporales en tiempo real para su almacenamiento y computación, mandado la información a un sistema de monitoreo frontend y así poder monitorizar los dispositivos IoT. En definitiva, el seguimiento de patrones es clave para la personalización que buscan hoy en día las empresas para dar una CX excelente y única.
A pesar de la existencia de estas bases de datos desde hace años en el sector de la banca para predicción de comportamientos, se espera un incremento considerable en otros sectores para detectar alteraciones y fallos en sistemas de producción, así como comportamientos generales de los datos a través de todos sensores que están conectados a Internet.
