A monitorização de aplicações complexas requer blocos de dados que possam medir as alterações que ocorrem em tempo real, estes são os dados conhecidos como dados de séries cronológicas. Portanto, são as bases de dados das séries cronológicas (TSDB) que são responsáveis pela sua gestão, estes são sistemas de software optimizados.
Os TSDBs são criados para gerir sequências longas de dados, é uma ferramenta para rastrear bits que fluem através de websites, aplicações ou dispositivos IoT. Estas bases de dados actuam de uma forma que acrescenta algoritmos para consultas rápidas de análise estatística.
Nos últimos anos, a sua utilização para tecnologia financeira foi bem estabelecida, mas estão a assistir a um aumento considerável na sua utilização no sector industrial para armazenar e gerir dados em tempo real devido ao aumento de dispositivos ligados à Internet de alta velocidade nas cadeias de fornecimento e produção.
O que são TSDBs?
A crescente digitalização e conectividade à Internet significa que tudo tem um sensor que gera dados e informação, de modo a que um fluxo constante de dados métricos ou de séries temporais esteja a ser emitido. Por conseguinte, as bases de dados têm exigido uma evolução para apoiar estas novas cargas de trabalho. As bases de dados de séries cronológicas, TSDBs, que são escaláveis e de alto desempenho, são necessárias para este tipo de situações.
Assim, estas bases de dados são concebidas para registar e armazenar dados associados a um momento específico no tempo ou utilizando um carimbo de data/hora. O seu objectivo é escrever dados rapidamente com um algoritmo de compressão e um motor de consulta mais rápido do que outras bases de dados tradicionais.
São também especialmente úteis para a investigação e recolha de padrões em que um conjunto de dados se move, bem como para a detecção de anomalias de dados em ambientes estáveis. Isto acontece porque a plataforma está nativamente organizada.
Como resultado destas características principais, foi tomado como certo que os TSDB são ideais para aplicações industriais, permitindo o rastreio massivo de dados em tempo real com velocidade instantânea e alta eficiência de armazenamento.
Além disso, neste tipo de bases de dados, as tarefas de manutenção são constantes e regulamentadas automaticamente, bem como a eliminação de dados antigos enquanto se fornecem novas estatísticas ou, mesmo, para dar um tempo de vida específico a grupos de dados.
As TSDBs começaram recentemente a incorporar funções de compressão especializadas para armazenar dados de séries temporais em menos espaço, bem como a capacidade de não armazenar cópias de dados se a leitura não tiver variado de milissegundo a milissegundo.
Uma empresa que decida utilizar uma TSDB terá de desenvolver uma política de retenção de informação para eliminar automaticamente a informação que não seja relevante. Também se deve saber que este tipo de base de dados requer um código mais complexo, pelo que o pessoal que trabalha com eles deve ser mais qualificado.
Em resumo, os TSDBs são mais fáceis de utilizar e proporcionam melhores velocidades de escrita, juntamente com um desempenho de consulta mais elevado do que outros tipos de bases de dados, tentar utilizar uma base de dados relacional ou NoSQL para dados de séries cronológicas resultaria num desempenho muito mais lento e menos eficiente.
Jogadores no mercado
Novas empresas estão a surgir à medida que vêem uma oportunidade de crescimento para tornar as consultas mais rápidas e mais eficientes. Portanto, os fornecedores tradicionais, tais como os motores analíticos, também incluem ferramentas para dados de séries cronológicas ou, diferentes serviços de nuvem que também começaram a adicionar este tipo de armazenamento, como é o caso do AWS com o Timestream. Alguns destes serviços são apresentados abaixo:
InfluxDB é um sistema de gestão de bases de dados de código aberto criado pela empresa InfluxData. É uma ferramenta gratuita que, por sua vez, oferece uma versão paga que é complementada com contratos de manutenção e controlos de acesso de clientes.
Na sua última versão, introduziu uma nova linguagem de programação, Flux, utilizada para optimizar o processo ETL neste tipo de bases de dados, tornando-as mais compactas. Com este sistema apenas se armazena a fonte dos dados, o valor em si e o correspondente carimbo temporal.
Para além da mudança de linguagem de programação, funciona agora na nuvem sem necessidade da sua própria infra-estrutura de servidor, mas existe a possibilidade de manter a sua versão local.
O Timestream é a abordagem TSDB rápida, escalável e sem servidores da Amazon para aplicações operacionais e IoT. Caracteriza-se por ser complementada por ferramentas que facilitam a pesquisa de padrões e tendências em tempo real, bem como o acesso simultâneo a dados históricos e recentes.
Entre as suas propriedades está a de manter dados recentes na memória enquanto os dados históricos são movidos para camadas de armazenamento optimizadas, podendo aceder aos mesmos durante a consulta sem ter de especificar onde se encontram.
Além disso, facilita o armazenamento e análise de eventos mais rapidamente do que outras bases de dados. A um custo muito baixo, assegura a encriptação dos dados das séries cronológicas, tanto em trânsito como em repouso.
TimescaleDB é um motor integrado com PostgreSQL, para gerir tabelas relacionais e dados de séries temporais. A vantagem de suportar a linguagem SQL nativamente, permite aos programadores adaptarem-se a esta TSDB sem a necessidade de aprender uma nova linguagem de programação. Por conseguinte, é uma base de dados relacional gerida apenas para dados de séries temporais.
Além disso, é definido como um serviço de base de dados multi-nuvem que armazena este tipo de dados de forma rápida e fácil. Esta base de dados ajuda a identificar anomalias de desempenho industrial e apresenta uma melhoria de desempenho ao transportar elevadas taxas de compressão de dados.
Este TSDB é responsável pelo armazenamento de todos os dados temporais que devolvem uma linguagem de consulta, PromQL. Permite diferentes modos de visualização de dados, bem como o armazenamento de séries temporais em memória em formatos personalizados. Esta ferramenta é frequentemente utilizada em conjunto com a Kubernetes.
Em suma, a Prometheus armazena dados automaticamente, fornecendo um conjunto de consultas padrão para a sua análise.
Perspectiva futura das TSDBs
A tendência futura para este tipo de base de dados é cada vez mais ser capaz de lidar com fluxos de dados maiores com análises mais complicadas de forma eficiente, ou seja, poupar espaço enquanto ainda fornece resumos úteis.
Além disso, a camada de apresentação dos TSDB destina-se a ser alargada por meio de painéis gráficos, tais ferramentas estão gradualmente a ser implementadas. Por exemplo, o Grafana é implementado com diferentes TSDBs, para análise industrial e domótica, utilizando funções de visualização.
Finalmente, iniciou-se um debate sobre a língua que deve ser utilizada para escrever as perguntas. A linguagem SQL está a experimentar um notável aumento na sua utilização para analisar dados de séries cronológicas, uma vez que é conhecida por uma comunidade muito grande, mas ainda existem linguagens desenvolvidas especificamente para TSDBs, tais como o Flux acima mencionado.
Conclusões
Com a chegada da nuvem pública há algum tempo, a geração de dados tem crescido maciçamente. Além disso, a necessidade de analisar estes dados em tempo real surgiu com a implementação da IdC em diferentes sectores, uma vez que é necessário conhecer padrões e ser capaz de optimizar processos continuamente.
Portanto, os TSDBs recolhem dados de séries temporais em tempo real para armazenamento e cálculo, enviando a informação para um sistema de monitorização front-end a fim de monitorizar dispositivos IoT. Em suma, o seguimento de padrões é a chave para a personalização que as empresas procuram hoje em dia para dar um CX excelente e único.
Apesar da existência destas bases de dados durante anos no sector bancário para previsão comportamental, espera-se um aumento considerável noutros sectores para detectar perturbações e falhas nos sistemas de produção, bem como comportamentos de dados gerais através de todos os sensores que estão ligados à Internet.
