Alcançar o sucesso numa organização puramente baseada em dados não é fácil, e existem muitos obstáculos para o fazer. Geralmente, à medida que uma empresa utiliza cada vez mais aplicações, os seus dados tornam-se mais isolados e inacessíveis. As infra-estruturas e sistemas legados agravam a situação, uma vez que os dados tendem a ficar isolados quando se tenta migrar para a nuvem. Outra grande dificuldade é quando se tenta migrar dados entre diferentes nuvens públicas ou entre uma nuvem pública e um centro de dados local.
Tipicamente, as empresas têm todos os seus dados distribuídos por múltiplos locais e múltiplas nuvens públicas ou privadas, dados estruturados e não estruturados numa variedade de formatos. A gestão de tudo isto exige a utilização de diferentes tecnologias, pelo menos 74% das organizações utilizam globalmente 6 ou mais ferramentas de integração de dados, o que dificulta a integração, análise e partilha de dados e a incorporação de novas fontes de dados.
A investigação mostra que até 68% dos dados não são analisados na maioria das organizações e que até 82% das empresas são inibidas por silos de dados. À medida que as fontes de dados e a quantidade de dados existentes aumentam, os profissionais de dados acabam por gastar pelo menos 75% do seu tempo em tarefas que não a análise de dados, deixando as empresas incapazes de aproveitar ao máximo o seu tempo e recursos em relação à utilização de dados.
Para enfrentar estes desafios, o conceito de Tecido de Dados surgiu como uma tendência para a gestão e análise de dados, fornecendo um ambiente único constituído por uma arquitectura unificada e serviços que funcionam dentro da arquitectura que ajuda qualquer organização a gerir os seus dados para acrescentar valor e acelerar a transformação digital.
Prevê-se que até 2024, 25% dos fornecedores de gestão de dados fornecerão um quadro completo de Tecido de Dados, acima dos 5% actuais. É uma solução permanente e escalável para a gestão de todos os dados num ambiente unificado.
O Tecido de Dados é, portanto, uma arquitectura de gestão de dados concebida para optimizar o acesso aos dados distribuídos, de modo a poder ser inteligentemente seleccionado e orquestrado para entrega de auto-serviço aos consumidores de dados. Qualquer empresa que faça uso de um tecido de dados pode elevar o valor dos dados da empresa, fornecendo aos utilizadores o acesso aos dados em tempo real, independentemente do local onde estes são armazenados.
Uma arquitectura Data Fabric é independente de ambientes de dados, utilização de dados, processos de dados e geografia, mas tem a capacidade de integrar capacidades centrais de gestão de dados. Esta estrutura automatiza a descoberta de dados e a governação, gerando dados que estão prontos para serem analisados e utilizados pela inteligência artificial.
A implementação da Data Fabric é capaz de fornecer um único ambiente para aceder e recolher todos os dados, eliminando silos. Também permite a gestão simples de dados, incluindo integração, governação e partilha de dados, quando já não são necessárias múltiplas ferramentas. Isto resulta numa maior escalabilidade para acomodar grandes volumes de dados, as suas fontes e aplicações, facilitando o aproveitamento da nuvem que suporta ambientes on-premises, híbridos e multi-nuvem. Isto reduz a dependência das infra-estruturas e soluções herdadas.
Desafios da implementação da malha de dados e como o Data Fabric o gere
Características e modos de arquitectura
O Tecido de Dados liga múltiplos locais, tipos e fontes de dados, permitindo a sua gestão, processamento e armazenamento à medida que se desloca dentro do tecido. Também facilita o acesso aos dados ou a sua partilha com aplicações para análises avançadas. Os objectivos desta arquitectura incluem a melhoria do envolvimento do cliente através de aplicações e interacções móveis, o cumprimento dos regulamentos de dados e a optimização dos processos empresariais, entre outros.
O que constitui esta estrutura varia consoante o papel, mas parte sempre da premissa de que o Tecido de Dados permite o acesso, a integração e a partilha de dados num ambiente distribuído. Em detalhe, o Tecido de Dados:
- Liga-se a qualquer fonte de dados através de conectores, eliminando a necessidade de encriptação
- Proporciona integração de dados e capacidades de ingestão de dados, entre fontes de dados e aplicações.
- Fornece qualidade de dados integrada, preparação de dados e capacidades de gestão de dados, melhoradas pela automatização.
- Apoia o intercâmbio de dados com partes internas e externas através de apoio API.
- Suporta casos de utilização macro, em tempo real e por lotes.
- Gere múltiplos ambientes como fonte de dados.
Em termos gerais, existem pelo menos três modos de arquitectura de Tecido de Dados. A primeira é uma estrutura descentralizada, um meio de obter dados que de outra forma seriam distribuídos sem consolidação num repositório central, semelhante a um Data Lake ou a um armazém de dados.
Segundo, existe uma versão mais inclusiva do Tecido de Dados que vê estes repositórios centralizados como participantes não privilegiados numa arquitectura de dados distribuídos, os dados expostos para acesso tal como outras fontes, incluindo assim os dados centralizados, mas ainda concedendo privilégios para acesso descentralizado.
A versão mais recente vê-a como uma fundação híbrida de arquitectura de dados, tendenciosa a favor do acesso centralizado e oferecendo aos arquitectos de dados uma forma de interligar recursos de dados dispersos e adaptar-se às necessidades de acesso aos dados dos consumidores, tais como cientistas de dados, engenheiros de aprendizagem de máquinas e engenheiros de software.
Porquê utilizar o Data Fabric?
Os dados criam uma vantagem competitiva para as empresas, mas estas têm de fornecer dados rapidamente para satisfazer as necessidades dos clientes. As empresas orientadas para o conhecimento estão a crescer a uma média de mais de 30% por ano.
Com a migração de nuvens e o IoT, juntamente com o armazenamento e processamento de dados cada vez mais rentável, os dados já não estão vinculados a centros locais, mas mais tipos de dados estão localizados em locais diferentes, o que dificulta a sua gestão.
Uma solução de Tecido de Dados é uma abordagem estratégica às operações de armazenamento empresarial e aproveita a melhor versão da migração de nuvens. Esta arquitectura pode ir a qualquer lugar e ser gerida centralmente, abrangendo nuvens públicas e privadas, dispositivos perimetrais, IoT e muito mais. Isto reduz as tarefas de gestão através da automatização, acelera o processo de desenvolvimento e implementação, e protege os bens sem interrupção.
Além disso, as empresas podem monitorizar o custo, desempenho e eficiência do armazenamento de dados, independentemente do local onde estes são armazenados e das aplicações que os geram. Permite a realização rápida de alterações, resolvendo problemas, gerindo o risco, reduzindo as operações de TI e cumprindo os regulamentos.
Além disso, a utilização desta arquitectura protege os dados através de altos níveis de encriptação com diferentes funcionalidades e restaurações avançadas, incluindo cópias só de leitura com gestão eficiente do espaçamento. Assim, uma solução de Data Fabric melhora o desempenho global, controla os custos e simplifica a configuração e gestão de infra-estruturas.
NetApp e Talend como fornecedores de dados de tecido
A NetApp é um fornecedor focado em inovações que ajudam a criar infra-estruturas mais robustas, inteligentes e eficientes. A empresa esforça-se por entregar aplicações e dados no local certo com as capacidades certas. Além disso, conduz investigação específica para a empresa para conduzir o sucesso através de uma solução de Tecido de Dados que proporciona simplicidade e eficiência.
A solução da NetApp está integrada no tecido empresarial para que a empresa possa organizar a infra-estrutura de dados em torno da descoberta, integração, automatização, optimização, protecção e segurança dos dados. Para cada um destes pilares, a empresa oferece as tecnologias necessárias para ajudar a conceber uma estratégia baseada nos diferentes requisitos e objectivos de cada empresa. Por exemplo, a Universidade de Medicina de Hannover (MHH) serve os seus utilizadores com a sua solução de Tecido de Dados, quer seja para cuidados de saúde, investigação ou ensino. A Universidade gere grandes quantidades de dados e a solução permitiu-lhes encontrar eficiências em relação aos seus dados.
Por outro lado, a Talend Data Fabric oferece a amplitude de capacidades que as organizações modernas orientadas para os dados necessitam num ambiente unificado com uma arquitectura nativa que lhes permite adaptarem-se à mudança mais rapidamente com integridade de dados incorporada. O Talend proporciona um ambiente unificado para ajudar a transformar dados brutos em dados saudáveis, eliminando a necessidade de ferramentas de integração de dados e mecanismos de apoio. Além disso, gera código nativo optimizado ao criar condutas de dados para aproveitar plataformas de nuvens.
Este serviço foi concebido nativamente para funcionar em ambientes on-premises e de nuvem, para que possa integrar dados de back-office on-premises e ambientes de nuvem, permitindo a adopção de novas tecnologias, tais como contentores Docker e Kubernetes. O Talend Data Fabric foi concebido para que as TI e a empresa colaborem e partilhem dados saudáveis com a gestão de dados de auto-serviço.
A empresa de desenvolvimento de medicamentos AstraZeneca utiliza a ferramenta para acelerar o processo com dados de confiança de uma forma que lhes tenha dado rapidez e confiança, permitindo-lhes encurtar a linha temporal de desenvolvimento de medicamentos. O farmacêutico afirma que demora 3 minutos para que 90% dos dados estejam prontos para análise, reduzindo os ciclos de planeamento para 3 horas, poupando 99% do tempo e reduzindo a duração de cada ensaio clínico.
Conclusões
A arquitectura Data Fabric é, portanto, uma estrutura simplificada de orquestração de dados, que é utilizada para a integração de operadores para bases de dados externas, lógica empresarial, análise e transmissão de dados. Envolve a gestão automatizada de dados de teste, desde sistemas de produção de alta qualidade até equipamento.
Também assegura o cumprimento da privacidade dos dados através da configuração, gestão e auditoria dos pedidos de acesso associados aos regulamentos de privacidade nacionais e internacionais. Qualquer empresa orientada para os dados deve considerar a integração do Tecido de Dados para a gestão de dados de ponta a ponta, uma vez que envolve configuração e gestão de dados, com ferramentas de gestão, análises avançadas e configuração unificada. O resultado é uma optimização de custos baseada num melhor desempenho in-memory do hardware de mercadorias, estabilidade e total escalabilidade sem risco.
