Alcanzar el éxito en un entorno de una organización basada únicamente en datos no es sencillo, son muchos los obstáculos que existen para realizar tal fin. Generalmente, cuando una compañía va utilizando cada vez más aplicaciones, sus datos están más aislados e inaccesibles. Las infraestructuras y sistemas heredados empeoran la situación, ya que los datos tienden a aislarse cuando se intentan migrar a la nube. Otra gran dificultad que existe es cuando se intenta migrar datos entre diferentes nubes públicas o entre una nube pública y un centro local de datos.
Normalmente, las empresas tienen todos los datos distribuidos en varias ubicaciones locales y en varias nubes públicas o privadas, los datos son estructurados y no estructurados con una gran variedad de formatos. Para la gestión de todo esto es necesario emplear diferentes tecnologías, al menos un 74% de las organizaciones a nivel global utilizan 6 o más herramientas de integración de datos, lo que dificulta la agilidad para integrar, analizar y compartir datos e incorporar nuevas fuentes de datos.
Las investigaciones muestran que hasta el 68% de los datos no se analizan en la mayoría de las organizaciones y hasta el 82% de las empresas están inhibidas por los silos de datos. Según aumentan las fuentes de datos y la cantidad de estos existentes, los profesionales de datos terminan dedicando al menos un 75% de su tiempo a tareas distintas al análisis de datos, por lo que las compañías no son capaces de aprovechar al máximo su tiempo y recursos en relación con la utilización de los datos.
Para solventar estas dificultades ha surgido el concepto de Data Fabric como tendencia para el análisis y gestión de datos, brindando un entorno único que consta de una arquitectura unificada y servicios que se ejecutan dentro de arquitectura y que ayuda a cualquier organización a administrar sus datos con el fin de agregar valor y acelerar la transformación digital.
Se predice que para 2024, el 25% de los proveedores de gestión de datos proporcionarán un marco completo para el Data Fabric, frente al 5% actual. Es una solución permanente y escalable para administrar todos los datos en un entorno unificado.
El Data Fabric es, por tanto, una arquitectura de gestión de datos diseñada para la optimización del acceso a los datos distribuidos para que puedan seleccionarse y orquestarse de forma inteligente ante la entrega de autoservicio a los consumidores de datos. Cualquier empresa que haga uso de una estructura de datos puede elevar el valor de los datos de la compañía generando a los usuarios acceso a los datos en tiempo real, sin importar donde estén almacenados.
Una arquitectura de Data Fabric es independiente de los entornos de datos, el uso de datos, los procesos de los datos y la geografía, pero tiene la posibilidad de integrar las capacidades básicas de gestión de datos. Estar estructura automatiza el descubrimiento y la gobernanza de datos generando datos listos para ser analizados y empleados por la inteligencia artificial.
La implementación de Data Fabric es capaz de proporcionar un entorno único para acceder y recopilar todos los datos, eliminando los silos. Además, habilita una gestión de datos simple donde se incluyen la integración, la gobernanza y el intercambio de datos cuando desaparece el uso de varias herramientas. Todo ello resulta en una mayor escalabilidad que se adapta a los grandes volúmenes de datos, sus fuentes aplicaciones, facilitando el aprovechamiento de la nube que admite entornos locales, híbridos y multi nubes. De tal modo que se reduce la dependencia de las infraestructuras y las soluciones heredadas.
Desafíos de la implatación de las Data Mesh y cómo lo gestiona Data Fabric
Características y modos de arquitectura
Data Fabric conecta múltiples ubicaciones, tipos y fuentes de datos, pudiéndose administrar, procesar y almacenar a medida que se mueven dentro de la estructura. También, facilita el acceso a los datos o compartirlas con aplicaciones para su análisis avanzado. Entre los objetivos de esta arquitectura está la mejora de la participación del cliente a través de aplicaciones e interacciones móviles, cumplir con las regulaciones de datos y optimizar los procesos empresariales, entre otros.
Lo que constituye esta estructura varía según el rol, pero siempre parte de la premisa de que el Data Fabric permite acceder, integrar y compartir datos en un entorno distribuido. Detalladamente, el Data fabric:
- Se conecta a cualquier fuente de datos a través de conectores, eliminando la necesidad de codificación
- Proporciona capacidades de integración e ingestión de datos, entre fuentes de datos y aplicaciones.
- Proporciona capacidades integradas de calidad de datos, preparación de datos y gobernanza de datos, reforzadas por la automatización. .
- Admite el intercambio de datos con partes internas y externas a través del soporte de API.
- Admite casos de uso de macrodatos, en tiempo real y por lotes.
- Gestiona varios entornos como fuente de datos.
A grandes rasgos, existen al menos tres modos de la arquitectura Data Fabric. El primero es una estructura descentralizada, un medio de obtener datos que de otro modo se distribuirían sin consolidarse en un repositorio central, similar a un Data Lake o un almacén de datos.
Segundo, existe una versión más inclusiva del Data Fabric que ve estos repositorios centralizados es como participantes sin privilegios en una arquitectura de datos distribuidos, los datos exponen para el acceso al igual que otras fuentes, incluyendo así datos centralizados, pero sigue otorgando privilegios al acceso descentralizado.
La última versión lo considera como una base de arquitectura de datos híbrida, sesgado a favor del acceso centralizado y ofreciendo a los arquitectos de datos una forma de unir recursos de datos dispersos y la adaptación a las necesidades de acceso a datos de consumidores, como científicos de datos, ingenieros de Machine Learning e ingenieros de software.
¿Por qué usar Data Fabric?
Los datos generan una ventaja competitiva para las empresas, pero estas deben entregar datos rápidamente para satisfacer las necesidades de los clientes. Las empresas impulsadas por el conocimiento están creciendo a un promedio de más del 30% anual.
La migración en la nube y el IoT, junto con el almacenamiento y procesamiento de datos cada vez más económico, los datos ya no están vinculados a centros locales, sino que hay más tipos de datos ubicados en diferentes sitios, dificultándose administración.
Una solución de Data Fabric es un enfoque estratégico para las operaciones de almacenamiento empresarial y aprovecha la mejor versión de la migración a la nube. Esta arquitectura puede llegar a cualquier lugar y gestionarse de forma centralizada, abarcando nubes públicas y privadas, dispositivos perimetrales e IoT, entre otros. Así pues, se reduce las tareas de gestión a través de la automatización, acelera el proceso de desarrollo y puesta en marcha y protege los activos de forma ininterrumpida.
Asimismo, las compañías pueden supervisar los costes, el rendimiento y la eficiencia del almacenamiento de datos, independientemente de donde estén almacenados y que aplicaciones los generen. Permite la realización de cambios rápidamente, resolviendo problemas, gestionando los riesgos, reduciendo las operaciones informáticas y cumpliendo con la normativa.
Además, usar esta arquitectura protege los datos a través de elevados niveles de cifrado con diferentes funcionalidades y restauraciones avanzadas, que incluyen copias de solo lectura con gestión eficiente del espaciado. De manera que una solución de Data Fabric mejora el rendimiento global, controla los costes y simplifica la configuración y la gestión de la infraestructura.
NetApp y Talend como proveedores de Data Fabric
NetApp es un proveedor centrado en las innovaciones que ayudan a crear infraestructuras más sólidas, inteligentes y eficientes. La compañía trata de proporcionar aplicaciones y datos en el lugar adecuado y con las funcionalidades propicias. Además, realizan estudios específicos para cada empresa para tratar de alcanzar el éxito a través de una solución de Data Fabric que ofrece simplicidad y eficiencia.
La solución de NetApp se integra en el tejido empresarial, de manera que la compañía pueda organizar la infraestructura de datos en torno a la detección, la integración, la automatización, la optimización la protección y la seguridad de los datos. Para cada uno de estos pilares la compañía ofrece las tecnologías necesarias para ayudar a diseñar una estrategia basada en los distintos requisitos y objetivos de cada empresa. Por ejemplo, la Facultad de Medicina de Hannover (MHH) atiende a sus usuarios con su solución de Data Fabric, ya sea para prestar atención médica, investigar o enseñar. La Universidad gestiona cantidades masivas de datos y la solución les ha permitido encontrar una eficiencia en relación con sus datos.
Por otro lado, Talend Data Fabric ofrece la amplitud de capacidades que necesitan las organizaciones modernas basadas en datos en un entorno unificado con una arquitectura nativa que les permite adaptarse a los cambios más rápidamente con integridad de datos incorporada. Talend ofrece un entorno unificado para ayudar a transformar los datos sin procesar en datos saludables, eliminando la necesidad de tener herramientas de integración de datos y mecanismos de soporte. Además, genera código nativo optimizado cuando crea canalizaciones de datos para aprovechar las plataformas en la nube.
Este servicio está diseñado de forma nativa para funcionar en entornos locales y en la nube, de manera que puede integrar datos de entornos de back Office locales y entornos en la nube, permitiendo adoptar nuevas tecnologías como contenedores Docker y Kubernetes. Talend Data Fabric está diseñado para que TI y la empresa colaboren y compartan datos saludables con la gestión de datos de autoservicio.
La compañía de desarrollo de medicamentos AstraZeneca emplea esta herramienta para acelerar el proceso con datos confiables, de manera que les ha proporcionado velocidad y confianza, permitiéndoles acortar el plazo de desarrollo de medicamentos. La farmacéutica asegura que tarda 3 minutos para que el 90% de los datos estén listos para su análisis, reduciendo los ciclos de planificación a 3 horas, es decir, ahorrando un 99% de tiempo y reduciendo la duración de cada ensayo clínico.
Conclusiones
La arquitectura Data Fabric es, por tanto, una estructura de orquestación de datos simplificada, que se emplea para la integración de operadores para bases de datos externas, lógica empresarial, análisis y transmisión de datos. Esta implica una gestión automatizada de datos de prueba a partir de sistemas de producción de alta calidad a los equipos.
Asimismo, asegura el cumplimiento de la privacidad de los datos mediante la configuración, administración y auditoría de las solicitudes de acceso asociadas con las regulaciones de privacidad nacionales e internacionales. Cualquier empresa basada en datos debería estudiar la posibilidad de integrar Data Fabric para la administración de datos integral, ya que implica la configuración y administración de datos, con herramientas de administración, análisis avanzados y una configuración unificada. El resultado es una optimización de los costes a base de la mejora del rendimiento en memoria de hardware básico, una estabilidad y escalabilidad total sin riesgos.
