Actualmente, há muitos modelos de aprendizagem de máquinas que não se realizam desde a fase de teste até à produção, o que representa um desafio para as empresas no campo da aprendizagem de máquinas. Muitas empresas estão organizadas em silos e isto leva por vezes a complexidades nas áreas de criação, gestão e implementação de modelos.
Estima-se que existe uma oportunidade de negócio de 1,2 mil milhões de dólares, e que 85% das empresas utilizam actualmente IA. Em alguns países europeus, como a Espanha, 45% dos ganhos económicos em 2030 virão da aplicação comercial de soluções de gripe aviária. [1]
A partir deste ponto de partida, a prática de Gestão da Operationalização do Modelo de Aprendizagem de Máquinas, MLOps, surgiu para fornecer às empresas a mistura certa de ciência de dados, engenharia de dados e perícia em DataOps para uma implementação eficaz e uma aprendizagem de máquinas em escala para gerar um elevado valor comercial. A MLOps fornece um processo de desenvolvimento E2E de Aprendizagem de Máquinas para a concepção, construção e gestão de software ML reprodutível.
Entre as características mais fundamentais do MLOps e como este difere da engenharia de software tradicional, encontram-se as seguintes:
- O seu objectivo é unificar o processo de lançamento para a aprendizagem de máquinas e novas aplicações de software.
- Facilita testes automatizados tais como validação de dados, testes de modelos ML ou testes de integração de modelos.
- Implica a introdução de princípios ágeis nos projectos ML.
- Suporta modelos e conjuntos de dados para a construção de novos modelos dentro dos sistemas IC/DC.
- Reduz as dificuldades técnicas na modelação.
- MLOps é uma prática independente de linguagem, estrutura, plataforma ou infra-estrutura.
O início do desenvolvimento da IA envolve muitos processos manuais, complexos e em silo através das equipas de uma empresa. Como resultado, perde-se a velocidade de produção para o desenvolvimento ou reciclagem de modelos e é difícil lançar novas iterações. Dentro deste âmbito, a integração e entrega contínuas não são frequentemente tidas em conta e os modelos raramente são monitorizados, de modo que a degradação do desempenho ou desvios de comportamento não são conhecidos.
Portanto, existe uma limitação ao valor potencial da IA, quanto mais modelos forem desenvolvidos e implementados, maior será o desafio. Sem a abordagem MLOps, as equipas podem ficar atoladas em falhas que tiram tempo ao aspecto da inovação contínua.
A MLOps cria uma estrutura para a orquestração e automatização do gasoduto ML, permitindo o rápido desenvolvimento e experimentação de modelos através de formação contínua. A integração contínua envolvida é então apoiada por testes automatizados e componentes modulares do oleoduto. Além disso, a colaboração e o alinhamento entre ambientes de desenvolvimento e produção simplifica as transferências, apoiando a entrega contínua. Tudo isto com monitorização contínua que fornece feedback de desempenho com base em dados em tempo real. Os modelos podem, portanto, ser requalificados e optimizados ao longo do tempo.
Assim, MLOps é definido como DevOps para projectos de aprendizagem de máquinas. Esta é uma metodologia que facilita a implementação de modelos ML, concentrando-se em ferramentas e métodos para melhorar o desempenho do processo.
Iniciação de MLOps
As empresas estão a aumentar os seus projectos de IA em produção todos os dias, pelo que será necessária uma abordagem apoiada por MLOps. Portanto, as empresas precisam de identificar e adoptar as ferramentas necessárias para satisfazer os seus processos, dando-lhes valor e tornando-as mais competitivas.
Para organizações que ainda não implementaram processos de IA, considerando a utilização de MLOps deve vir desde o início do processo. A existência de uma estratégia preventiva é essencial para que o trabalho comece a produzir valor. Reservar um período de tempo para planear como optimizar os MLOps facilitará a integração e entrega contínua. O primeiro passo é envolver todas as equipas envolvidas no processo, ou seja, cientistas e engenheiros de dados, equipas de infra-estruturas e DevOps, programadores de software, analistas empresariais, arquitectos e líderes de TI, para que todos possam investigar e desenvolver uma estratégia abrangente.
Cada empresa tomará as suas próprias decisões ao longo do ciclo de vida da IA, e a programação e organização variarão de acordo com a estratégia definida por cada empresa. Contudo, existem alguns fluxos de processo que são utilizados como ponto de partida para a identificação de soluções. Há cinco fases iniciais neste processo:
- Definir objectivos e resultados chave com KPIs, ou seja, compreender os KPIs de cada negócio, uma vez que este é o primeiro passo no processo. Esta é uma fase não técnica, mas fundamental para a colaboração entre administradores de dados e peritos de sistemas, e dados relevantes para os processos de implementação do modelo ML.
- A aquisição de dados exige que os cientistas de dados colaborem com os engenheiros de dados para descobrir informações chave para o desenvolvimento da aprendizagem de máquinas. A informação precisa de ser integrada em lagos de dados na nuvem, com regras de qualidade de dados aplicadas aos dados e disponibilizadas para a modelação. Por exemplo, o Catálogo de Dados da Informatica Enterprise (EDC), o CMI (Cloud Mass Ingestion), o DEI (Data Engineering Integration), o DEQ (Data Engineering Quality), o DES (Data Engineering Streaming) e o EDP (Enterprise Data Preparation) asseguram o processamento de condutas de dados.
- O desenvolvimento de modelos está no centro da estrutura MLOps. Uma vez definidos os KPIs e remediados os conjuntos de dados, os cientistas de dados podem iniciar a experiência de desenvolvimento do modelo de uma forma iterativa até que as expectativas sejam cumpridas. Parte das iterações pode envolver a colaboração com outros departamentos, tais como engenheiros de dados ou administradores de dados. As ferramentas e processos de desenvolvimento ML integram-se com a engenharia de dados para apoiar esta fase.
- A seguir vem a implementação do modelo. Com as condutas de dados estabelecidas desde as fases iniciais, é altura de o engenheiro de dados integrar o modelo ML desenvolvido pelo cientista de dados e validá-lo com os dados de produção. Tudo isto valida ainda mais os KPIs, e a conduta de dados é depois colocada em produção com as equipas DataOps para utilização e monitorização contínuas. O aspecto de integração da engenharia de dados ajuda a implementar o modelo ML no processo de produção.
- Finalmente, a fase de monitorização de um modelo, a medição da sua métrica e a supervisão do seu comportamento é importante. Estas funções podem ser cuidadas pela equipa DataOps para assegurar um valor contínuo e aumentar a confiança depositada no ML. Desta forma, os processos podem ser estabelecidos ao longo da vida do desenvolvimento do software. A engenharia de dados pode ser utilizada para rastrear métricas e perfis empresariais.
Conclusões
Uma oportunidade de avaliar a criação de modelos e processos de aprendizagem de máquinas requer a construção de uma estratégia MLOps, mesmo que ainda se encontre numa fase inicial de desenvolvimento. Além disso, existem plataformas que podem ajudar na gestão do ciclo de vida da aprendizagem de máquinas. Portanto, é de importância vital para qualquer empresa que queira introduzir a IA, dar prioridade às funções e capacidades desejadas com o seu ecossistema existente e definir o projecto da empresa.
Embora existam caminhos pré-determinados para a implementação de MLOps, existem diferentes metodologias para a operacionalização da IA. Inicialmente, para que a empresa seja bem sucedida, deve concentrar-se nos aspectos iniciais da implementação e nas sobreposições que existem em relação à camada de operações de aprendizagem da máquina da empresa. MLOps aborda o lado técnico desta situação, ajudando a alcançar o sucesso e a fornecer valor, independentemente da dimensão da empresa.
