Construir um modelo de aprendizado de máquina é relativamente fácil. Criar centenas ou milhares de modelos e iterar sobre os existentes é difícil.
É fácil se perder no caos. Esse caos é agravado quando você está trabalhando em equipe, pois agora você precisa acompanhar o que todos estão fazendo. Colocar ordem no caos exige que toda a equipe siga um processo e documente suas atividades. Essa é a essência do MLOps.
últimas postagens
O que é MLOps?
Fonte: ml-ops.org
De acordo com MLOps.org, Machine Learning Operationalization está tentando construir um processo de desenvolvimento de aprendizado de máquina de ponta a ponta para projetar, construir e gerenciar software ML reproduzível, testável e evolutivo. Essencialmente, MLOps são princípios de DevOps aplicados ao Machine Learning.
Assim como o DevOps, a ideia-chave do MLOps é a automação para reduzir as etapas manuais e aumentar a eficiência. Além disso, como o DevOps, o MLOps inclui Integração Contínua (CI) e Entrega Contínua (CD). Para além destes dois, inclui ainda a Formação Contínua (CT). O aspecto adicional do CT envolve retreinar modelos com novos dados e reimplantá-los.
MLOps é, portanto, uma cultura de engenharia que promove uma abordagem metódica para o desenvolvimento de modelos de aprendizado de máquina e a automação de várias etapas do método. O processo envolve principalmente extração de dados, análise, preparação, treinamento de modelo, avaliação, serviço de modelo e monitoramento.
Vantagens de MLOps
Em geral, as vantagens de aplicar os princípios de MLOps são as mesmas de ter Procedimentos Operacionais Padrão. As vantagens são as seguintes:
- Um processo bem definido fornece um roteiro de todas as etapas cruciais a serem realizadas no desenvolvimento do modelo. Isso garante que nenhuma etapa crítica seja perdida.
- As etapas do processo que podem ser automatizadas podem ser identificadas e automatizadas. Isso reduz a quantidade de trabalho repetitivo e aumenta a velocidade de desenvolvimento. Ele também elimina erros humanos enquanto reduz a quantidade de trabalho que deve ser feito.
- Fica mais fácil avaliar o progresso no desenvolvimento de um modelo sabendo em que estágio do pipeline o modelo está.
- É mais fácil para as equipes se comunicarem, pois há um vocabulário compartilhado para as etapas a serem seguidas durante o desenvolvimento.
- O processo pode ser aplicado repetidamente para desenvolver muitos modelos, fornecendo uma maneira de gerenciar o caos.
Em última análise, o papel dos MLOps no aprendizado de máquina é fornecer uma abordagem metódica para o desenvolvimento de modelos que possa ser automatizado o máximo possível.
Plataformas para Construção de Pipelines
Para ajudá-lo a implementar MLOps em seus pipelines, você pode usar uma das muitas plataformas que discutiremos aqui. Embora os recursos individuais dessas plataformas possam ser diferentes, eles basicamente ajudam você a fazer o seguinte:
- Armazene todos os seus modelos junto com seus metadados de modelo associados – como configurações, código, precisão e experimentos. Também inclui as diferentes versões de seus modelos para controle de versão.
- Armazene metadados do conjunto de dados, como dados que foram usados para treinar modelos.
- Monitore modelos em produção para detectar problemas como desvio de modelo.
- Implantar modelos para produção.
- Crie modelos em ambientes de baixo código ou sem código.
Vamos explorar as melhores plataformas MLOps.
MLFlow
O MLFlow é talvez a plataforma de gerenciamento de ciclo de vida de aprendizado de máquina mais popular. É gratuito e de código aberto. Ele fornece os seguintes recursos:
- rastreamento para registrar seus experimentos de aprendizado de máquina, código, dados, configurações e resultados finais;
- projetos para empacotar seu código em um formato fácil de reproduzir;
- implantação para implantar seu aprendizado de máquina;
- um registro para armazenar todos os seus modelos em um repositório central
O MLFlow se integra a bibliotecas populares de aprendizado de máquina, como TensorFlow e PyTorch. Ele também se integra a plataformas como Apache Spark, H20.asi, Google Cloud, Amazon Sage Maker, Azure Machine Learning e Databricks. Também funciona com diferentes provedores de nuvem, como AWS, Google Cloud e Microsoft Azure.
Azure Machine Learning
O Azure Machine Learning é uma plataforma de aprendizado de máquina de ponta a ponta. Ele gerencia as diferentes atividades do ciclo de vida da máquina em seu pipeline de MLOPs. Essas atividades incluem preparação de dados, criação e treinamento de modelos, validação e implantação de modelos e gerenciamento e monitoramento de implantações.
O Azure Machine Learning permite que você crie modelos usando seu IDE preferido e a estrutura de sua escolha, PyTorch ou TensorFlow.
Ele também se integra ao ONNX Runtime e Deepspeed para otimizar seu treinamento e inferência. Isso melhora o desempenho. Ele aproveita a infraestrutura de IA no Microsoft Azure que combina GPUs NVIDIA e rede Mellanox para ajudá-lo a criar clusters de aprendizado de máquina. Com AML, você pode criar um registro central para armazenar e compartilhar modelos e conjuntos de dados.
O Azure Machine Learning se integra ao Git e ao GitHub Actions para criar fluxos de trabalho. Ele também oferece suporte a uma configuração híbrida ou de várias nuvens. Você também pode integrá-lo a outros serviços do Azure, como Synapse Analytics, Data Lake, Databricks e Security Center.
Google Vertex AI
O Google Vertex AI é uma plataforma unificada de dados e IA. Ele fornece as ferramentas necessárias para criar modelos personalizados e pré-treinados. Ele também serve como uma solução de ponta a ponta para implementar MLOps. Para facilitar o uso, ele se integra ao BigQuery, Dataproc e Spark para acesso contínuo aos dados durante o treinamento.
Além da API, o Google Vertex AI fornece um ambiente de ferramentas de baixo código e sem código para que possa ser usado por não desenvolvedores, como engenheiros e analistas de negócios e dados. A API permite que os desenvolvedores a integrem aos sistemas existentes.
O Google Vertex AI também permite que você crie aplicativos de IA generativos usando o Generative AI Studio. Ele torna a implantação e o gerenciamento da infraestrutura fáceis e rápidos. Os casos de uso ideais para o Google Vertex AI incluem garantia de prontidão de dados, engenharia de recursos, treinamento e ajuste de hiperparâmetros, serviço de modelo, ajuste e compreensão de modelo, monitoramento de modelo e gerenciamento de modelo.
Databricks
Databricks é um data lakehouse que permite preparar e processar dados. Com o Databricks, você pode gerenciar todo o ciclo de vida do aprendizado de máquina, desde a experimentação até a produção.
Essencialmente, o Databricks fornece MLFlow gerenciado, fornecendo recursos como versão de anúncio de registro de dados de modelos de ML, rastreamento de experimentos, veiculação de modelo, registro de modelo e rastreamento de métrica de anúncio. O registro de modelo permite armazenar modelos para reprodutibilidade, e o registro ajuda a acompanhar as versões e o estágio do ciclo de vida em que estão.
A implantação de modelos usando Dataricks pode ser feita com apenas um clique, e você terá endpoints da API REST para usar para fazer previsões. Entre outros modelos, ele se integra bem com modelos de linguagem grandes e generativos pré-treinados existentes, como os da biblioteca de transformadores de rostos de abraços.
O Dataricks fornece notebooks Databricks colaborativos que oferecem suporte a Python, R, SQL e Scala. Além disso, simplifica o gerenciamento da infraestrutura ao fornecer clusters pré-configurados otimizados para tarefas de aprendizado de máquina.
AWS SageMaker
AWS SageMaker é um AWS Cloud Service que fornece as ferramentas necessárias para desenvolver, treinar e implantar seus modelos de aprendizado de máquina. O objetivo principal do SageMaker é automatizar o trabalho manual tedioso e repetitivo envolvido na construção de um modelo de aprendizado de máquina.
Como resultado, ele fornece ferramentas para criar um pipeline de produção para seus modelos de aprendizado de máquina usando diferentes serviços da AWS, como instâncias do Amazon EC2 e armazenamento do Amazon S3.
O SageMaker funciona com Jupyter Notebooks instalados em uma instância do EC2 junto com todos os pacotes e bibliotecas comuns necessários para codificar um modelo de Machine Learning. Para dados, o SageMaker é capaz de extrair dados do Amazon Simple Storage Service.
Por padrão, você obtém implementações de algoritmos comuns de aprendizado de máquina, como regressão linear e classificação de imagens. O SageMaker também vem com um monitor de modelo para fornecer ajuste contínuo e automático para encontrar o conjunto de parâmetros que fornecem o melhor desempenho para seus modelos. A implantação também é simplificada, pois você pode implantar facilmente seu modelo na AWS como um endpoint HTTP seguro que pode ser monitorado com o CloudWatch.
DataRobot
O DataRobot é uma plataforma MLOps popular que permite o gerenciamento em diferentes estágios do ciclo de vida do Machine Learning, como preparação de dados, experimentação de ML, validação e modelos de governança.
Possui ferramentas para automatizar a execução de experimentos com diferentes fontes de dados, testar milhares de modelos e avaliar os melhores para implantar em produção. Ele oferece suporte à construção de modelos para diferentes tipos de modelos de IA para resolver problemas em Séries Temporais, Processamento de Linguagem Natural e Visão Computacional.
Com o DataRobot, você pode criar usando modelos prontos para uso, para que não precise escrever código. Como alternativa, você pode optar por uma abordagem de primeiro código e implementar modelos usando código personalizado.
DataRobot vem com notebooks para escrever e editar o código. Como alternativa, você pode usar a API para desenvolver modelos em um IDE de sua escolha. Usando a GUI, você pode acompanhar os experimentos de seus modelos.
Executar IA
Run AI tenta resolver o problema da subutilização da infraestrutura de AI, em particular GPUs. Ele resolve esse problema promovendo a visibilidade de toda a infraestrutura e garantindo que ela seja utilizada durante o treinamento.
Para fazer isso, o Run AI fica entre o software MLOps e o hardware da empresa. Enquanto ocupa esta camada, todos os trabalhos de treinamento são executados usando Run AI. A plataforma, por sua vez, agenda quando cada um desses jobs é executado.
Não há limitação se o hardware deve ser baseado em nuvem, como AWS e Google Cloud, local ou uma solução híbrida. Ele fornece uma camada de abstração para as equipes de Machine Learning, funcionando como uma plataforma de virtualização de GPU. Você pode executar tarefas do Jupyter Notebook, terminal bash ou PyCharm remoto.
H2O.ai
H2O é uma plataforma de aprendizado de máquina distribuída de código aberto. Ele permite que as equipes colaborem e criem um repositório central para modelos onde os cientistas de dados podem experimentar e comparar diferentes modelos.
Como uma plataforma MLOps, o H20 oferece vários recursos importantes. Primeiro, o H2O também simplifica a implantação do modelo em um servidor como um terminal REST. Ele fornece diferentes tópicos de implantação, como teste A/B, modelos Champoion-Challenger e implantação simples de modelo único.
Durante o treinamento, ele armazena e gerencia dados, artefatos, experimentos, modelos e implementações. Isso permite que os modelos sejam reprodutíveis. Ele também permite o gerenciamento de permissões em níveis de grupo e usuário para controlar modelos e dados. Enquanto o modelo está em execução, o H2O também fornece monitoramento em tempo real para desvios do modelo e outras métricas operacionais.
Gradiente de espaço de papel
A Gradient ajuda os desenvolvedores em todos os estágios do ciclo de desenvolvimento do Machine Learning. Ele fornece notebooks baseados no Jupyter de código aberto para desenvolvimento de modelos e treinamento na nuvem usando GPUs potentes. Isso permite explorar e prototipar modelos rapidamente.
Os pipelines de implantação podem ser automatizados com a criação de fluxos de trabalho. Esses fluxos de trabalho são definidos pela descrição de tarefas em YAML. O uso de fluxos de trabalho torna a criação de implantações e modelos de serviço fáceis de replicar e, portanto, escaláveis como resultado.
Como um todo, a Gradient fornece contêineres, máquinas, dados, modelos, métricas, logs e segredos para ajudá-lo a gerenciar diferentes estágios do pipeline de desenvolvimento do modelo de aprendizado de máquina. Seus pipelines são executados em clusters Gradiet. Esses clusters estão no Paperspace Cloud, AWS, GCP, Azure ou qualquer outro servidor. Você pode interagir com o Gradient usando CLI ou SDK programaticamente.
Palavras Finais
O MLOps é uma abordagem poderosa e versátil para criar, implantar e gerenciar modelos de aprendizado de máquina em escala. O MLOps é fácil de usar, escalável e seguro, o que o torna uma boa opção para organizações de todos os tamanhos.
Neste artigo, abordamos os MLOPs, por que é importante implementá-los, o que está envolvido e as diferentes plataformas MLOps populares.
Em seguida, você pode querer ler nossa comparação de Dataricks vs. Snowflake.