Criar ou Comprar IA Generativa?

As empresas de hoje estão em uma encruzilhada em que precisam tomar uma decisão crucial que moldará seu futuro: criar uma solução de IA generativa personalizada ou adotar uma existente. Esta decisão tem implicações para empresas de vários setores. Enquanto gigantes da tecnologia como Meta e Google investem pesadamente em pesquisa de IA interna e externa para desenvolver soluções inovadoras e construir modelos de base, as opções para a maioria das empresas são construir (ajuste fino) ou comprar (ajuste rápido).

Uma consideração séria de valor deve ser dada a cada uma dessas opções, pois o custo, os dados necessários e os desafios técnicos são diferentes o suficiente para causar um impacto significativo em seu negócio. As empresas devem avaliar se o caso de uso é tão específico que um modelo geral é inapropriado e se a conveniência de comprar uma solução supera a segurança e a precisão de uma construção personalizada.

Qual é o principal fator decisivo na hora de criar ou comprar IA?

O alinhamento da solução de IA com o negócio principal da empresa. Uma empresa de mídia que precisa de conteúdo personalizado pode preferir uma solução sob medida, enquanto um negócio de varejo que enfrenta tarefas que exigem menos personalização pode querer um produto pronto para uso.

Como você constrói um modelo de IA?

Em 2022, construir um modelo significava reunir um grande conjunto de dados personalizado de acordo com as necessidades do seu negócio, projetar e ajustar os hiperparâmetros de um grande modelo e treinar por longos períodos em um grande conjunto de GPUs.

Este é um processo custoso em termos de armazenamento, computação e tempo. FLORESCER, por exemplo, foi treinado com 350 bilhões de tokens por três meses e meio em 384 GPUs. Hoje, os avanços nas técnicas de treinamento permitem um ajuste fino de última geração e com eficiência de parâmetros do modelo.

Essas técnicas envolvem uma mistura de redução do espaço de parâmetros, ajuste apenas das camadas de incorporação para adicionar entradas específicas da tarefa e economia apenas do pequeno delta de pesos do modelo grande original, resultando em um tamanho de conjunto de dados reduzido, treinamento mais rápido e requisitos de memória e processamento reduzidos, tornando isso possível para uso pessoal. Ainda assim, montar um conjunto de dados de treinamento para ajuste fino é um esforço complexo e que exige muitos recursos.

Por exemplo, Tijolos de dados gamificou e fez crowdsourcing do processo de criação de dados para 5.000 funcionários para Dolly 2.0. Então, se for possível ajustar o caso de uso a um modelo existente, usar aprendizado zero-shot e ajuste rápido é um primeiro passo aconselhável.

Avalie as principais necessidades e experiência do seu negócio

O principal determinante no dilema construir versus comprar é o alinhamento da solução de IA com o negócio principal da empresa. Uma empresa de mídia que precisa de conteúdo personalizado pode preferir uma solução sob medida para controle diferenciado. Em contraste, um negócio de varejo pode optar por um produto pronto para uso para gerar descrições de produtos, pois essa tarefa requer menos personalização.

A questão crítica é se a saída generativa de IA é parte da oferta do produto principal ou apenas um processo de negócios auxiliar. Quando a saída requer alta especificidade, a decisão pende para a construção. De qualquer forma, as pessoas serão obrigadas a julgar a qualidade da saída, frequentemente com estruturas como humano-no-loop, aprendizagem por reforço com feedback humano ou Otimização de Preferência Direta.

Além de testadores humanos, a disponibilidade de expertise técnica interna influencia o processo de decisão. Construir uma solução exige uma equipe qualificada em desenvolvimento de IA, incluindo ciência de dados, engenharia de dados, MLOps e expertise de domínio — embora isso esteja se tornando menos exigente tecnicamente todos os dias — enquanto a compra de uma solução pode ser feita em grande parte com especialistas do domínio. Enquanto soluções personalizadas permitem flexibilidade para atender às necessidades de negócios em evolução, soluções comerciais muitas vezes carecem dessa adaptabilidade.

Quais são as implicações de custo?

O custo é um fator essencial nessa análise. Desenvolver IA generativa internamente exige muitos recursos, exigindo talento, computação, gerenciamento de dados e despesas contínuas de manutenção.

Comprar uma solução de fornecedor pode ser inicialmente rentável com despesas operacionais previsíveis. Determinar e rotular corretamente os dados para ajuste fino é intensivo em humanos, exigindo que as pessoas tenham olhos na criação de dados, bem como no julgamento de saídas, enquanto o ajuste rápido depende apenas de pessoas para julgamento de saída.

O tempo de comercialização é outra consideração crítica, pois a construção de soluções pode levar semanas ou meses, em vez de dias ou semanas para implantar uma opção pronta para uso. A Microsoft tomou a decisão de compra definitiva ao investir na OpenAI. Era caro em dólares, mas era extremamente rápido, com o ChatGPT integrado ao Bing em poucos dias e o Copilot infundido em toda a linha de produtos em poucos meses.

Uma consideração final de custo é a despesa operacional do modelo. Aqui, a adoção e o rendimento do modelo são ponderados em relação à computação e ao armazenamento. Soluções de compra, ou Modelo como Serviço, geralmente cobram por inferência; no entanto, avaliar o custo total de propriedade de longo prazo é essencial, incluindo taxas de personalização, atualizações e suporte.

Os custos da solução de build incluem hospedar um modelo, computação e armazenamento. Se a empresa exigir vários modelos, uma solução de build pode ser mais barata do que uma compra, pois é possível armazenar apenas os pesos delta por modelo enquanto compartilha a infraestrutura.

Qual opção é mais segura?

Privacidade e segurança de dados são primordiais para setores sensíveis como saúde e finanças. O desenvolvimento interno pode permitir um controle mais rígido sobre dados e governança de modelos, enquanto soluções de terceiros podem ter políticas de segurança ambíguas e frequentemente dependem de infraestrutura de nuvem pública.

O ajuste fino de um modelo comercial requer o envio de dados confidenciais para o host do modelo, então as políticas de licenciamento e aviso justo entram em jogo. Os provedores de modelo como serviço estão respondendo às preocupações oferecendo garantias de conformidade. Por exemplo, indenizando usuários contra questões legais decorrentes de modelos generativos, a Microsoft concordou em defender os clientes da Copilot contra possíveis reivindicações de violação de direitos autorais.

Adote uma abordagem caso a caso

Sua decisão de construir ou comprar dependerá de múltiplos fatores: alinhamento do negócio principal, custo, cronogramas, expertise, sensibilidade de dados e objetivos estratégicos em torno da inovação. Por fim, as empresas devem avaliar essas compensações para selecionar a abordagem que melhor habilite seus objetivos empresariais ao mesmo tempo, em que gerencia o risco.

Se a velocidade for importante e os casos de uso forem mais gerais, então comprar (ajuste rápido) é provavelmente sua melhor aposta; no entanto, se uma saída mais precisa for necessária e o modelo deve ser adequado ao caso de uso, então construir (ajuste fino) pode ser a escolha certa. Devido aos baixos custos iniciais, as empresas devem se concentrar na avaliação do caso de uso e tentar o ajuste rápido primeiro.

Tabela Comparativa: Construir vs. Comprar IA Generativa

Conclusão

A decisão de criar ou comprar uma solução de IA generativa é complexa e depende de vários fatores, incluindo custo, tempo, segurança e alinhamento com os objetivos do negócio. As empresas devem avaliar cuidadosamente suas necessidades e recursos antes de tomar uma decisão. Em muitos casos, uma abordagem híbrida pode ser a melhor solução, permitindo que as empresas aproveitem as vantagens de ambas as opções.

Seja qual for a escolha, é crucial que as empresas mantenham um foco contínuo na inovação e na melhoria dos seus modelos de IA para garantir que eles continuem a atender às necessidades do negócio e a superar os desafios do mercado.