Alternativas à OpenAI API para B2B

A inteligência artificial (IA) tem se tornado uma ferramenta indispensável no mundo dos negócios, especialmente no setor B2B. Com o sucesso do ChatGPT, a OpenAI se tornou sinônimo de IA, dominando o mercado com seus modelos de linguagem grande (LLM) que alimentam uma vasta gama de aplicativos e recursos de IA. No entanto, a dependência exclusiva da OpenAI pode não ser a melhor estratégia para todas as empresas. Este artigo explora alternativas à OpenAI API, destacando sete grandes modelos de linguagem que podem oferecer vantagens significativas em termos de custo, desempenho e controle de dados.

A Necessidade de Alternativas

Apesar do domínio da OpenAI, muitas empresas estão começando a testar outros modelos de IA para evitar o bloqueio de fornecedores e encontrar soluções mais econômicas e eficientes. De acordo com um estudo da empresa de capital de risco a16z, a maioria das empresas que usam IA está pelo menos testando vários modelos. Isso sugere uma tendência crescente de diversificação, motivada pela necessidade de economizar custos, obter mais controle sobre a privacidade dos dados e evitar a dependência de um único fornecedor.

O Papel das APIs de LLM

Os modelos de IA geralmente requerem muita computação para serem executados localmente, o que torna as APIs uma solução prática. As APIs permitem que as empresas acessem LLMs hospedados em data centers, que realmente executam os modelos. Além da OpenAI, existem várias outras APIs de LLM disponíveis, como as oferecidas pela Anthropic, Mistral, Google e outras plataformas de código aberto.

A Diversidade de Modelos de LLM

Além da OpenAI, existem várias outras APIs de LLM disponíveis, cada uma com suas próprias vantagens e desvantagens. Por exemplo, a Anthropic oferece seus modelos Claude por meio de uma API, enquanto o Mistral oferece seus modelos proprietários. O Google também entra na competição com o Gemini, acessível por meio de API. Plataformas como Replicate e Hugging Face permitem o acesso a vários LLMs de código aberto, como os modelos Mixtral da Mistral e os modelos Llama da Meta.

Custos e Eficiência

As APIs de LLM geralmente são pagas por milhão de tokens, que podem ser descritos como fragmentos de palavras. Os custos variam amplamente: o GPT-4 da OpenAI custa US$ 30 por 1 milhão de tokens de saída, enquanto executar o Llama 3 70b via Replicate custa US$ 2,75 por milhão de tokens de saída. A quantidade de tokens necessária depende muito do que você gera. Por exemplo, uma ferramenta de escrita de artigos que produz milhares de palavras consumirá mais tokens do que um recurso de IA que renomeia automaticamente os arquivos baixados.

A Exploração de Alternativas

Depois de executar nossos produtos de IA em APIs da OpenAI por muito tempo, agora estamos explorando alternativas. Nossa startup, CommandBar, confia em LLMs para construir agentes de assistência ao usuário incorporados para 20 milhões de usuários finais. Estamos explorando outros modelos para ver como eles se comparam, principalmente para reduzir custos, melhorar o desempenho de nossos produtos de IA para diferentes casos de uso e talvez ganhar mais controle sobre a privacidade dos dados.

Qual API de IA você deve usar?

Métricas de Otimização

Ao escolher uma API de IA, é crucial considerar três métricas principais: preço, qualidade e velocidade.

Preço

O preço é uma consideração óbvia. Você deve tentar pagar o menor preço possível que permita manter a experiência do usuário que você deseja oferecer. Por exemplo, se você estiver usando um LLM para nomear documentos automaticamente, provavelmente não precisará da mais alta qualidade possível.

Qualidade

A qualidade da saída da IA é crucial. Diferentes casos de uso exigem diferentes níveis de qualidade. Um assistente de usuário como o nosso deve ser preciso, mas se você estiver usando um LLM para nomear documentos automaticamente, provavelmente não precisará da mais alta qualidade possível.

Velocidade

A velocidade também é um fator importante. Quanto maior o modelo, mais lenta a saída — e diferentes casos de uso exigem velocidades diferentes. Se você estiver construindo uma ferramenta de escrita de IA, esperar 20 segundos extras para que um artigo seja gerado é trivial.

Destaques dos Modelos

Sem testar diferentes modelos, é difícil dizer exatamente qual modelo de IA usar para qual caso de uso. No entanto, aqui estão algumas descobertas:

• Claude 3 da Anthropic: Parece ter o estilo de escrita mais natural. Muitos usuários agora não gostam do estilo do ChatGPT.
• Llama e Mistral: São melhores se você quer controle total. Porque são de código aberto, são baratos para acessar via APIs, o que os torna ideais para propósitos de teste. Se você estiver lidando com dados sensíveis, você pode até hospedá-los localmente e evitar enviar dados para qualquer lugar que não seja seu próprio servidor/dispositivo.

Diversificando sua infraestrutura de IA

Mitigando Riscos

Se você depende de uma API para executar todo o seu produto (ou um recurso crucial), esse fornecedor pode prejudicar seu negócio. Mesmo que eles não aumentem os preços ou fechem, o simples tempo de inatividade afeta a experiência do seu cliente/usuário.

Exemplo de Diversificação

Durante a confusão de liderança da OpenAI, mudamos nossa infraestrutura para o Microsoft Azure (que também tem APIs para os modelos da OpenAI). Ao fazer isso, nos isolamos de um possível desligamento da OpenAI ou de uma grande mudança de produto. Isso acabou não acontecendo, mas ainda nos sentimos mais seguros confiando na Microsoft para manter a infraestrutura do que na OpenAI.

Estratégia de Diversificação

Embora você possa ter um modelo preferido como o GPT-4, é sensato ter outras APIs (independentemente de hospedarem os mesmos modelos ou não) para mitigar o risco do fornecedor.

Orquestração em Vários Modelos

Arquitetura Multimodelo

Falei sobre selecionar um modelo, mas acho que o estado dos Aplicativos de IA está caminhando para uma arquitetura multimodelo. À medida que os modelos se especializam, é provável que um único aplicativo de IA obtenha o melhor desempenho ao orquestrar vários modelos.

Exemplo de Orquestração

Em nosso produto de chat, podemos orquestrar consultas para modelos com base na latência disponível atualmente de cada um, para garantir que os usuários obtenham as respostas mais rápidas possíveis (o tempo de resposta é um grande impulsionador da satisfação do usuário com o chat de IA). Também exploramos a orquestração para negociar custo e qualidade. Para perguntas curtas e simples, podemos usar modelos mais baratos. Para perguntas mais complexas, podemos querer trazer as armas grandes e otimizar para cognição.

Complexidade da Orquestração

A orquestração pode ser complexa e requer familiaridade com vários modelos e estar atualizado com os últimos lançamentos. Se você estiver construindo um aplicativo de IA de produção para usuários finais, o que vem com um custo potencial mais alto e mais diversidade de uso, então pode fazer sentido investir em orquestração você mesmo ou usar um dos fornecedores emergentes no espaço. Mas se você estiver construindo algo para uso interno que seja relativamente em pequena escala, você ficará bem fazendo um pouco de teste com diferentes modelos e selecionando aquele que parece melhor.

Conclusão

A diversificação das APIs de IA é uma estratégia essencial para empresas que desejam otimizar custos, melhorar o desempenho e garantir a privacidade dos dados. Com a crescente disponibilidade de modelos de linguagem grande, as empresas têm a oportunidade de explorar alternativas à OpenAI e encontrar soluções que melhor atendam às suas necessidades específicas.

A orquestração de vários modelos também oferece uma abordagem promissora para melhorar a eficiência e a qualidade dos aplicativos de IA. Ao considerar as métricas de preço, qualidade e velocidade, as empresas podem tomar decisões informadas sobre quais APIs de IA usar e como integrá-las em sua infraestrutura.