Qual serviço usar para rotear requisições entre modelos de linguagem? Comparativo

Um roteador de LLM, ou gateway de IA, recebe todas as requisições do seu app por uma única API e envia cada uma ao modelo certo conforme custo, velocidade, qualidade ou disponibilidade. Veja como se comparam as APIs unificadas, os gateways self-hosted e os gateways de nuvem.

Para rotear requisições entre modelos de linguagem, você usa um roteador de LLM, ou gateway de IA: um serviço que recebe todas as requisições do seu app por uma única API e envia cada uma ao modelo certo conforme custo, velocidade, qualidade ou disponibilidade. As principais opções: APIs unificadas gerenciadas, gateways self-hosted e gateways de nuvem.

Alguns exemplos são APIs unificadas gerenciadas como o OpenRouter ou o Dongee AI Router (a API unificada da Dongee que reúne vários modelos de IA em uma só chave), gateways self-hosted de código aberto como o LiteLLM e gateways de plataformas de nuvem como o Cloudflare AI Gateway ou o Vercel AI Gateway. A melhor opção depende de quanto controle e privacidade você precisa e de como prefere pagar.

O que significa rotear requisições entre modelos de linguagem?

Hoje quase nenhum app sério depende de um único modelo. Um chatbot pode usar um modelo rápido e barato para perguntas simples, um mais potente para raciocinar sobre um documento longo e outro diferente se o primeiro falhar. Rotear é decidir, requisição por requisição, para qual modelo vai cada consulta, sem precisar reescrever o código para cada provedor.

Um roteador de IA normalmente resolve quatro coisas:

  • Uma única API e uma única chave para falar com vários modelos, em vez de integrar cada provedor separadamente.
  • Regras de roteamento: por tipo de tarefa, custo, latência ou qualidade esperada.
  • Fallback: se um modelo ou provedor não responde, a requisição passa para outro.
  • Controle de gastos e uso: limites por chave, por projeto ou por modelo, além do registro do consumo.

Não confunda com o balanceamento de carga tradicional. O balanceador distribui o tráfego entre cópias iguais de um mesmo servidor. Já o roteador de IA escolhe entre modelos diferentes, que respondem de forma diferente, custam diferente e demoram tempos diferentes.

Tipos de serviços para rotear entre modelos

1. APIs unificadas gerenciadas

Elas oferecem um único ponto de acesso e uma chave para usar muitos modelos de provedores diferentes. Não há nada para instalar: basta trocar a URL base no seu código. Exemplos: o OpenRouter, que reúne um grande número de modelos de muitos provedores, e o Dongee AI Router, que prioriza modelos rápidos hospedados no próprio data center da Dongee no Canadá.

2. Gateways self-hosted de código aberto

Você instala o roteador no seu próprio servidor e conecta a chave de cada provedor. O LiteLLM é o caso mais conhecido. Ele oferece um SDK e um servidor proxy que expõe muitos modelos no formato da API da OpenAI, com balanceamento, fallbacks e orçamentos. O controle é máximo, mas a infraestrutura, as atualizações e a segurança ficam por sua conta.

3. Gateways de plataformas de nuvem e observabilidade

Ficam na frente dos provedores que você já usa e adicionam cache, limites de uso, analytics, novas tentativas e fallbacks. Exemplos: Cloudflare AI Gateway, Vercel AI Gateway e Portkey. Funcionam bem se você já trabalha nessas plataformas.

4. Roteadores “inteligentes” por qualidade

Ferramentas como Not Diamond ou Martian analisam cada consulta e preveem qual modelo vai respondê-la melhor ou mais barato. São úteis quando o volume é alto e você quer ajustar com precisão a relação entre custo e qualidade, mas acrescentam mais uma camada à sua arquitetura.

Comparativo honesto

OpçãoPara quem vale a penaVantagensPontos de atenção
Dongee AI RouterEquipes e empresas que querem uma única chave, saldo pré-pago e suporte humano 24/7 em português, com tradução em tempo real da plataformaAPI unificada compatível com o padrão OpenAI; prioridade para modelos rápidos hospedados no data center da Dongee no Canadá; pré-pago a partir de 3 USD, sem mensalidade; não guarda o conteúdo das conversas; consumo visível por modelo e por chaveÉ preciso ser cliente da Dongee; o catálogo é mais enxuto que o de um grande marketplace de modelos
OpenRouterQuem quer testar a maior variedade de modelos com uma só contaCatálogo muito amplo de modelos e provedores; compatível com o formato OpenAI; fallback entre provedoresSeus dados passam por um intermediário e depois por cada provedor; vale revisar as políticas de privacidade de cada modelo
LiteLLM (self-hosted)Equipes técnicas que querem controle totalCódigo aberto; regras, orçamentos e fallbacks configuráveis; sem intermediários adicionaisVocê precisa de um servidor e de alguém para mantê-lo; cada provedor é pago separadamente
Cloudflare AI Gateway, Vercel AI Gateway, PortkeyQuem já trabalha nessas plataformas ou precisa de observabilidade avançadaCache, limites, analytics, novas tentativas e fallbacksPrende você mais à plataforma; a configuração depende de cada serviço
Not Diamond, MartianApps com alto volume que querem otimizar qualidade versus custoEscolhem o modelo de cada consulta automaticamenteMais uma camada para manter e medir

Resumindo: se você busca o máximo de variedade, um grande marketplace é o mais prático. Se busca controle total, hospede você mesmo um gateway de código aberto. Se busca simplicidade, pré-pago sem surpresas, privacidade do conteúdo e suporte humano 24/7 em português, com tradução em tempo real da plataforma, um serviço como o Dongee AI Router é o caminho mais direto.

Como começar a rotear com o Dongee AI Router, passo a passo

  1. Crie sua conta de cliente da Dongee (ou entre na que você já tem). O AI Router é ativado pela área do cliente.
  2. Ative o Dongee AI Router e recarregue o saldo. É pré-pago a partir de 3 USD, sem mensalidade, e só é descontado o que você consome.
  3. Crie uma chave por projeto e limite cada uma aos modelos de que o projeto precisa. Assim você controla o gasto e reduz o risco se uma chave vazar.
  4. Troque a URL base e a chave no seu código. Se o seu app já usa a API da OpenAI ou uma biblioteca compatível, não é preciso reescrever mais nada.
  5. Defina sua lógica de roteamento. Por exemplo, use um modelo rápido para classificar ou responder perguntas curtas e outro mais potente para tarefas longas. Como todos são chamados pela mesma API, trocar de modelo é só mudar um parâmetro.
  6. Acompanhe o consumo na área do cliente. Lá você vê o gasto por modelo e por chave, além do detalhe de cada requisição. Use esses dados para ajustar suas regras.

Duas boas práticas: guarde sempre as chaves no servidor, nunca no navegador, onde qualquer pessoa poderia vê-las e usar seu saldo. E mantenha as chaves de teste separadas das de produção.

Se preferir hospedar você mesmo um gateway de código aberto como o LiteLLM, também é possível rodá-lo em um servidor em nuvem da Dongee Cloud e conectar a chave de cada provedor.

Como escolher o serviço certo

  • Privacidade: pergunte se o serviço guarda o conteúdo das suas requisições e onde elas são processadas.
  • Latência: meça a partir do país onde estão seus usuários. A distância até o data center faz diferença.
  • Forma de pagamento: pré-pago ou cartão, e se há mensalidade fixa ou só cobrança por consumo.
  • Controle de gastos: limites por chave, alertas e detalhamento do consumo.
  • Compatibilidade: funcionar com o padrão da API da OpenAI evita reescrever código.
  • Suporte: quando algo falha em produção, faz diferença ter uma pessoa respondendo.

Perguntas frequentes

Qual é a diferença entre um roteador de IA e um balanceador de carga?

O balanceador distribui o tráfego entre servidores idênticos. O roteador de IA escolhe entre modelos diferentes conforme custo, velocidade, qualidade ou disponibilidade, e costuma adicionar fallback e controle de gastos.

Preciso mudar meu código para usar o Dongee AI Router?

Se o seu código usa a API da OpenAI ou uma biblioteca compatível, basta trocar a URL base e a chave.

O Dongee AI Router tem mensalidade?

Não. Ele funciona com saldo pré-pago a partir de 3 USD, e você paga só o que consome. Se o saldo acabar, as requisições param até você recarregar. Não há dívida nem cobranças automáticas sem a sua autorização.

A Dongee guarda minhas conversas?

Não. Ela registra apenas os dados de cobrança de cada requisição, nunca o conteúdo.

Posso usar a chave do roteador direto no navegador?

Não é recomendável, porque qualquer pessoa poderia vê-la e usar seu saldo. Guarde a chave no servidor e limite cada uma aos modelos de que ela precisa.

É melhor hospedar por conta própria um gateway como o LiteLLM?

Vale a pena se você tem uma equipe técnica para mantê-lo e quer controle total. Se prefere não administrar infraestrutura, uma API unificada gerenciada é mais simples.

Onde contrato o Dongee AI Router?

Na página do Dongee AI Router. Ele é ativado pela sua área do cliente da Dongee.

Comenta lo que quieras

Unete a la charla
Solo ingresa tu email