OpenAI propõe nova forma de medir custos de IA e defende foco em resultados, não em tokens
A OpenAI apresentou uma nova proposta para avaliar investimentos em inteligência artificial no ambiente corporativo. Em vez de comparar modelos apenas pelo custo por token, a empresa sugere que organizações passem a medir o retorno com base na quantidade de trabalho útil entregue em relação ao valor gasto.
A ideia foi apresentada pela diretora financeira da OpenAI, Sarah Friar, em um modelo de avaliação voltado para empresas que buscam reduzir despesas com IA sem comprometer a qualidade dos resultados.
Como funciona
O sistema proposto organiza a avaliação de modelos de IA a partir de quatro critérios: confiabilidade, qualidade do trabalho produzido, capacidade de operar em escala e custo total. A proposta é permitir comparações mais próximas do impacto prático da tecnologia, sem tratar os tokens como o principal indicador de valor.
Nesse modelo, a pergunta central passa a ser se o valor gerado pelo trabalho realizado pela inteligência artificial cresce mais rapidamente do que o custo necessário para produzi-lo.
Hoje, muitas empresas escolhem modelos comparando o preço por token — a unidade usada para medir a quantidade de texto processada ou gerada. Quanto menor o custo por token, mais barato o modelo parece.
A OpenAI argumenta que essa comparação pode ser enganosa. Um modelo mais barato pode errar mais, exigir várias tentativas para concluir uma tarefa ou demandar revisão humana, aumentando o custo real do trabalho. Já um modelo mais caro pode resolver o problema corretamente na primeira tentativa, economizando tempo e recursos.
Na proposta apresentada por Sarah Friar, a comparação entre modelos de IA deixa de priorizar apenas o preço por token e passa a considerar quatro fatores:
- Confiabilidade: frequência com que o modelo entrega respostas corretas.
- Qualidade do trabalho: capacidade de concluir a tarefa com sucesso.
- Escalabilidade: desempenho quando utilizado em grande volume.
- Custo total: incluindo o uso da API e outros gastos envolvidos.
Com isso, a pergunta deixa de ser "quanto custa um milhão de tokens?" e passa a ser "quanto custa para concluir essa tarefa com sucesso?".
Um exemplo ajuda a entender a mudança:
- Modelo A: custa US$ 1 para executar uma tarefa, mas acerta apenas metade das vezes. Na prática, pode ser necessário repetir a execução ou gastar tempo revisando e corrigindo o resultado.
- Modelo B: custa US$ 2 por tarefa, mas entrega o resultado correto na primeira tentativa.
Embora o Modelo B tenha um custo inicial maior, ele pode gerar um custo operacional menor e aumentar a produtividade. Esse é o conceito que a OpenAI resume como "inteligência útil por dólar" (useful intelligence per dollar): avaliar o valor de um modelo pelo trabalho que ele realmente consegue concluir, e não apenas pelo preço cobrado para processar tokens.
Exemplo de desempenho
Para ilustrar a metodologia, a OpenAI utilizou o benchmark DeepSWE, voltado para tarefas de programação. No teste, o modelo Sol obteve 2,8 pontos a mais que o Fable 5 e apresentou um custo estimado de API 36,2% menor.
O exemplo busca mostrar que modelos capazes de entregar melhores resultados podem representar um investimento mais eficiente, mesmo quando o preço por token não é o menor disponível.
O impacto para o mercado
A proposta surge em um momento em que empresas procuram controlar gastos com inteligência artificial e avaliam alternativas mais baratas para suas aplicações. Ao defender que a comparação entre modelos seja feita pelo trabalho concluído, e não apenas pelo custo de processamento, a OpenAI reforça uma visão que pode favorecer modelos mais avançados quando eles entregam maior produtividade e retorno sobre o investimento.