Engenheiros de IA priorizam custos e eficiência de energia em vez de desempenho máximo de chips

A transição do mercado de inteligência artificial de um regime focado em treinamento para um modelo orientado pela inferência está elevando a importância de métricas como o custo por token, o retorno sobre o investimento (ROI) e o custo total de propriedade (TCO). Esse cenário impulsiona o interesse de hiperescaladores por ASICs e aceleradores alternativos, já que a demanda por inferência representa até 95% das cargas de trabalho empresariais.

Nesse contexto, engenheiros de IA têm priorizado critérios como energia, resfriamento, utilização e custo por token em detrimento do throughput máximo ou da largura de banda. A preferência por soluções como as GPUs da Groq ocorre, inclusive, devido ao maior throughput oferecido.

Embora a NVIDIA defenda a eficiência de desempenho de seus chips para justificar os preços, a Evercore ISI indica que as alegações de ganhos de 35 vezes não convencem a maioria dos engenheiros, que consideram as margens brutas de 70% da companhia excessivas. Para melhorar a economia operacional, esses profissionais demonstram disposição em adotar ASICs ou alternativas tecnicamente suficientes.

A disparidade de custos é evidenciada por dados da Morgan Stanley, que apontam que a construção de um centro de dados com GPUs Blackwell da NVIDIA custa o dobro de um projeto baseado em chips de IA personalizados. Em contrapartida, a eficiência de desempenho das GPUs Blackwell chega a ser oito vezes superior. No entanto, a escolha do hardware final por parte dos engenheiros de IA não se limita à performance, integrando fatores como o custo de resfriamento dos componentes.