INTRODUÇÃO
Enquanto o setor de inteligência artificial enfrenta gargalos de inferência e desperdício de recursos computacionais, uma startup emergiu com uma solução que promete revolucionar a eficiência do hardware. A Gimlet Labs, fundada pelo professor adjunto de Stanford Zain Asgar e sua equipe, acaba de levantar uma rodada Série A de US$ 80 milhões liderada pela Menlo Ventures. O objetivo é claro: tornar as cargas de trabalho de IA até 10 vezes mais eficientes, aproveitando ao máximo a infraestrutura existente.
DESENVOLVIMENTO
A empresa desenvolveu o que chama de primeira "nuvem de inferência multi-silício", um software que permite executar simultaneamente tarefas de IA em diferentes tipos de hardware. Segundo Asgar, a tecnologia pode dividir o trabalho de um aplicativo entre CPUs tradicionais, GPUs otimizadas para IA e sistemas de alta memória, adaptando-se dinamicamente aos recursos disponíveis. Tim Tully, investidor líder da Menlo Ventures, explica em um post que agentes de IA frequentemente envolvem múltiplas etapas, cada uma com demandas específicas: inferência é limitada por computação, decodificação por memória e chamadas de ferramentas por rede. Nenhum chip atual consegue lidar com tudo sozinho, criando a necessidade de uma camada de software como a da Gimlet Labs para orquestrar a execução em uma frota diversificada de silício.
CONCLUSÃO
Com estimativas da McKinsey apontando para gastos de quase US$ 7 trilhões em data centers até 2030, a eficiência se torna crucial. Asgar destaca que os aplicativos atuais utilizam o hardware implantado apenas entre 15% e 30% do tempo, resultando em desperdícios de centenas de bilhões de dólares. A solução da Gimlet Labs, ao permitir que cargas de trabalho agentes sejam distribuídas de forma inteligente, não só aborda o gargalo de inferência, mas também oferece um caminho sustentável para o crescimento da IA, maximizando investimentos existentes e preparando o terreno para a próxima geração de hardware.
