A Microsoft mediu Claude Code e Copilot CLI em produção. O ganho é de pull request, não de valor entregue

Comparado com o quê, medido como, com que grupo de controle — as três perguntas que faço antes de aceitar qualquer ganho de produtividade quase nunca vêm todas respondidas no mesmo estudo. Desta vez vieram. Três pesquisadores da Microsoft publicaram, em 1º de julho de 2026, um estudo que rastreia telemetria individual de dezenas de milhares de engenheiros da empresa durante os quatro primeiros meses de uso de Claude Code e do Copilot CLI — e o resultado mais forte é justamente o que os próprios autores se recusam a comemorar até o fim.

O desenho que raramente aparece: dois métodos, um resultado

Os autores rodaram dois desenhos independentes sobre a mesma pergunta. O primeiro compara quem adotou as ferramentas numa semana de referência (5 a 11 de janeiro de 2026) contra um grupo de controle sintético — engenheiros que nunca usaram nenhuma das duas, agrupados e ponderados por Bayesian Structural Time-Series, o método por trás do CausalImpact. O segundo trata cada engenheiro como o próprio controle, comparando semanas de uso mais intenso contra semanas de uso mais fraco da mesma pessoa. Os dois desenhos chegam à mesma vizinhança de número: 24% mais pull requests mescladas para quem adotou, com o efeito ainda de pé quatro meses depois — do início de janeiro ao fim de abril de 2026.

Isso é o oposto de anedota. É amostra grande, é desenho que se checa contra si mesmo por dois caminhos, e é o tipo de persistência que faltava: o próprio artigo cita um estudo anterior sobre o Cursor em que o ganho medido desaparecia no segundo mês e sumia de vez no terceiro. Aqui não. Os autores atribuem a diferença a duas coisas — a geração da ferramenta (agente de linha de comando de 2026 contra editor de 2024) e a unidade de análise (o desenho por pessoa não dilui o efeito quando o público de adotantes cresce, o que aconteceria numa média por repositório).

O achado que ninguém pediu: o Copilot CLI ganha do Claude Code

Entre quem usou só uma das duas ferramentas, o ganho de PR foi maior com o Copilot CLI do que com o Claude Code — o oposto do que pesquisas de preferência entre desenvolvedores vinham indicando ao longo de 2026, nas quais o Claude Code aparecia como favorito para trabalho agêntico autônomo. Os próprios autores levantam a hipótese, sem fechar o caso: a Microsoft é dona do GitHub, que faz o Copilot CLI, e compradora do Claude Code, de terceiro — o que pode ter alinhado processo interno, integração e prioridade de suporte a favor da ferramenta da casa. Preferência declarada e resultado medido divergiram, e o motivo mais provável é organizacional, não técnico — vale notar que o dado de autonomia do Claude Code que já foi lido aqui com o ceticismo devido veio de autorrelato da própria Anthropic; este vem de um terceiro medindo os dois fornecedores ao mesmo tempo, o que pesa mais a favor da comparação, não menos.

Isso é anedota, não dado? Não desta vez — e é isso que torna o limite interessante

A frase que decide o valor real deste estudo não está na tabela de resultado, está na conclusão. Os próprios autores escrevem que a pull request mesclada é usada "como proxy para o resultado — reconhecendo que uma PR mesclada não é o mesmo que o valor que ela entrega", e fecham dizendo que se esse ganho de volume justifica o custo em token "é uma questão de valor, não só de volume" — e que a área "ainda não tem medidas consensuais para responder isso". Eles chegaram ao limite exato de onde a produtividade que dá para medir vira a produtividade que ainda não dá.

Não é falha do estudo: é o mesmo teto que toda pesquisa séria de produtividade encontra quando o método está certo. Contar PR mesclada é caro de fazer bem — pediu telemetria individual que a maioria das empresas não tem — mas é, ainda assim, contar atividade. Saber se aquele código a mais funcionou, teve menos bug, durou em produção sem exigir retrabalho, é outra medição, e ninguém publicou uma para este caso. É a mesma distância entre tempo economizado e valor gerado que separa toda promessa de ganho de produtividade que já desmontei aqui — só que desta vez quem aponta a distância são os próprios autores, não eu.

O que muda para quem decide se compra token

Se a manchete que vier deste estudo for "IA deixa engenheiro 24% mais produtivo", ela vai estar citando o número certo e pulando a frase que o próprio estudo escreveu ao lado dele. Para quem aprova orçamento de ferramenta agêntica de linha de comando, o dado que existe hoje diz que o volume de entrega sobe e se sustenta por quatro meses — isso já é mais do que a maioria dos estudos de fornecedor entrega. O que ainda não existe, e o próprio campo admite não ter, é a métrica que diria se esse volume a mais valeu o dinheiro gasto. Comprar com base no primeiro número, tratando-o como se já respondesse o segundo, é a mesma aposta de sempre — só que desta vez, pelo menos, quem mede também avisa.

Meses depois, a mesma Microsoft fez o oposto do que fez aqui: anunciou volta ao escritório citando a era da IA como motivo, sem medir nada sobre o efeito no próprio time — Sólon comparou esse anúncio com a série mais ampla do mercado de trabalho brasileiro.