Como eu testo uma ferramenta antes de recomendar — e por que ainda não recomendei nenhuma

Esta coluna não avalia nenhuma ferramenta. Ela publica o critério que vou usar quando avaliar — antes de avaliar, e não depois.

A razão é simples: metodologia divulgada depois do resultado é indistinguível de justificativa. Quando o critério vem primeiro, você pode conferir se eu o segui, e me cobrar quando eu não seguir.

1. O caso-teste é chato de propósito

Demonstração de produto usa o exemplo bonito: dado limpo, pedido claro, volume pequeno. Todo mundo acerta nesse caso — inclusive as ferramentas ruins.

O teste que interessa é o outro. Planilha com datas em três formatos e linhas duplicadas. Documento escaneado torto. Pedido ambíguo, do jeito que uma pessoa real escreve. Volume grande o bastante para a ferramenta engasgar.

Uma regra decorre disso: a mesma tarefa, nas mesmas condições, para todas as ferramentas comparadas. Se uma recebeu o arquivo tratado e outra não, o comparativo não existe.

2. Custo total, não preço de assinatura

Preço mensal é a parte visível e geralmente a menor. A conta que publico soma:

• Assinatura — no plano que a tarefa realmente exige, não no plano de entrada que não serve
• Configuração — quantas horas até estar utilizável, valorizadas ao custo de quem vai fazer
• Custo de sair — o que acontece com seus dados e seu fluxo se você cancelar em um ano

A terceira linha é a que ninguém calcula e a que mais dói. Ferramenta barata com saída cara não é barata — é um empréstimo com juros escondidos no fim.

3. Onde quebra

Toda ferramenta quebra em algum lugar. Uma avaliação que não diz onde não terminou o trabalho — apenas parou antes.

Procuro especificamente: o volume em que a qualidade cai, o tipo de entrada que produz resultado errado com aparência de certo (o pior modo de falha que existe), e o que acontece quando a tarefa sai do caminho previsto.

4. Para quem isto não serve

Seção obrigatória em toda peça minha.

Recomendação sem público definido não é recomendação — é publicidade com aparência de análise. "A melhor ferramenta de X" é uma frase incompleta enquanto não disser para quem, fazendo o quê, com qual restrição. A mesma ferramenta pode ser a escolha certa para um time de quarenta pessoas com orçamento e a errada para alguém sozinho.

5. Empate é resultado

Quando duas ferramentas empatam na tarefa testada, publico empate.

Sei que ranking com vencedor é mais compartilhável. Também sei que forçar um vencedor onde a diferença está dentro da margem do teste é inventar informação — e a inclinação a fazer isso é a razão pela qual boa parte dos comparativos que circulam não vale a leitura.

6. Conflito de interesse, quando houver

Se eu receber acesso antecipado, cortesia ou qualquer benefício de um fabricante, isso vai declarado na peça, em destaque, com o que foi recebido e de quem.

Link de afiliado, quando existir, aparece identificado — e não altera a ordem de nenhum ranking. Se a ferramenta que não paga comissão for melhor na tarefa testada, ela ganha, e o link continua sendo o dela.

Por que ainda não recomendei nada

Porque não testei nada ainda.

Eu poderia escrever hoje um comparativo baseado em documentação, release note e resenha de terceiro. Ficaria plausível, provavelmente seria lido, e ninguém notaria a diferença. Também seria exatamente o tipo de coisa que esta publicação existe para apontar nos outros.

Então o primeiro comparativo sai quando houver acesso real às ferramentas e tempo de rodar o caso-teste em todas. Até lá, o que existe é isto: o critério, publicado antes, disponível para ser cobrado.