Harness multiagente: o que eu de fato construí (não só o nome)

No artigo anterior eu citei "harness" como exemplo de termo que vira bandeira antes de virar prática: gente discutindo vocabulário como se dominar o nome certo já resolvesse alguma coisa. Prometi contar o que eu mesmo estava fazendo a respeito. Este texto é essa outra metade, a história. E é também a porta de entrada de uma série que aprofunda cada parte do assunto.

O problema que me fez construir isso

IA generativa escrevendo código sem contexto do projeto, sem arquitetura combinada, sem ninguém checando se o que saiu bate com o que foi pedido. O código sai rápido, mas sem direção, porque ninguém definiu antes o que "certo" significava ali.

A resposta que fui construindo não foi "usar mais IA" nem "usar uma IA melhor". Foi estruturar o processo em volta dela: dar papel, dar gate, dar critério de aprovação antes de deixar a próxima fase começar.

O que eu construí

Não é um agente genérico tentando fazer tudo. São papéis especializados, cada um com escopo fechado (analista, arquiteto, dev backend e frontend, QA, revisor de código) e um crítico que não produz nada: só existe para questionar o que os outros produziram antes de a próxima fase começar.

flowchart LR
    A([Specify]) --> B{{Critique}}
    B --> C([Design])
    C --> D{{Critique}}
    D --> E([Tasks])
    E --> F([Implement])
    F --> G{{Critique}}
    G --> R([Code Review])
    R --> H([Validate])
    H --> I([Quality Report])
    

Cada losango é um ponto onde o trabalho pode ser barrado e devolvido. Nenhuma fase avança por omissão. E nem toda mudança passa por tudo isso: uma correção pequena e isolada segue direto para a implementação.

A regra que mais importa em todo o desenho: quem produz nunca é quem valida. O revisor encontra, não corrige; a correção volta para quem implementou, passa por um validador, e só então o mesmo revisor confirma item a item.

O que aprendi (e onde cada tema é aprofundado)

Nada disso nasceu junto. Foi entrando um item por vez, geralmente depois de ver o anterior falhar sozinho. As lições que mais pesaram:

• O erro mais caro não é técnico, é de expectativa. As empresas superestimam o harness, subestimam a manutenção e querem tudo rápido. Um harness maduro leva meses, e precisa de gente dedicada, cuidando dele e do processo em volta. → Harness de IA: o que é, quando construir o seu e por que a maioria falha
• Multiagente resolve problemas reais, mas cobra caro. Um agente basta na maioria dos casos; dividir só compensa quando dá para apontar o problema que um só não resolve. E os agentes falham de jeitos previsíveis. → Multiagente na prática: quando usar, como os agentes se comportam e onde dá errado
• Sem número, "melhorou" é opinião. Medir a task, o texto e o próprio harness é o que permite simplificar com segurança quando o modelo evolui. → Como medir se o seu harness funciona

As armadilhas de virar bandeira

Já vi, e já cometi, usar o nome sem o cuidado por trás: copiar a estrutura sem entender por que cada gate existe, empilhar revisões sem build ou teste real checando nada, tratar o fluxo completo como obrigatório para qualquer mudança, achar que o processo substitui entender o problema de negócio.

Um cenário comum: o time adota "harness" como palavra de ordem, monta agentes com nomes bonitos, e nas primeiras semanas a entrega até parece mais organizada. Meses depois, ninguém lembra por que o gate de crítica existe, ele vira etapa que todo mundo aprova sem ler, e o processo que devia pegar erro cedo só atrasa a entrega. Pior que não ter processo, porque agora há falsa sensação de segurança.

Onde isso ainda é experimento

Não existe fórmula que substitua julgamento. Os scores ajudam a sinalizar padrão, mas não decidem sozinhos se algo está pronto. E a base de conhecimento que alimenta esse processo depende de alguém escrever e curar: não se atualiza sozinha.

É ferramenta que estou construindo e ajustando, não fórmula pronta. O que é o mesmo alerta do artigo anterior: nomenclatura nova não é competência nova. E é ferramenta que precisa continuar sendo ajustada para continuar valendo o que custa.