Champion x challenger na cobrança: como testar uma estratégia nova sem arriscar a carteira
Toda área de cobrança já trocou a régua por convicção. Alguém defende negativar mais cedo, outro quer mais WhatsApp e menos ligação, um terceiro aposta num desconto maior na faixa de 90 dias. A mudança entra para a carteira inteira, o mês fecha melhor ou pior, e ninguém consegue dizer se foi a régua, a sazonalidade ou o mix de clientes que mudou.
O teste champion x challenger existe para tirar essa decisão do campo da opinião. A estratégia que vale hoje, a champion, continua rodando para a maior parte da carteira. A estratégia nova, a challenger, roda para uma parte sorteada. As duas são medidas no mesmo período, com a mesma régua, e só a vencedora vira padrão.
A prática vem da gestão de estratégia de crédito, onde bancos testam política de concessão assim há décadas. Na cobrança, ela pede alguns cuidados a mais: o desfecho demora a maturar, cobrar é obrigação contratual e a mesma pessoa pode ter títulos em mais de um credor.
O teste, do desenho ao veredito
1. Uma hipótese escrita antes de qualquer dado
Todo teste começa por uma frase: “negativar aos 25 dias cura mais que aos 30, sem quebrar mais acordo”. Ela vem antes de olhar resultado, e junto vem o tipo do teste, que sugere a métrica e o tempo de maturação. No jacob labs, os tipos cobrem prazo de negativação e do jurídico, cadência, canal por faixa de atraso, janela de contato, teto de desconto, broker, template, hora, discador, tipo de voz, terceirizar por prazo ou por fase, assessoria contra assessoria e o teste livre.
2. Uma camada por vez
Um mesmo cliente pode entrar em no máximo um teste por camada, e as camadas são três: a régua (cadência, canal, janela, prazos, desconto), a terceirização (quem trabalha o cliente, a casa ou a assessoria, e a partir de quando) e o lote (template, broker, hora, equipe do discador). Régua e terceirização não se misturam: um cliente entregue à assessoria contaminaria um teste de cadência. Entre dois testes da mesma camada há carência de 30 dias.
3. Braços com pesos
Cada braço aponta para uma versão da estratégia. O braço A é a champion; B, C e os seguintes são challengers. A soma dos pesos é 100%. Subir o peso de um braço depois de ligado, de 10% para 50% e depois para 100%, não realoca quem já foi sorteado.
O desenho de um teste com três braços, cada um apontando para uma versão da estratégia. Base de demonstração; o teste é uma simulação, como diz o selo na tela.
4. O sorteio por hash
A unidade do teste é o cliente, identificado por um hash do CPF ou CNPJ. O sorteio é calculado uma vez, gravado e estável: o mesmo cliente cai sempre no mesmo braço até o fim. Dentro de cada estrato (faixa de atraso, decil de score e credor, quando as carteiras diferem), os entrantes do dia são distribuídos para que a proporção bata mesmo com poucos clientes por dia.
Duas regras protegem a leitura. A primeira é a intenção de tratar: quem foi sorteado e depois não pôde ser acionado (bloqueio, telefone inválido, DDD barrado) continua no braço, com o motivo registrado. A segunda é a covariável congelada: na entrada, o sistema guarda o que o cliente pagou nos 90 dias anteriores, para ajustar a leitura depois.
Alocado contra esperado em cada braço: o sorteio saiu do tamanho planejado? Base de demonstração; teste simulado.
5. Métrica primária, secundárias e guardrails
A métrica primária é escolhida antes e fica amarrada ao pré-registro, por exemplo o contato com a pessoa certa em 7 dias. As secundárias explicam o resultado. Os guardrails protegem o resto, e cinco entram em todo teste, com margem contra a champion: quebra de acordo, tentativas de contato por cliente em 7 dias, contato fora da janela, pedido de não contato e reclamação. A estratégia que recupera mais e quebra mais acordo não vence.
6. Tamanho e duração, antes de ligar
O desenho inteiro, com população, braços, pesos, métrica, guardrails, tamanho e dias, recebe uma impressão digital no ato de propor, e a aprovação é amarrada a ela. Mudar o desenho depois é outro teste. O teste também tem um teto de dias: vencido, vai para análise mesmo sem ter atingido o tamanho planejado.
Quer desenhar o primeiro teste da sua régua com método? Solicite um diagnóstico operacional.
A leitura: todo dia, sem se enganar
O erro mais comum de quem testa é olhar o resultado todo dia e parar no primeiro dia bom. Com estatística comum, isso infla o erro: cedo ou tarde, o acaso produz um dia bonito. O jacob labs lê o teste com ferramentas feitas para leitura diária:
- Média ajustada (CUPED): usa o que o cliente pagou antes de entrar para tirar ruído da comparação.
- p sequencial: pode ser lido todo dia sem inflar o erro, e nunca sobe de um dia para o outro.
- Conferência do sorteio (SRM): se os braços saíram de tamanho diferente do planejado, a leitura é suspensa.
- Homogeneidade e contaminação: o perfil dos braços é comparado, e o cliente que trocou de credor ou de custódia por fora do teste sai da conta a partir da troca.
Os braços lado a lado, com a faixa de confiança da diferença e os selos de conferência do sorteio. SIMULAÇÃO: o efeito dos braços B e C foi inserido para demonstração; o real é o método.
O resultado sai como um veredito sugerido: a challenger vence quando o p sequencial fica abaixo de 0,05 e a faixa de confiança da diferença não contém zero, sem guardrail ferido. Se um guardrail é ferido além da margem, o teste pausa sozinho e quem estava nele volta à champion.
A linha do tempo do veredito: o que o motor disse em cada dia, e desde quando. Base de demonstração; teste simulado.
Promover é ato de pessoa
O motor só sugere. Promover a vencedora, encerrar ou abortar o teste são atos de pessoas, com permissão, motivo e assinatura, e quem propôs o teste não pode assiná-lo quando os quatro olhos estão ligados. A governança completa está em Estratégia de cobrança versionada: quatro olhos, congelamento e rollback.
Um teste diz qual estratégia é melhor que a outra. Ele não diz quanto o programa de cobrança inteiro rende contra não mudar nada: para isso existe o grupo de controle, uma fatia da carteira que fica com a champion congelada, fora de todos os testes.
A mesma lógica de comparação justa, nas assessorias
A ideia de comparar cada um com o que se esperava dele, na mesma carteira e com faixa de confiança, também mede as assessorias. O vídeo abaixo mostra o placar do painel Performance de Assessorias e o Índice de mérito.
O placar das assessorias: Nota BSC contra a meta e Índice de mérito contra as outras, com faixa de confiança. Base de demonstração, dados fictícios.
Os erros que o método evita
- Comparar mês contra mês. A carteira de outubro não é a de setembro; braços sorteados no mesmo período são.
- Trocar a régua de todo mundo de uma vez. Se der errado, a carteira inteira paga. No teste, só a fatia.
- Parar no primeiro dia bom. O p sequencial foi feito para quem olha todo dia.
- Ganhar recuperação e perder acordo. Os guardrails seguram a estratégia que vence de um lado e quebra do outro.
- Decidir sem rastro. O veredito, a assinatura e o motivo ficam na trilha.