Trocar de ferramenta não apaga o corte da série

Trocar de ferramenta no meio da série não apaga o corte, ele só esconde

A série tinha dezoito meses quando o coletor próprio foi desligado. O provedor de escuta entrou no lugar dele numa terça-feira, e na semana seguinte o gráfico de comentários por post mostrava uma queda que ninguém conseguia explicar por sazonalidade. A conta não havia mudado de assunto, a frequência de publicação era a mesma, o time comercial não tinha parado. A explicação estava numa decisão de infraestrutura tomada dois meses antes, registrada numa conversa de aplicativo, e que nunca chegou ao documento onde a série era lida.

Esse é o padrão. A troca de ferramenta é tratada como assunto de operação, não como assunto de método. Quem troca resolve um problema de custo, de acesso ou de cobertura, comemora a estabilidade do novo coletor e segue. O corte fica no acervo. Ele aparece meses depois, numa reunião em que alguém compara o trimestre atual com o mesmo trimestre do ano anterior e conclui que o público esfriou. A conclusão é falsa, mas é bem argumentada, porque o número existe e está no gráfico.

O argumento deste texto é estreito de propósito. Ele não discute qual ferramenta é melhor, nem defende construir tudo em casa. Ele defende uma prática: quando o instrumento de coleta muda, as duas ferramentas precisam rodar em paralelo por um período, e a diferença medida nesse período precisa virar uma nota presa à série. Sem isso, o corte não desaparece. Ele apenas deixa de ter autor.

O corte é um fato do acervo, não um detalhe do fornecedor

Uma série temporal é uma corrente de observações comparáveis. A comparabilidade não vem do assunto, vem do instrumento. Se a régua muda de comprimento entre duas medições, o número final registra duas coisas ao mesmo tempo: a mudança do objeto e a mudança da régua. Nenhum tratamento estatístico separa as duas depois do fato, porque a informação que permitiria a separação não foi coletada.

Vale distinguir dois tipos de ruptura que costumam ser confundidos. Na ruptura de objeto, o que se observa muda: a plataforma altera o que conta como visualização, o produto muda de escopo, a conta passa a operar em outro mercado. Na ruptura de instrumento, o objeto continua igual e muda quem olha. Esse primeiro caso já foi tratado em Mudança de produto no meio da série e o dado comparável. A segunda é mais silenciosa, porque ninguém anuncia. O fornecedor novo não sabe que havia um antigo, e o time que contratou o novo não se considera dono da série histórica.

O efeito prático é que a ruptura de instrumento costuma sobreviver em um lugar só: a memória de quem apertou o botão. E memória de operação tem prazo. Quem trocou o coletor lembra do motivo, raramente lembra dos parâmetros. Passados dois ciclos de rotatividade, ninguém na empresa sabe que a linha tem um degrau. A partir daí, o dado passa a ser lido como se fosse contínuo, e a leitura errada se torna o padrão.

O que muda quando a ferramenta muda

Quatro diferenças explicam quase todo salto artificial entre dois coletores. A primeira é a definição do evento. O que conta como comentário? A resposta aninhada entra na contagem? O comentário do próprio perfil, feito para fixar uma informação, entra? O comentário removido pelo autor sai do total retroativamente ou permanece no registro do dia? Duas ferramentas raramente respondem igual a essas quatro perguntas, e cada resposta desloca o total.

A segunda é a janela de coleta. Um coletor diário congela a métrica no momento da captura. Um coletor semanal, ou um que reprocessa o histórico a cada rodada, atualiza o passado. A diferença parece técnica e é enorme: no primeiro caso, o engajamento de um post é o que existia no dia seguinte à publicação; no segundo, é o que sobrou depois de trinta dias. Comparar os dois é comparar um retrato de segunda-feira com um retrato de fim de mês.

A terceira é a deduplicação. O mesmo vídeo publicado em duas contas, o repost, o comentário idêntico colado em vários posts, a coleta que passa duas vezes pela mesma página por causa de paginação instável. Cada ferramenta tem uma regra própria para decidir o que é uma unidade. Se a regra muda, o denominador muda, e qualquer taxa calculada sobre ele muda junto.

A quarta é a cobertura de comentários. Muitos coletores leem os comentários de primeiro nível e param. Outros descem dois níveis. Outros ainda dependem de uma API que devolve apenas parte da árvore. Numa conta com muita discussão, a troca de um coletor de primeiro nível por um de três níveis produz um crescimento de comentários que não aconteceu na vida real. Ninguém comentou mais. A ferramenta passou a ver o que já estava lá.

O salto artificial tem assinatura

Vale aprender a reconhecer o artefato antes de procurar explicação de comportamento. Ele tem três assinaturas típicas. A primeira é a coincidência de calendário: a mudança aparece na primeira semana completa após uma data administrativa, não numa data de campanha. A segunda é a seletividade: só um indicador se move, e os indicadores vizinhos que deveriam se mover junto ficam parados. Comentários caem e salvamentos não, ou o inverso, quando os dois sempre andaram juntos.

A terceira assinatura é a forma. Uma mudança de comportamento produz rampa, com transição ao longo de semanas. Uma mudança de instrumento produz degrau, com um antes e um depois separados por uma linha quase vertical. Quando o gráfico tem degrau, a pergunta correta não é o que aconteceu com o público. É o que aconteceu com a coleta.

Nenhuma dessas assinaturas prova nada sozinha. Elas servem para acionar a verificação, e a verificação é barata quando feita na semana da troca e caríssima quando feita no ano seguinte. A mesma disciplina vale ao comparar conteúdo de concorrentes, onde a diferença de método entre contas precisa ser declarada antes do número (Um post publicado prova que ele foi publicado). O custo de manter as duas ferramentas rodando por dois meses é uma fração do custo de refazer uma conclusão que já virou decisão de verba.

A sobreposição obrigatória e o seu desenho mínimo

A sobreposição é um período em que o coletor antigo e o novo rodam ao mesmo tempo, sobre as mesmas contas, no mesmo intervalo. Ela não serve para escolher a ferramenta melhor, e sim para medir a diferença no único momento em que ela é observável: enquanto as duas existem.

O desenho mínimo tem quatro exigências. A primeira é a duração: tempo suficiente para cobrir pelo menos um ciclo completo de publicação e uma semana atípica, porque a diferença entre ferramentas pode variar com o volume. A segunda é a granularidade: a comparação precisa acontecer no nível em que o número será reportado. Se o relatório fala de média por post, a sobreposição precisa comparar post a post, não só o total do período.

A terceira exigência é o congelamento. As duas ferramentas devem ser capturadas no mesmo estado de maturação da métrica, ou a diferença medida será contaminada pela janela. Se uma coleta é diária e a outra semanal, a comparação precisa usar as duas leituras de mesmo prazo, não o que cada uma tinha no último dia.

A quarta é o registro do desenho. Quem desenhou a sobreposição precisa anotar quais contas entraram, qual foi o intervalo exato, qual versão de cada coletor rodou e como os dados brutos foram guardados. Sem isso, a sobreposição vira mais uma memória, e o problema que ela deveria resolver volta inteiro.

Como ler a sobreposição

O resultado da sobreposição cai em três casos, e cada um pede uma decisão diferente. No primeiro, a razão entre as duas ferramentas é estável e próxima de um. As duas medem quase a mesma coisa. A série pode ser emendada com uma nota curta, declarando a troca e o fator observado.

No segundo caso, a razão é estável e distante de um. A diferença é sistemática: a ferramenta nova vê, por exemplo, mais comentários porque desce dois níveis na árvore. Aqui a emenda é possível, com fator declarado, mas ela obriga a revisar conclusões antigas. Todo número produzido pela ferramenta antiga estava subestimado na mesma proporção, e as decisões tomadas sobre ele herdaram o erro.

No terceiro caso, a razão não é estável. Ela muda com o volume de comentários, com o tipo de post, com o mês. Isso significa que a diferença não é um deslocamento, é uma mudança de definição. Não existe fator que corrija. A decisão correta é manter duas séries separadas, ou recomeçar a série a partir da troca, declarando o novo início.

O erro mais comum é tratar o terceiro caso como o segundo. Multiplica-se o passado por um número, o gráfico fica contínuo, e a instabilidade fica escondida dentro do fator. Um gráfico contínuo é mais fácil de apresentar, e é por isso que ele é perigoso.

A nota de quebra: o que ela precisa conter

A nota de quebra é um documento curto, preso à série, que descreve a mudança de instrumento. Ela não é um relatório e não precisa de mais de uma página. Precisa de sete campos.

O primeiro é a data exata do corte, com o último dia válido pela ferramenta antiga e o primeiro pela nova. O segundo identifica as duas ferramentas, com versão ou método de acesso. O terceiro lista as quatro diferenças, com a resposta de cada ferramenta em cada item.

O quarto campo é o resultado da sobreposição, com o intervalo testado, a razão medida e a conclusão sobre a estabilidade. O quinto é a decisão tomada: emenda com fator, série dupla ou recomeço. O sexto é o efeito esperado sobre cada indicador publicado, com a direção do artefato. O sétimo é onde estão os dados brutos dos dois períodos, porque uma nota que aponta para dados inexistentes é apenas uma promessa.

A nota precisa ficar onde a série é lida, não onde a coleta é operada. Uma nota guardada no repositório de código cumpre a função de arquivo e falha na função de aviso. O leitor do gráfico é quem precisa tropeçar nela, e a manutenção desse aviso ao longo dos anos segue as mesmas regras de qualquer acervo que decai (Atualizar, consolidar ou remover: gestão do acervo).

Quando a sobreposição não foi feita

O caso é comum, e ele tem triagem. A primeira tentativa é a sobreposição retroativa: se os dados brutos da ferramenta antiga ainda existem, é possível reprocessar o período com a ferramenta nova, ou o inverso, e reconstruir a comparação. Isso só funciona se o time tiver mantido o código e o acesso do coletor antigo.

A segunda possibilidade é a marcação honesta. A série vira duas séries, com um vazio entre elas, e o gráfico não é desenhado como linha contínua. Perde-se a leitura de tendência longa e ganha-se a certeza de que nenhum degrau foi interpretado como comportamento. Em muitos acervos, essa é a única saída correta.

A terceira é a mais desconfortável: quando o indicador sustentou uma decisão importante, a decisão precisa ser reaberta, não o gráfico. Refazer o gráfico com uma ressalva e manter a conclusão original é a pior combinação possível, porque dá aparência de rigor a um número que já não significa o que significava.

Por que emendar sem nota é pior do que recomeçar

Recomeçar uma série tem um custo visível: perde-se o histórico, e o próximo ciclo começa sem base de comparação. Esse custo é conhecido, anunciado e, por isso, administrado. A série emendada sem nota tem um custo invisível e crescente: cada leitura posterior herda um erro que não está declarado em lugar nenhum.

Há uma assimetria importante. Uma série recomeçada não engana ninguém, porque todo mundo sabe que ela é nova. Uma série emendada sem nota engana justamente quem chega depois. O estrago não é o número errado no gráfico. É a decisão tomada com confiança sobre um número que ninguém sabe que mudou de régua.

Em [Kuhn, 1962], a incomensurabilidade entre tradições de pesquisa aparece como a impossibilidade de traduzir um vocabulário no outro, termo a termo, e a tradução forçada produz a impressão de continuidade onde houve ruptura. A analogia tem limite, e o limite é que aqui não se trata de paradigmas, mas de rotinas de extração. Ainda assim, o núcleo vale: quando a régua muda, os números antigos e os novos não são a mesma grandeza em escalas diferentes. São grandezas diferentes com o mesmo nome.

O tratamento da validade em desenhos quase experimentais em [Shadish, Cook e Campbell, 2002] insiste que a inferência depende de saber o que variou além do tratamento. Numa série de acervo, a troca de ferramenta é exatamente uma variável a mais, introduzida sem controle e sem registro. A diferença é que, num desenho quase experimental, o pesquisador sabe que precisa declarar a ameaça. Numa operação de coleta, ninguém avisa que a ameaça foi introduzida.

O que a memória de quem trocou não sustenta

A memória é um arquivo com viés de recência e sem indexação. Ela guarda bem o motivo da troca, porque o motivo foi discutido. Guarda mal os parâmetros, porque os parâmetros foram digitados uma vez. Guarda pior ainda o estado do acervo antes da troca, porque ninguém olhou para trás no momento em que olhava para frente.

Por isso a nota precisa ser escrita antes da primeira coleta com a ferramenta nova, e não depois. Escrita antes, ela é um plano: declara o que se espera que mude, quais indicadores serão afetados e como a sobreposição será lida. Escrita depois, ela é uma reconstrução, e reconstruções tendem a confirmar a decisão já tomada.

O procedimento que funciona é curto: ninguém desliga um coletor sem antes abrir a nota de quebra, com data prevista, ferramentas e desenho da sobreposição. A nota é o bilhete de saída do coletor antigo. Sem ela, o desligamento não acontece.

O limite do que foi dito

Este texto trata de séries internas, construídas para acompanhar contas e temas ao longo do tempo. Ele não resolve o caso em que a plataforma muda a definição da métrica, porque aí a ruptura é de objeto e exige outro tratamento. Também não promete que a sobreposição sempre produz uma resposta limpa: em acervos pequenos, a variância do período pode superar a diferença entre ferramentas, e a conclusão honesta é que não dá para saber.

O que se pode afirmar com segurança é mais modesto e mais útil. Toda troca de instrumento produz um corte. O corte pode ser medido, documentado e lido, ou pode ser escondido. A escolha não é entre ter ou não ter ruptura. É entre uma ruptura declarada, que o leitor pode descontar, e uma ruptura silenciosa, que o leitor vai atribuir ao mundo.

Referências

KUHN, Thomas S. The Structure of Scientific Revolutions. Chicago: University of Chicago Press, 1962.

SHADISH, William R.; COOK, Thomas D.; CAMPBELL, Donald T. Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Boston: Houghton Mifflin, 2002.

série temporal: a entrada define série como sequência de observações ordenadas no tempo e sustenta a exigência de comparabilidade entre pontos.

thomas kuhn: a entrada apresenta a noção de incomensurabilidade usada aqui de forma analógica, com o limite declarado no texto.