Separar sinal de ruído: três camadas de evidência antes de decidir

Ruído tem forma, e ela é previsível

A maior dificuldade em pesquisa de plataforma não é falta de dado. É excesso de movimento que parece dado.

Ruído não é aleatório na aparência. Ele tem forma: picos sem causa aparente, quedas que coincidem com feriados, oscilações que se repetem no mesmo dia da semana. Por ter forma, ele se parece com sinal, e é por isso que engana.

A primeira disciplina é separar variação de mudança. Variação é o movimento normal de uma série em que nada mudou. Mudança é deslocamento de nível ou de tendência que persiste quando o ruído é removido.

O teste mais simples, e o que usamos com mais frequência, é a persistência. Um pico que desaparece em sete dias era ruído. Um deslocamento que se sustenta por seis semanas é candidato a mudança. Não é um teste rigoroso, mas é melhor que a alternativa, que é tratar cada oscilação como acontecimento.

Separar variação de mudança

Existem três fontes de variação que explicam a maior parte do movimento observado em séries de plataforma.

A primeira é sazonalidade. Semana, mês, trimestre fiscal e calendário escolar produzem ciclos sobrepostos que não são óbvios quando se olha uma série curta.

A segunda é calendário institucional. Congressos, datas regulatórias, fechamento de orçamento. Eles deslocam atenção de forma abrupta e, ao contrário da sazonalidade, não são suaves nem simétricos.

A terceira é mudança de medição. Normalização de índices, alteração de janela, troca de ferramenta. É a mais perigosa porque produz deslocamento que parece real e não é.

Nós mantemos um registro de mudanças de medição, com data e motivo. Sem esse registro, é impossível saber se um degrau na série é um evento do mundo ou um artefato do instrumento.

Três camadas de evidência

Trabalhamos com três camadas e uma regra de precedência.

Observação própria com protocolo escrito. É a camada mais forte que temos, e ainda assim limitada: vale para a amostra que conseguimos ver, com os vieses de acesso que não controlamos.

Levantamento de terceiros com metodologia publicada. Mais amplo, menos controlável. Exigimos que a metodologia esteja disponível; quando não está, rebaixamos o material a ilustração, não a evidência.

Inferência da redação. Nossa leitura cruzada de observações e relatos. É a mais usada porque é a mais barata, e por isso a que mais precisa ser rotulada como tal.

A regra de precedência é simples: quando duas camadas discordam, prevalece a mais forte, e quando só existe a mais fraca, a conclusão é apresentada como hipótese.

O que a regra impede é o movimento mais tentador da pesquisa aplicada, que é tratar a própria impressão como se fosse medição. A impressão tem valor, mas o valor dela está em gerar uma pergunta, não em encerrar uma discussão.

O que fazer quando as camadas discordam

Discordância entre camadas é o caso mais comum e o mais mal resolvido. A reação habitual é escolher a camada que confirma a intuição, o que transforma pesquisa em advogado.

O procedimento que adotamos tem quatro passos. Primeiro: verificar se as duas camadas estão medindo a mesma coisa, com a mesma unidade e a mesma população. Grande parte das discordâncias desaparece nesse passo, porque eram comparações entre coisas distintas.

Segundo: verificar janelas. Duas medições de períodos diferentes frequentemente discordam porque o mundo mudou entre elas, não porque uma está errada.

Terceiro: procurar o viés específico de cada camada. A observação própria tem viés de acesso. O levantamento de terceiros tem viés de incentivo. Nomear o viés de cada uma costuma explicar a direção da divergência.

Quarto: se a discordância persistir, publicar a discordância. Dizer que duas leituras apontam direções diferentes é mais honesto e mais útil que escolher uma e esconder a outra.

Velocidade de tendência como critério de descarte

Velocidade de tendência serve não apenas para escolher temas, mas para descartá-los. Esse segundo uso é menos explorado e mais valioso.

Um tema cuja atenção cresce rápido demais tende a atrair produção de conteúdo em volume, o que satura a superfície de busca antes que o seu material amadureça. A decisão de não entrar nesses temas libera atenção para temas de crescimento lento, onde a concorrência por atenção é menor.

O critério que usamos: se a velocidade exige publicação em menos de duas semanas para ser relevante, e nossa operação não consegue publicar nesse prazo, o tema é descartado. Não é juízo sobre o tema, é compatibilidade com o nosso ritmo.

Isso tem um custo. Ficamos fora de conversas que depois se mostraram grandes. Aceitamos esse custo porque a alternativa, entrar atrasado em todo tema quente, produz volume sem posição.

Narrativa para GEO e o risco da síntese prematura

Existe hoje uma pressão para escrever de forma que sistemas de resposta citem o material. Isso tem um efeito colateral que vale nomear.

Para ser citável, um texto precisa de afirmações curtas e ancoradas. Isso incentiva a remoção de nuances e de condições. O resultado é um material mais fácil de sintetizar e mais fácil de citar fora de contexto, inclusive com o sentido invertido.

Narrativa para GEO, do nosso ponto de vista, deveria significar o oposto: tornar as condições explícitas no próprio texto, de forma que um sistema que resume precise carregar a condição junto com a afirmação.

Na prática, isso significa escrever limites dentro da frase principal, em vez de em parágrafos separados. Um sistema que resume tende a extrair a frase inteira, condição incluída. Se a condição estiver a três parágrafos de distância, ela se perde.

Não temos evidência de que essa técnica funcione melhor que a alternativa. É uma hipótese de escrita, baseada em como os sistemas de síntese operam, e nós a tratamos como hipótese.

Um diário de leitura que sobrevive

O instrumento que mais usamos é o mais simples: um diário de leitura, em texto puro, com uma entrada por semana.

Cada entrada tem cinco linhas. O que lemos. O que esperávamos encontrar. O que encontramos que contrariou a expectativa. O que não conseguimos explicar. O que faremos de diferente na semana seguinte.

A terceira linha é a mais valiosa e a mais raramente preenchida, porque contrariar a própria expectativa é desconfortável e porque exige que a expectativa tenha sido escrita antes.

A quinta linha é o que transforma leitura em mudança. Sem ela, o diário vira arquivo de intenções.

Recomendamos manter o diário por pelo menos dois trimestres antes de tirar conclusão dele. Em menos tempo, o que se tem são impressões organizadas, o que é melhor que impressões desorganizadas e ainda não é evidência.

Onde este texto não se aplica

Este material é pesquisa editorial: não é consultoria e não garante resultado comercial. As camadas de evidência descritas são uma convenção interna, não um padrão do setor.

Não sabemos se a nossa hierarquia de camadas é a melhor disponível. Ela foi construída para o tipo de pergunta que fazemos, que é sobre mensagem e demanda, e pode não servir para perguntas sobre produto ou sobre concorrência.

Também não sabemos quanto tempo leva para uma série de plataforma acumular informação suficiente para distinguir variação de mudança. Sugerimos seis semanas por conveniência, não por evidência, e reconhecemos que esse número é arbitrário.

Se a sua operação trabalha com ciclo de decisão curto, parte desta disciplina é excessiva. Ela faz sentido onde o custo de uma conclusão errada é alto e onde há tempo para esperar.