Auditar os prompts de IA para detetar enviesamentos, redundâncias e lacunas

O relatório de visibilidade em IA só pode descrever os prompts que monitoriza. Um conjunto repetitivo ou que antecipa a sua marca transforma um painel preciso numa amostra distorcida do mercado. Esta auditoria limita-se ao conjunto existente e termina com uma lista de prompts a manter, reformular, combinar, acrescentar ou rever. Procurar novos candidatos nas consultas da Search Console e do Bing é uma tarefa complementar.

O problema GEO que resolve

Os prompts são muitas vezes geridos como palavras-chave: acrescentam-se mais e eliminam-se os de pior desempenho. Mas um conjunto de prompts é um instrumento de medição, não uma fonte de tráfego. Uma visibilidade reduzida assinala frequentemente a lacuna que mais importa resolver, enquanto três reformulações da mesma pergunta atribuem peso excessivo a um tema. A formulação também comporta riscos: «Porque é que o nosso produto é a melhor opção?» mede a concordância com uma premissa, não a descoberta da marca. Os resultados por fornecedor e as pesquisas observadas tornam estas avaliações quantificáveis.

As etapas do fluxo de trabalho

1. Inventariar e contar. get_prompts devolve uma linha por prompt monitorizado, 100 linhas por pedido, pelo que é necessário percorrer as páginas. status indica o estado de processamento; o indicador de monitorização é o interruptor ligado ou desligado. Nenhum campo contém uma persona ou um mercado. Conte o que dispensa interpretação: proporção de prompts com o nome da marca, prompts por tema, prompts sem respostas e prompts ainda não gerados.

2. Agrupar e comparar fornecedores. Agrupar prompts quase duplicados é uma inferência e deve ser identificado como tal. get_matrix, com detalhe por prompt, devolve no máximo 50 linhas e não tem deslocamento, pelo que cobre apenas parte de um conjunto maior. Grupos com resultados semelhantes em todos os fornecedores são candidatos a combinação.

3. Ler corretamente os totais dos quadrantes. get_prompt_signals devolve totais para attack, defend, monitor e ignore, mas listas de prompts apenas para attack e defend. Os prompts ignore também são um resultado: o conjunto não distingue perguntas disputadas das que já estão estabilizadas.

4. Comparar com pesquisas observadas. get_query_fan_out devolve as pesquisas encontradas nas respostas monitorizadas, com os IDs dos prompts de origem e a presença da marca, além de uma prioridade: very-high quando aparecem concorrentes e a sua marca surge em menos de um quinto das respostas a essa pesquisa; depois high, medium e low.

O que uma execução realmente devolve

Um conjunto real de 155 prompts monitorizados distribuídos por 8 temas apresentou uma cobertura entre 0 e 60% por tema, com cinco dos oito temas nos 20% ou abaixo. Os sinais do mesmo conjunto: 153 de 155 em ignore e abertura média de 99,6%.

A coluna da cobertura é o centro da auditoria. Um tema com 0% em cinco fornecedores não representa uma posição fraca; revela um tema que o conjunto praticamente não testa. Três temas desses ao lado de outro com 60% mostram o desequilíbrio que este fluxo de trabalho procura detetar. Uma abertura de 99,6% afasta a explicação cómoda de que os operadores estabelecidos dominam as perguntas. A cobertura limitada deve-se ao conjunto de prompts, não ao mercado.

Como aproveitar os resultados

Três regras definem a ordem, sem margem para apreciação subjetiva. Reformule primeiro todos os prompts cuja redação pressupõe a sua vantagem, porque todos os relatórios futuros herdariam esse enviesamento. Depois, combine os prompts semelhantes, começando pelo maior grupo para libertar mais lugares. Por fim, acrescente prompts pela ordem de prioridade já atribuída por get_query_fan_out: very-high antes de high, antes de medium. Ignore os prompts sem respostas: ainda não há base de comparação.

Limite a revisão: mantenha pelo menos dois terços do conjunto intactos em cada ciclo, caso contrário a tendência comparável perde a sua base. Registe as alterações adiadas com ID do prompt, texto antigo, responsável e data.

Evite interpretar uma mudança após a reformulação como progresso. Alterar o conjunto muda aquilo que é medido; uma subida na semana seguinte à revisão reflete, em geral, a nova amostra. Até existirem respostas comparáveis para os prompts inalterados, analise apenas essa base de referência.

O prompt completo

Quero auditar o meu conjunto de prompts monitorizados para detetar enviesamentos na medição, redundâncias e lacunas. Enumera as marcas que monitorizo e, se houver mais do que uma, pergunta qual devo auditar. Se uma chamada não devolver dados, identifica a verificação que deixou de ser possível e continua.

1. Percorre as páginas de get_prompts até cobrir o total indicado, com uma linha por prompt: ID, texto, status, número de respostas, tema, etiquetas, indicador de monitorização e data da última geração. status é um estado de processamento; o indicador de monitorização liga ou desliga o acompanhamento.
2. Conta sem avaliar: quantos prompts contêm o nome da minha marca e qual a respetiva proporção, quantos existem por tema, quantos não têm respostas e quantos foram gerados pela última vez há mais de 60 dias. Assinala uma concentração da marca superior a metade do conjunto e qualquer tema com mais de um terço. Estes limiares pertencem à auditoria, não são campos da Qwairy.
3. Agrupa os prompts e assinala duplicações literais, mantendo separadas variantes que testam públicos, geografias, restrições ou fases da jornada diferentes; identifica isto como a tua interpretação. Depois, executa get_matrix com detalhe por prompt e limite 50 durante 28 dias. Não tem deslocamento: se a minha carteira for maior, indica-o claramente e identifica os grupos com resultados semelhantes em todos os fornecedores.
4. Executa get_prompt_signals com limite 20 para os mesmos 28 dias e apresenta primeiro os totais de attack, defend, monitor e ignore. Só existem listas de prompts para attack e defend. Se ambos os totais forem zero, indica que nenhum quadrante é acionável e prossegue, sem criar uma lista selecionada a partir de outra etapa.
5. Executa get_query_fan_out durante 28 dias, percorrendo as páginas até ao total. Associa cada pesquisa aos IDs dos prompts de origem. Lista as pesquisas de prioridade very-high e high que nenhum dos meus prompts cobre. Se nada for devolvido, indica que não foram observadas pesquisas derivadas e elimina os candidatos a acrescentar.
6. Produz uma linha por prompt: Manter, Reformular, Candidato a combinação, Candidato a acrescentar ou Revisão humana. Cita os IDs, separa dados de inferências e nunca elimines automaticamente. Ordena primeiro as reformulações, depois as combinações por dimensão do grupo e, por fim, os acréscimos pela prioridade do fan-out. Pára assim que a lista implicaria alterar mais de um terço do conjunto. Pergunta-me então que mercados e tipos de compradores o conjunto tem de cobrir, pois não existe um campo para isso, e enumera as lacunas.