Diagnostique pontos cegos de visibilidade nos modelos de IA

Uma marca pode ser recomendada por um motor de IA e estar ausente noutro perante a mesma pergunta. Uma percentagem por fornecedor não explica porquê. Este fluxo de trabalho liga a diferença às respostas e citações subjacentes e identifica a medida sustentada pelas evidências.

O problema GEO que resolve

Muitas vezes encomenda-se conteúdo para o motor com pior desempenho antes de verificar se ambos foram medidos da mesma maneira. Um fornecedor monitorizado com menos prompts parece mais fraco por razões alheias à visibilidade. Além disso, o nome de um fornecedor abrange uma família inteira de modelos: uma lacuna aparentemente comum ao motor pode estar concentrada num único modelo.

Uma resposta concluída que não menciona a marca é uma ausência observada, não prova de que o motor a ignora. Uma célula null indica que faltam evidências. Juntar as duas situações cria uma classificação artificial.

As etapas do fluxo de trabalho

1. Estabeleça os valores de referência por fornecedor. list_brands determina a brandId exata. get_provider_breakdown devolve o volume de respostas, as menções e a taxa de visibilidade de até dez fornecedores, para um período relativo ou personalizado, com filtros opcionais de tema, etiqueta e etapa do funil. Zero respostas num fornecedor constitui uma lacuna de cobertura, não um resultado de visibilidade.

2. Compare os denominadores antes de analisar os prompts. get_brand_performance recebe um fornecedor e um período explícito e devolve os numeradores e denominadores de scoreDetails, além de promptsCount e responsesTotal. A sua mentionRate e a visibilityRate da distribuição por fornecedor usam conjuntos de respostas diferentes como denominador. Depois, get_matrix à escala dos prompts fornece uma linha por prompt e uma célula por fornecedor, até 50 linhas.

3. Reconstitua as evidências das respostas. get_prompt_answers lista cada resposta com modelId, data e indicador de menção. get_answer_details abre o texto, os concorrentes e as fontes. Só emparelhe respostas com datas comparáveis.

4. Separe factos de hipóteses. Uma linha por explicação: facto com os nomes dos campos devolvidos, hipótese, evidências a favor e contra, grau de confiança e um novo teste capaz de a refutar.

O que uma execução realmente devolve

Uma grelha real de temas com cinco fornecedores: em «llm performance analytics», um motor obteve 16 pontos e o 6.º lugar entre 19, enquanto dois outros devolveram 0 para o mesmo tema no mesmo período. Em «ai brand monitoring», o mesmo motor obteve 13 e outro 0, com a marca respetivamente em 43.º lugar entre 89 e em 70.º entre 91.

É este o aspeto de um ponto cego e a razão por que um único número de visibilidade o esconde: o mesmo conteúdo, as mesmas perguntas e a mesma semana, mas um motor inclui a marca e dois nunca a incluem. A posição importa mais do que a pontuação. O 6.º lugar entre 19 face ao 70.º entre 91 não é uma simples lacuna de conteúdo; são dois contextos concorrenciais diferentes, que exigem medidas distintas.

Como aproveitar os resultados

Uma linha com uma célula null de qualquer lado indica uma falha de medição, não um diagnóstico. Vai para a lista de problemas de qualidade dos dados, seja qual for a sua dimensão.

Os restantes casos dividem-se por categoria, com medidas próprias. A cobertura pertence à monitorização: observar o fornecedor mais fraco com o mesmo conjunto de prompts. A combinação de modelos exige repetir a análise por ID de modelo, pois um plano para a família inteira é inadequado quando só um modelo apresenta o ponto cego. As evidências de citação identificam os domínios que o motor mais fraco citou em vez da sua marca: a tarefa é estar presente nesses domínios. Um problema concorrencial significa que um rival ocupa as primeiras posições e pede uma comparação com ele. Na adequação do prompt, os motores interpretam a pergunta de modo diferente; o alvo passa a ser o tema subjacente.

Siga esta ordem, começando pela cobertura: corrigir uma medição pode fechar uma lacuna sem custos de conteúdo. A variação temporal e um mecanismo por esclarecer recebem apenas uma data para nova medição. Entre dois candidatos da mesma categoria, escolha o prompt com mais respostas comparáveis de ambos os lados.

O prompt completo

Quero perceber por que razão a minha marca aparece em alguns fornecedores de IA e está ausente noutros, e saber que medida as evidências sustentam. Identifica as minhas marcas com list_brands, pergunta qual usar se houver várias e reutiliza depois essa brandId. Usa os últimos 28 dias em todas as chamadas agregadas.

1. Chama get_provider_breakdown e devolve todas as linhas de fornecedores com totalAnswers e visibilityRate, assinalando volumes desiguais. Se só houver um fornecedor, para e comunica uma lacuna de monitorização.
2. Chama get_brand_performance para os fornecedores comparáveis mais forte e mais fraco, comparando os denominadores e o método de cálculo em scoreDetails. Nunca trates scores.mentionRate como equivalente a visibilityRate.
3. Chama get_matrix com granularity "prompts" e limit 50. Mantém o id de cada linha e os campos provider, score e topCompetitor de cada célula. Se não houver linhas, percorre get_prompts por páginas e escolhe o grupo manualmente.
4. Divide as linhas em candidatos verificados (mesmo prompt, células não null de ambos os lados) e problemas de qualidade dos dados (células null, fornecedor ausente, pouca sobreposição de datas). Se todas as linhas tiverem problemas de qualidade, entrega essa lista e para.
5. Escolhe até cinco prompts verificados, chama get_prompt_answers para cada um e mantém provider, modelId, createdAt e brandMentioned. Um prompt sem respostas de um lado é, por si só, uma lacuna de cobertura: regista-a e não emparelhes o prompt. Emparelha apenas datas comparáveis.
6. Para cada par, chama get_answer_details nas duas respostas. Mantém a resposta, os concorrentes com posição e as fontes citadas. Uma resposta sem fontes só constitui evidência sobre essa resposta.
7. Cria um registo: facto com os nomes dos campos devolvidos, hipótese, evidências a favor e contra, grau de confiança e um novo teste que a possa refutar. Classifica cada explicação como cobertura, combinação de modelos, adequação do prompt, concorrência ou evidências de citação, variação temporal ou mecanismo por esclarecer.
8. Atribui a cada hipótese sustentada a medida da sua categoria: cobertura para a minha configuração de monitorização, combinação de modelos para uma nova análise por modelId, evidências de citação para os domínios que o motor mais fraco citou em vez da minha marca, concorrência para uma comparação com esse rival, adequação do prompt para o tema subjacente. A variação temporal e um mecanismo por esclarecer recebem apenas uma data para nova medição. Mantém esta ordem e desempata pelo maior número de respostas comparáveis. Se nenhuma hipótese for sustentada, entrega a lista de problemas de qualidade dos dados.
9. Termina com uma ficha para novo teste que fixe os IDs dos prompts, os modelIds e os IDs e datas das respostas iniciais. Pergunta depois que fornecedores os meus compradores utilizam: um ponto cego num motor que o meu mercado ignora merece uma nota, não um projeto.