Por que a IA cita um trecho e não a sua página inteira

Leia esta frase sozinha, como se ela tivesse chegado até você sem nada em volta:

“Ela oferece isso desde 2014.”

Quem é ela? O que é isso?

Dois parágrafos acima estava claríssimo, porque o nome da empresa abria a seção. No pedaço recortado, a frase perdeu o dono. Ela virou um trecho órfão, e trecho órfão não serve para apoiar resposta sobre ninguém, porque não existe ninguém dentro dele.

Chamar isso de erro de português seria injusto com quem escreveu. O texto foi feito para quem lê a parede inteira, de cima para baixo. O problema é que ninguém mais lê assim, e a máquina nunca leu.

A unidade que compete não é a página

Existe uma patente concedida do Google chamada “Context scoring adjustments for answer passages”, número US 9.959.315 B1. Prioridade e depósito em 31 de janeiro de 2014, concessão em 1º de maio de 2018.

Ela descreve um sistema que recebe a pergunta, identifica passagens candidatas dentro dos documentos, determina a hierarquia de títulos de cada documento, monta o caminho de títulos que está acima de cada passagem, calcula uma pontuação de contexto a partir desse caminho e usa essa pontuação para ajustar qual passagem será escolhida.

Os componentes que ela lista no ajuste são estes: a profundidade do título dentro da hierarquia, a similaridade entre o texto da pergunta e o texto do título, a razão de cobertura da passagem, e traços textuais distintivos, como uma pergunta imediatamente antes do trecho ou o trecho aparecer em formato de lista.

Nenhum desses componentes é sobre a página inteira. Todos são sobre o pedaço e sobre a vizinhança imediata dele.

Duas coisas que essa patente não faz, e eu prefiro dizer antes de você perguntar. Ela não publica o peso de nenhum componente, e este texto não vai inventar peso. E patente concedida mostra para onde a engenharia apontou e quanto ela investiu naquela direção, não é fotografia de um sistema rodando hoje.

Sobre investimento, aliás, tem um dado de cartório. Existe uma continuação concedida da mesma família, a US 11.409.748 B1, com prioridade herdada de 2014 e concessão em 9 de agosto de 2022. Da prioridade até a concessão da continuação vão oito anos e seis meses. Alguém sustentou aquela direção esse tempo todo, e ninguém desistiu no meio.

O dia em que o Google disse isso em voz alta

Em 15 de outubro de 2020, no evento Search On, Prabhakar Raghavan publicou no blog oficial: “By understanding passages in addition to the relevancy of the overall page, we can find that needle-in-a-haystack information you’re looking for.”

O mesmo anúncio declarou que a tecnologia melhoraria “7 percent of search queries across all languages” conforme o lançamento global.

Esse número tem dono, tem data e tem escopo. Não é peso de fator e não é retrato de hoje. É uma estimativa de 2020 sobre um rollout. Ninguém, em lugar nenhum, pode escrever que passagens são 7% do algoritmo.

O que interessa é a convergência: um documento de engenharia depositado em 2014 e um anúncio público em 2020, de tipos completamente diferentes, apontando para a mesma coisa. A unidade que compete é o trecho.

Uma palavra trocada que muda o modelo mental inteiro

O recurso foi apresentado primeiro como passage indexing, indexação de passagens. Pouco tempo depois a própria empresa trocou o nome do próprio lançamento para passage ranking.

O motivo declarado da troca: a descrição original não era exata. O sistema não guarda passagens soltas num índice de passagens. Ele ranqueia passagens de páginas que já estão indexadas. O recurso entrou no ar em 10 de fevereiro de 2021, primeiro para buscas em inglês nos Estados Unidos, menos de quatro meses depois do anúncio.

Uma palavra trocada, e a palavra troca o modelo mental inteiro.

Quem entendeu “indexação” concluiu que o trecho vive sozinho e que a página deixou de importar. Essa conclusão produziu uma decisão cara: fatiar o site em dezenas de páginas curtas, uma por pergunta. Muita gente fez isso e ficou com um site esfarelado, cheio de páginas magras que não sustentam nada.

Quem entende “ranqueamento” entende a coisa certa: a passagem compete de dentro de um documento, que precisou ser rastreado, renderizado, indexado e recuperado como candidato antes de qualquer coisa.

O endereço do seu trecho é o caminho de títulos

O texto da patente dá nome ao caminho de títulos acima de uma passagem, e chama de “a path in the heading hierarchy from the root heading to the respective heading”. Um caminho na hierarquia de títulos, do título raiz até o título correspondente. Isso se chama heading vector, e quem escreveu esse nome foi quem depositou o documento.

O detalhe que faz diferença no trabalho de quem escreve: esse caminho carrega o texto de cada nível. As palavras que você escreveu em cada letreiro entram na conta.

O exemplo mais limpo disso é uma clínica de fisioterapia com um parágrafo excelente sobre tempo de recuperação de ligamento cruzado. O mesmo parágrafo, palavra por palavra, em dois endereços diferentes.

Endereço um: fisioterapia esportiva > lesão no joelho > quanto tempo dura a recuperação.

Endereço dois: fisioterapia esportiva > novidades > dúvidas frequentes.

O mesmo texto, no mesmo site, com o mesmo valor para quem lê. Só que no segundo ninguém sabe dizer o que aquela sala responde antes de entrar nela.

E tem o caso do escritório de contabilidade, que é ainda mais desconfortável. Sumário antigo: abertura de empresa, sobre nós, nossos diferenciais, dúvidas frequentes, fale conosco. Sumário novo: abertura de empresa, quanto custa abrir uma empresa, quanto tempo demora a abertura, qual regime tributário escolher no começo, que documentos o contador vai pedir.

A primeira lista conta a história do escritório. A segunda conta a história do cliente, e conta sozinha, sem uma linha de texto embaixo. As quatro respostas já existiam na versão de cima, todas elas, escondidas dentro de “dúvidas frequentes”. Ninguém escreveu uma palavra nova nesse exemplo. O trabalho inteiro foi de letreiro.

Uma página de e-commerce sobre colchão para dor nas costas costuma ter quatro respostas dentro: qual densidade escolher pelo peso da pessoa, molas ensacadas ou espuma, quanto tempo um colchão dura antes de perder o suporte, e se colchão mais firme melhora ou piora a dor. Sem endereço, tudo isso vira um bloco só chamado “informações sobre colchões”, e a página entra na conversa uma vez, mal explicada. Com endereço em cada uma, ela entra quatro vezes.

Do outro lado, a IA não lê o seu site

Isso soa estranho na primeira leitura, e é literal. Um sistema de IA não lê o seu site. Ele recebe pedaços de conteúdo já fatiado, escolhidos por um sistema de recuperação, e escreve a resposta a partir daquilo, e só daquilo.

O paradigma tem paper fundador revisado por pares, de Patrick Lewis e colegas, publicado no NeurIPS em 2020. O conteúdo é cortado em pedaços de algumas centenas de tokens, guardados pedaço por pedaço, e o modelo recebe apenas os selecionados. Cada um desses pedaços tem nome no vocabulário de quem constrói esses sistemas: chunk.

A tentação aqui é dizer que chunk e passagem são a mesma coisa. Eu não vou dizer. A patente de 2014 não menciona modelo de linguagem, não menciona embedding e não menciona chunk. Chame os dois de primos e você acerta. Chame de gêmeos e você inventa.

O que dá para afirmar é o que os dois desenhos têm em comum, e é o suficiente: doze anos separam a primeira data de hoje, e a unidade continua sendo o pedaço.

As cinco exigências de um trecho que sobrevive

Um trecho que aguenta ser arrancado da sua página, colado numa resposta de máquina, e ainda assim dizer de quem está falando e quem mediu aquilo, tem nome: conteúdo citável. A unidade dele é a passagem, do tamanho que ela couber.

São cinco exigências, e elas cabem em cinco palavras: endereço, autonomia, lastro, dono, desfecho.

Endereço. Um título que declara a pergunta. “Nossos diferenciais” e “nossos serviços” não perguntam nada, então não respondem nada. “Quanto tempo leva a instalação em um prédio ocupado?” já declara a dúvida antes da primeira linha do texto. O segundo formato parece menos elegante na tela, e é o único que dá endereço ao que vem embaixo. Se tiver que escolher entre um título bonito e um título que faz a pergunta, escolha o que faz a pergunta.

Autonomia. O trecho responde inteiro sem depender do parágrafo de cima nem do de baixo.

Lastro. O dado nomeado, com fonte e data na mesma frase.

Dono. A entidade nomeada dentro do trecho. Sem pronome órfão, sem “aqui” que dependia da cidade escrita duas seções acima, sem “nosso método” que só existe depois do parágrafo que apresentou o método.

Desfecho. A conclusão dentro do trecho, e não depois dele.

Veja as duas versões do mesmo bloco, arrancadas da página, sem nada em volta:

Nossos diferenciais Somos referência no setor e trabalhamos com o que há de melhor no mercado. Ela oferece isso desde 2014, com equipe própria e atendimento personalizado.

Desde quando a Clínica Sorriso faz cirurgia guiada por computador? A Clínica Sorriso faz cirurgia guiada por computador desde 2014, em Fortaleza. A responsável técnica pelo procedimento é a mesma cirurgiã que abriu o serviço, com registro ativo no conselho regional da categoria.

A primeira não diz de quem está falando, não diz o que a empresa faz e não diz onde. O único fato conferível dela é um ano solto sem sujeito. A segunda diz o nome, o serviço, a data, a cidade e quem responde. Alguém que só leu aquelas duas linhas consegue repetir a informação e dizer de onde ela veio.

A diferença entre as duas não é capricho de redação.

Uma nota necessária: a Clínica Sorriso é fictícia, e serve para demonstrar forma de escrita. Nenhuma afirmação daquele bloco descreve empresa existente.

O teste do recorte, em dez minutos

Nada de reescrever hoje. O produto deste exercício é uma reprovação, e ela vale mais do que um texto novo feito com pressa.

Escolha a página que traz cliente, não a que tem mais visita. Encontre o trecho, um parágrafo ou dois, que carrega a resposta principal. Copie só ele para um documento em branco e apague todo o resto, inclusive o título, inclusive o nome do site no topo.

Leia o que sobrou e responda três perguntas.

Ele responde à pergunta sozinho, sem o parágrafo de cima? Dá para saber quem está afirmando aquilo, lendo só o que sobrou? Tem ano ou data dentro do trecho?

Anote sim ou não em cada uma, no próprio documento, embaixo do trecho, e guarde com a data no nome do arquivo.

Se as três forem sim, você tem um trecho que sobrevive ao recorte, e eu ficaria genuinamente surpreso na primeira tentativa. Se qualquer uma for não, você acabou de descobrir por que aquela página é lida e nunca creditada.

Existe um exercício irmão, e ele é do endereço em vez do texto. Copie para um documento em branco apenas os títulos da sua página mais importante, do H1 até os H3, na ordem exata, sem uma linha do texto. Leia a lista em voz alta como se fosse a única coisa que existe daquela página. Se você marcou “sobre nós”, “nossos diferenciais” e “dúvidas frequentes”, acabou de marcar três letreiros com o nome do prédio escrito em todos. E é quase sempre dentro de “dúvidas frequentes” que moram as suas melhores respostas, todas empilhadas no mesmo endereço genérico.

O hábito que fica

Depois disso, escrever muda de gesto. Você vai recortar um pedaço do meio e ler ele sozinho. Se aquele pedaço não disser de quem está falando, o texto ainda não está pronto.

A pergunta que fica na cabeça é uma só: qual pedaço da minha página aguenta viajar sozinho?

Porque é o pedaço que viaja. A página fica.