Michal Gawel.
Come funzionano i modelli

Embedding

Rappresentazione vettoriale

Un embedding è un vettore di numeri che rappresenta il significato di un testo: nella GEO è ciò che permette a un motore AI di trovare un passaggio perché è vicino per senso alla domanda, anche quando non ne contiene le parole esatte.

3.072

valori nel vettore predefinito di text-embedding-3-large, 1.536 nel modello small (documentazione OpenAI).

9–19 punti

di accuratezza top-20 guadagnati dal retrieval denso rispetto a BM25 (Karpukhin et al., EMNLP 2020).

+12,0

punti di Recall@5 in media per un retriever non supervisionato che indicizza proposizioni invece di passaggi (Chen et al., EMNLP 2024).

In sintesi

Sei cose da sapere

  • Un embedding traduce un testo — una parola, una frase, un paragrafo — in una lista di numeri. Testi con significato simile finiscono vicini nello spazio vettoriale.
  • La ricerca semantica confronta la distanza tra vettori, non le parole: un passaggio può essere recuperato anche se non contiene i termini esatti della domanda.
  • Nei sistemi di RAG la pagina viene divisa in chunk, ogni chunk riceve il suo embedding e il motore recupera quelli più vicini alla domanda.
  • Un vettore riassume l’intero passaggio. Se un paragrafo mescola tre argomenti, il suo embedding è una media che non rappresenta bene nessuno dei tre.
  • Gli studi sul retrieval mostrano che unità piccole e autonome si recuperano meglio dei passaggi lunghi, a parità di modello.
  • Non esiste un modello di embedding migliore in assoluto: il benchmark MTEB non ha trovato un metodo che domini su tutti i compiti.
Metodo

Come un testo diventa recuperabile

Il percorso è lo stesso nei motori di ricerca AI e nei sistemi aziendali di domanda e risposta. Cambiano i modelli, non la logica.

01

Segmentazione

La pagina viene divisa in passaggi di lunghezza limitata. I confini del passaggio decidono che cosa finisce insieme nello stesso vettore.

02

Codifica

Un modello di embedding trasforma ogni passaggio in un vettore di centinaia o migliaia di valori, conservato in un indice.

03

Confronto

Anche la domanda, o ciascuna delle sottodomande generate dal query fan-out, diventa un vettore e viene confrontata con l’indice: vincono i passaggi più vicini.

04

Generazione

I passaggi recuperati vengono passati all’LLM, che li usa per comporre la risposta e, quando li mostra, li indica come fonti.

I numeri

Che cosa dicono i dati sugli embedding

1,6 mld

di parole bastano per addestrare vettori di qualità in meno di un giorno, secondo il paper che ha introdotto word2vec.

Mikolov et al., 2013

9–19 punti

di accuratezza top-20 in più rispetto a BM25, il classico ranking per parole chiave, su più dataset di domande aperte.

Karpukhin et al., EMNLP 2020

+2,7

punti di Recall@20 in media anche per i retriever supervisionati, quando l’indice passa da passaggi a proposizioni.

Chen et al., EMNLP 2024

58 dataset

in 112 lingue e 33 modelli confrontati: nessun metodo di embedding risulta il migliore su tutti i compiti.

Muennighoff et al., MTEB, 2023

  • I risultati vengono da benchmark di domande e risposte costruiti in gran parte su Wikipedia e in inglese: descrivono il meccanismo, non misurano l’effetto su pagine commerciali in italiano.
  • ChatGPT, Perplexity e Google non dichiarano quali modelli di embedding né quale segmentazione usano. Le regole di scrittura che ne derivano sono ipotesi ragionevoli, non effetti verificati su un motore specifico.
Confronto

Parole chiave ed embedding a confronto

AspettoParole chiave (es. BM25)Embedding (retrieval denso)
Che cosa confrontaPresenza e frequenza dei termini della domandaVicinanza tra il vettore della domanda e quello del passaggio
Sinonimi e parafrasiNon li riconosce se le parole non coincidonoLi avvicina se il significato è simile
Codici e termini rariLi trova con precisioneMeno affidabile: un codice raro pesa poco nel vettore
Unità indicizzataDocumento o passaggioPassaggio, frase o proposizione
Che cosa premia nel testoL’uso della parola cercataParagrafi focalizzati su un solo concetto

Un caso concreto

esempio

Un produttore bresciano di valvole industriali si chiede perché un assistente AI, alla domanda “quale valvola a sfera regge 400 bar con fluidi corrosivi?”, citi un concorrente e non la sua scheda prodotto, che pure contiene quel dato.

La scheda apre con un paragrafo unico che mette insieme storia dell’azienda, certificazioni, mercati serviti e, in coda, pressione massima e materiali. Quel blocco produce un vettore che parla un po’ di tutto: vicino a “azienda storica bresciana”, lontano dalla domanda tecnica.

Il concorrente dedica invece un paragrafo breve a pressioni e compatibilità chimica, con il nome del prodotto scritto per esteso. Il suo passaggio è vicino alla domanda, viene recuperato e da lì nasce la citazione.

La correzione non richiede nuove parole chiave: basta separare le specifiche in un blocco dedicato, nominare il prodotto in modo esplicito e lasciare storia e certificazioni in sezioni proprie. Caso illustrativo, non misurato.

Implicazioni

Che cosa ne ricava chi pubblica

Gli embedding premiano la chiarezza della struttura più della densità di parole chiave.

  • Un paragrafo, un’idea: ogni blocco deve rispondere a una sola domanda e reggersi da solo, senza rimandi come “come detto sopra”.
  • Nominare le cose: ripetere il nome del prodotto, del servizio o dell’entità nel passaggio, invece di affidarsi ai pronomi, aiuta il vettore a portare il riferimento giusto.
  • Terminologia coerente: usare lo stesso termine per lo stesso concetto in tutto il sito e affiancare la sigla alla forma estesa almeno una volta.
  • Dati e specifiche in blocchi propri: numeri, tabelle e condizioni d’uso separati dal testo promozionale sono i passaggi più utili al grounding di una risposta.
Domande
frequenti

Domande frequenti sugli embedding

Che differenza c’è tra embedding e parole chiave?

La ricerca per parole chiave cerca i termini della domanda nel testo, quella per embedding confronta il significato rappresentato come vettore. Su più dataset di domande aperte il retrieval denso ha superato BM25 di 9–19 punti di accuratezza top-20 (Karpukhin et al., 2020).

Quanto è grande un embedding?

Dipende dal modello. Nella documentazione OpenAI, text-embedding-3-small produce vettori di 1.536 valori e text-embedding-3-large di 3.072, con un input massimo di 8.192 token.

I motori AI usano gli embedding per scegliere le fonti?

Gli embedding sono il metodo standard per recuperare passaggi nei sistemi RAG descritti in letteratura. I motori commerciali non pubblicano però i dettagli della loro pipeline, quindi il peso esatto degli embedding nella scelta delle fonti non è verificabile dall’esterno.

Conviene scrivere paragrafi più corti?

Conviene scrivere paragrafi focalizzati, non necessariamente corti. Chen et al. (2024) hanno misurato che indicizzare unità piccole e autonome alza in media di 12 punti il Recall@5 di un retriever non supervisionato rispetto ai passaggi.

Esiste un modello di embedding migliore degli altri?

Non in assoluto. Il benchmark MTEB, con 58 dataset in 112 lingue e 33 modelli confrontati, ha concluso che nessun metodo domina su tutti i compiti.

Gli embedding funzionano anche in italiano?

Sì: i modelli multilingue rappresentano testi in molte lingue e MTEB ne copre 112. La qualità però varia da modello a modello, e gran parte degli studi citati qui è stata condotta in inglese.

Fonti

Riferimenti

01

Mikolov et al. — Efficient Estimation of Word Representations in Vector Space

Gennaio 2013, arXiv; vettori di parole addestrati su un dataset di 1,6 miliardi di parole. arxiv.org

02

Karpukhin et al. — Dense Passage Retrieval for Open-Domain Question Answering

Novembre 2020, EMNLP; confronto con BM25 su più dataset di domande aperte. aclanthology.org

03

Chen et al. — Dense X Retrieval: What Retrieval Granularity Should We Use?

Novembre 2024, EMNLP; indice di circa 257 milioni di proposizioni da Wikipedia, quattro retriever. aclanthology.org

04

Muennighoff et al. — MTEB: Massive Text Embedding Benchmark

Maggio 2023, EACL; 8 compiti, 58 dataset, 112 lingue, 33 modelli. aclanthology.org

05

OpenAI — Vector embeddings

Documentazione API, consultata a ottobre 2026; modelli text-embedding-3-small e text-embedding-3-large. developers.openai.com

Autore
Michal Gawel, consulente GEO
Michal Gawel

Consulente GEO · Kraków / Milano

Aiuta le aziende italiane a farsi menzionare e citare da ChatGPT, Gemini, Perplexity e AI Overviews. Vent’anni tra imprenditoria e consulenza digitale in Italia: ha guidato la strategia SEO di Bakeca.it, co-fondato e diretto Seolab, e dal 2022 è Evangelist in Digital360, prima SEO e oggi GEO. Laurea in Linguistica all’Università di Torino.