Så mäter du om en AI-sökning faktiskt blev bättre

Hur bygger du utvärderingslistan?

Ta de hundra vanligaste sökningarna från de senaste tre månaderna. Lägg till de tjugo vanligaste sökningarna som gav noll träffar, för det är där det gör mest ont. För varje fråga: vilken sida borde ligga överst? Det tar en eftermiddag och är den enda investeringen som gör resten mätbar.

Vilka mått räcker att börja med?

Man kan mäta sökkvalitet på ett dussin sätt. Två av dem bär större delen av värdet:

• Andel frågor där rätt sida ligger på plats ett. Det blunta måttet, och det som märks för användaren.
• Andel frågor där rätt sida finns bland de fem första. Fångar förbättringar som ännu inte nått hela vägen upp.

Vilken sökmetod passar vilken fråga?

De tre metoderna är inte konkurrenter utan lager. Hybrid vinner nästan alltid i mätningen eftersom den täcker båda ytterligheterna.

Varför räcker inte ren vektorsökning?

Vektorsökning matchar innebörd och är därför bra på frågor formulerade med andra ord än era. Men den är svag på exakta strängar: artikelnummer, modellbeteckningar, personnamn. En kund som klistrar in ett artikelnummer vill ha exakt den produkten, inte något som betyder ungefär det. Det är därför hybridsökning nästan alltid vinner i mätningen: klassisk nyckelordssökning och vektorsökning körs parallellt och resultaten vägs samman.

Varför ska du ändra en sak i taget?

Uppdelningen av innehållet, viktningen mellan nyckelord och vektorer, hur många träffar som skickas vidare, vilken inbäddningsmodell som används. Alla påverkar resultatet. Ändrar du två samtidigt vet du inte vilken som hjälpte, och du kommer att behålla båda.

Vad fångar listan inte?

Två saker från produktionen som utvärderingslistan inte fångar: andel sökningar som ger noll träffar, och andel sökningar där användaren klickade på någonting alls. Nollträffar pekar ut innehåll som saknas snarare än sökning som är trasig. Sökningar utan klick betyder att träffarna såg fel ut, vilket ofta är ett problem med hur resultaten presenteras och inte med rangordningen.

Hur rullar du tillbaka om det blev sämre?

Lägg den nya sökningen bredvid den befintliga i stället för att ersätta den direkt. Då kan ni jämföra på riktig trafik och stänga av utan dramatik om mätningen inte visar en förbättring. Sökprojekt som inte går att rulla tillbaka blir sällan utvärderade objektivt.