Innan ni bygger en AI-assistent: sju frågor att svara på
De flesta AI-assistenter som byggs blir aldrig använda, och det beror sällan på tekniken. Det beror på att ingen bestämde vem den är till för, vad den får säga, och hur man ser om den fungerar. Sju frågor att svara på innan någon skriver kod, i den här ordningen.
1. Vem ska använda den, konkret?
Inte "våra kunder" eller "medarbetarna". Vilken roll, i vilken situation, i stället för att göra vad? En assistent för kundtjänsthandläggare som annars söker i tre system är ett skarpt problem. En assistent "för alla" är ingen.
2. Vad ska den svara utifrån?
Peka ut dokumenten. Om svaret är "allt vi har" är projektet inte redo. Börja med den avgränsade mängd som täcker de vanligaste frågorna, ofta hundra sidor snarare än tiotusen. Utvidgning är lätt senare; att städa i ett index byggt på allt är det inte.
3. Är underlaget faktiskt korrekt?
Den obekväma frågan. En assistent som svarar troget utifrån föråldrade dokument sprider fel snabbare än en människa skulle gjort. Om era riktlinjer senast uppdaterades 2019 är det där projektet börjar, inte i modellvalet.
4. Vad får den inte göra?
Skriv en uttrycklig lista. Inte prisuppgifter, inte juridiska besked, inte utfästelser om leveranstid. Listan är en del av kravbilden och ska finnas innan bygget, eftersom det är den som avgör hur flödet konstrueras.
5. Vad händer när den inte vet?
Det här steget hoppas nästan alltid över och det är det som avgör förtroendet. Vart går användaren vidare? Loggas frågan så att någon kan lägga till svaret? En assistent som avstår och hänvisar rätt är bättre än en som gissar.
6. Hur mäter ni att den fungerar?
Bestäm måtten före lanseringen. Andel frågor som besvarades utan att gå vidare till en människa, andel svar som användaren markerade som fel, antal frågor utan träff. Utan mätning blir utvärderingen "den känns ganska bra", och det håller inte i ett halvår.
7. Vem äger den om ett år?
Innehåll ändras, frågor ändras, modeller byts ut. Om ingen har ansvar för att lägga till nya dokument och titta på loggen kommer assistenten att bli sämre med tiden utan att någon märker det förrän den är obrukbar.
Vanliga frågor
Hur lång tid tar det att bygga en AI-assistent?
En prototyp på riktig data brukar ta några veckor. Det som tar tid är sällan bygget utan svaren på frågorna ovan: att peka ut vilka dokument som gäller, att konstatera att hälften är föråldrade, och att komma överens om vad assistenten inte får säga. Projekt som hoppar över det steget blir snabbt klara och sedan aldrig använda.
Vad kostar en AI-assistent att driva?
Två poster: modellanrop per fråga och indexering av innehållet. Anropen dominerar och styrs av hur mycket text som skickas med, inte av antalet användare. Ett flöde som skickar fem hämtade stycken kostar en bråkdel av ett som skickar hela dokument. Sätt ett tak per användare och dag från start.
Vad gör vi om underlaget är föråldrat?
Då börjar projektet där. En assistent som svarar troget utifrån föråldrade dokument sprider fel snabbare än en människa skulle gjort, eftersom den svarar likadant varje gång och låter säker. Städa den avgränsade mängd som täcker de vanligaste frågorna först, ofta hundra sidor snarare än tiotusen, och utvidga sedan.
Mer inom samma område
RAG förklarat: så får du AI att svara på era egna dokument
Hur retrieval augmented generation fungerar i praktiken, och varför hämtningen avgör kvaliteten snarare än modellen.
Så mäter du om en AI-sökning faktiskt blev bättre
En metod för att utvärdera sökkvalitet med siffror i stället för tyckande, och varför hybridsökning nästan alltid vinner.
