Kun halutaan pysyä kärryillä chatbotin toimivuudesta nettisivuilla, huomio kannattaa kiinnittää kolmeen avainlukuun:
• Chatbotin triggeröinnit: Kuinka monta kertaa sivustolle asennettu botti on ”lauennut”. Triggeröinnit voi ajatella vastaavalla tavalla kuin mainoksen näyttökerrat. Jokainen näyttö ei tarkoita, että ihminen olisi todella kiinnittänyt huomiota mainokseen, ja sama pätee botin triggeröinneissä.
• Bottikeskustelut: Kuinka monta keskustelua siivuston kävijät ovat aloittaneet chatbotin kanssa. Toisin kuin triggeröinneissä, keskustelujen määrässä ei ole ”ilmaa” – keskusteluksi lasketaan vasta se, kun käyttäjä todella juttelee botin kanssa.
• Konversiot ja liidit: Kuinka moni sivuston kävijä konvertoitui keskustelusta liidiksi. Toisin sanoen, kuinka moni ihminen lähetti tietonsa botin kautta tai suoritti muun toivotun toiminnan. Konversion ja liidin kriteeri vaihtelee tapauskohtaisesti. Usein liidiksi lasketaan henkilö, joka on jättänyt nimensä, puhelinnumeron ja/tai sähköpostiosoitteen, sekä yrityksen nimen.
Nämä kolme avainlukua kertovat paljon chatbotin tehokkuudesta. Botteja voi ajatella mini-funnelina, jossa triggeröintien on määrä johtaa keskusteluihin ja edelleen konversioihin. Chatbottien arviointi näiden lukujen mukaan tekee tulosten analysoinnista ja pullonkaulojen tunnistamisesta helppoa.
Chatbot saattaa esimerkiksi triggeröityä tuhansia kertoja viikossa, mutta keskusteluja aloitetaan aivan satunnaisesti. Tässä tapauksessa selityksiä ja ratkaisuja on syytä etsiä botin sijainnista sivustolla tai siitä, miten botti kehottaa käyttäjää aloittamaan keskustelun. Tai molemmista.
Toisessa tapauksessa chatbot saattaa kerätä kovallakin tahdilla keskusteluja, mutta ihmiset putoavat pois kesken kaiken eikä konversioita synny. Kun näin käy, ongelma (ja ratkaisu) löytyy aina botin rakenteesta tai keskustelun sisällöstä. Chatbot saattaa kehottaa konversioon liian suoraviivaisesti, keskustelu saattaa olla liian pitkä, tai kysymysten järjestys ja asettelu eivät motivoi käyttäjää käymään keskustelua loppuun saakka.