Dit zijn de belangrijkste metrics voor chatbots en voicebots

juli 23, 2020



De interne strijd is gestreden; je gaat een Digitale assistent is de verzamelnaam die wordt gebruikt om chatbots, voicebots en smart IVR aan te duiden. Dit zijn robots die voornamelijk gebruikt worden in klantenservice om simpele en repeterende taken van klantenservice medewerkers over te nemen. ontwikkelen. Misschien zijn jullie zelfs al begonnen met de Alpha tests. Iets dat we vaak tegenkomen bij klanten in deze fase is dat ze worstelen met het bepalen van succes van de digitale assistent. Daarom lees je in deze blog wat de belangrijkste metrics zijn.

Gescripte bot of AI assistent? 

De eerste belangrijke vraag die beantwoord moet worden; Maken we een eenvoudige gescripte digitale assistent of een meer complexe AI assistent? Een gescripte bot kan uitgetekend worden in een beslisboom en heeft minder verschillende functies. Succes bepalen in deze bot is relatief eenvoudig; Er is een beperkt aantal doelen dat de bot heeft, het percentage van de gebruikers dat succesvol naar dit doel geleid wordt is dan een belangrijke metric. Dit is eigenlijk niets anders dan een (good old) conversieratio. Vergelijk dit met het conversieratio van de tool die je hier eerst voor gebruikte en je hebt een conclusie. 

Bij een AI assistent is dit een stuk ingewikkelder. Er is niet 1 duidelijk doel. Deze digitale assistenten zijn vaak als eerste aanspreekpunt ontwikkeld. Er is geen echt einde bij deze interacties. Aan de telefoon bij support wordt na het oplossen van een probleem gevraagd of de klant zo geholpen is met alles. De klant stelt een andere vraag, of zegt nee en beëindigt het gesprek. Hier zit voor een digitale assistent een probleem; Wie zegt er in hemelsnaam doei tegen een stuk software zonder bewustzijn? Misschien gaat de gebruiker weg omdat hij heeft wat hij zocht, misschien heeft hij juist gefrustreerd weg geklikt. Om dit te achterhalen kunnen wel andere technieken ingezet worden. 

Feedback

We kennen cases waarin het team aan het einde van het gesprek om feedback vraagt. Dit is waarschijnlijk geen goede methode omdat wat je aanmerkt als einde van het gesprek dat lang niet altijd is. Vraag je om feedback zodra een vraag beantwoord is? Stel je voor; een klantenservice medewerker die na ieder antwoord vraagt wat je van het antwoord vond. 

Zodra iemand het gesprek afsluit dan? Zodra de widget/pagina wordt afgesloten een pop-up laten zien zorg niet voor een goede customer experience. Was customer experience niet de reden dat je hieraan begon? Als iemand zegt dat ‘ie feedback wil geven dan? Er zijn heel misschien wel een paar mensen op de wereld die dit zouden doen, maar om hier het project van af te laten hangen gaat erg ver.

The usual suspects

Oké, vragen om feedback lijkt geen optie. Welke cijfers kunnen me dan wél iets vertellen? Het aantal keren dat de assistent in actie moest komen is een goed begin. Dit vertelt niet zo veel over de performance van de bot maar wel over de ‘need’ vanuit de klant. Hierbij kun je ook nog kijken naar het aantal unieke gebruikers die de bot gebruikten. 

Sentiment analyse

Door Sentimentanalyse is het gebruik van text analyse technieken om uit een zin of tekst op te maken of de persoon positief of negatief gestemd was. Het is een score tussen -1 en 1. Hierbij staat -1 voor heel negatief en 1 voor heel positief. weet een chatbot of de gebruiker in een positieve, negatieve of neutrale stemming was toen die het bericht stuurde. Dit wordt gebruikt om meer context aan berichten te geven. In de analytics zie je dat de gebruiker het gesprek afsluit, je weet niet of degene zijn doel bereikt heeft of juist gefrustreerd was. Door sentiment analyse krijg je hier wel een idee van. Het is een score tussen -1 en 1 (negatief - positief) en is dus erg makkelijk te interpreteren. Was de gebruiker negatief voordat hij of zij wegging? Dan heeft de assistent waarschijnlijk niet geholpen. Was de gebruiker juist heel positief gestemd? Dan heeft de assistent waarschijnlijk geholpen. Emotieherkenning is sentiment analyse 2.0. Hier wordt niet een score van -1 tot 1 gegeven maar wordt iemand’s bericht beoordeeld aan de hand van de acht basisemoties. In de ideale situatie is het niet sentiment analyse óf emotieherkenning, je doet het allebei. 

Fallback

Een fallback intent klinkt exotisch, toch hebben de meesten hier al eens mee te maken gehad. De standaard response in deze intent in de Google Assistant is: “Ik begrijp het niet, ik ben nog aan het leren.”. Dit is wat de bot zegt als er geen intent herkend wordt. Bij een gescripte assistent komt een fallback niet voor, je hebt de keuzes afgebakend. Bij een AI bot zijn er twee mogelijke fallbacks:

  1. De digitale assistent begrijpt de input niet;

“Ik wil raag een paaoofa aanrage.”

Hier is zal de gebruiker gevraagd moeten worden om duidelijker te spreken of zorgvuldiger te typen. De gebruiker wil iets maar het is niet duidelijk wat precies. 

  1. De assistent snapt niet wat de intentie van de gebruiker is.

“Ik wil graag hebben met openingstijden.”
Hier moet de gebruiker de zin anders formuleren. Andere optie is dat de zin duidelijk is maar de bot nog geen reactie kan geven op deze intentie. Dan moet je als bot team aan de slag.

Dit moet constant aangevuld worden om de assistent beter en beter te maken. Het analyseren van de fallback intents is hiervoor erg belangrijk. De meeste chatbotplatforms hebben dit proces al deels geautomatiseerd.

Andere metrics

De metrics hierboven zijn degene die niet direct in mensen opkomen. Voor de volledigheid een lijst met alle mogelijke metrics die gebruikt worden binnen bot analytics:

  • Vrijwillige gebruikers - Hebben de bot zelf geactiveerd en zijn niet geprompt.
  • Retentie
  • Percentage gesprekken waarbij geen mens nodig was
  • Gemiddelde lengte van de conversatie (tijd en intents)
  • Bounce percentage

Meer lezen

oktober 7, 2020

Wat The Social Dilemma betekent voor voice assistenten

Gebruikers betalen voor gemak met hun privacy. Dit is bij voice assistenten niet anders. Genius Voice doet een oproep aan software ontwikkelaars en gebruikers om te werken aan een toekomst waarin mensen de keuze hebben als het gaat om voice technologie.
Lees meer
september 17, 2020

Een chatbot of voicebot; efficiënte klantenservicemedewerkers

Kom erachter wat een digitale assistent betekent voor de efficiëntie van je klantenservice afdeling.
Lees meer
september 17, 2020

Verhoog klanttevredenheid met een digitale assistent

Kom erachter hoe een digitale assistent de klanttevredenheid verhoogt
Lees meer