Testare il chatbot pre-rilascio: metodi e strumenti

"2/3 delle aziende di servizi finanziari nel mondo hanno implementato l'uso dei chatbot per le loro app dall'inizio della pandemia di Covid-19." (Forrester, 2020)

I chatbot stanno cambiato il customer service per come eravamo abituati a conoscerlo. Dal punto di vista delle aziende che lo adottano, i chatbot possono far risparmiare fino all'80% delle domande di routine, aiutando a ridurre i costi di customer service (IBM, 2017). Il mercato dei chatbot, tra l'altro, è in continua espansione, e ci si aspetta che raggiunga i 102.29 miliardi di dollari entro il 2026 (Research and Markets, 2021).

La cosa più importante è che il chatbot raggiunga il cliente finale solo quando è stato testato e allenato. In questo modo non causerà danni alla reputazione dell'azienda e commenti negativi sul servizio, così come non graverà ancora di più sulla mole di lavoro delle risorse in carne e ossa.

Ma come si fa a testare un chatbot? Vediamo le strategie principali e gli strumenti che permettono di fare una buona impressione con i tuoi clienti/ utenti.

Testare il chatbot: cosa tenere a mente prima del rilascio

Iniziamo da alcuni aspetti da tenere in considerazione nel test prima del rilascio del chatbot:

• L'intento dell'utente.
  Come prima cosa è fondamentale saper distinguere tra intent ed entity. L'intent è l'obiettivo dell'utente, quello che ha in mente mentre scrive la sua domanda sul chatbot, quello che intende davvero trovare. L'entity è l'attributo, ovvero come l'utente descrive il suo problema. Sono quindi cosa cerca e come lo cerca. Capire questa differenza permette di poter prevedere correttamente l'allenamento del chatbot. 

• Il flusso di conversazione
  Il chatbot deve essere capace non solo di avere memoria della conversazione e del concatenarsi delle domande ma deve anche essere abbastanza flessibile da poter saltare da una domanda ad un'altra senza alcun nesso.
  In più, è importante che il chatbot sappia concludere una conversazione. Secondo uno studio di Jain, Kumar, et al. (2018), gli utenti si aspettano una interazione simile a quella che si avrebbe con un umano, incluse frase di introduzione e conclusione. I chatbot, però, sembrano essere meno preparati sulla fine di una conversazione. Chaves e Gerosa (2018) sottolineano come il chatbot ha bisogno di sapere quando la conversazione è terminata, ad esempio con affermazioni esplicite da parte dell'utente (grazie, ciao).

• Gestione dell'errore
  È inevitabile: succederà prima o poi che il bot non sappia rispondere. Per questo bisogna prevedere una strategia da mettere in atto nel caso il chatbot non sappia rispondere o non riesca a capire la domanda. 
  
  

Come testare il chatbot prima del rilascio 

Ci sono tre metodi per testare il chatbot prima del rilascio: test generale, specifico del prodotto/ servizio e test dei limiti. L'ideale è completare questi test prima del rilascio perché mostrano lo status dei key points e permettono di capire quali sono i problemi alla base. Questi test non terminano dopo il rilascio: sarà altrettanto fondamentale pianificare test (anche automatizzati) per assicurarsi che le nuove versioni non colpiscano le funzionalità pre-esistenti. 

Test generale 

Fare un test generale permette di capire lo stato di avanzamento e funzionamento del chatbot. Se non risponde correttamente al test generale, è inutile proseguire con ulteriori test prima del fixing.
In questa fase si pongono domande generiche, ad esempio si prova a salutare il bot (quindi non parlaimo neanche di una domanda ma di una fase precedente) e testare se il chatbot dà il benvenuto all'utente. Ricordiamo infatti che il compito di un buon bot non è solo quello di rispondere alle domande ma anche di mantenere un flusso di conversazione piacevole. Se il chatbot fallisce già in questo step, è facile che l'utente smetta subito di provarci (se venisse rilasciato) o, nel caso peggiore, abbandoni direttamente il sito. Se il tuo chatbot è già stato rilasciato senza aver svolto un test generico, prova a controllare le metriche di analisi e controlla che gli utenti non abbandonino già dopo i primi 2 scambi.

Test specifico del prodotto/ servizio

Dopo gli eventuali saluti si entra subito nel vivo della conversazione. Il secondo step va già nello specifico del prodotto/ servizio sul quale risponde il chatbot. Mentre nel test generale si pongono domande generiche o addirittura solo saluti, qui si passa al vocabolario proprio del prodotto/ servizio. Se il tuo è il sito di una banca le domande includeranno sicuramente bonifici, trasferimenti ed estratti conto, ad esempio "dopo quanto arriva un bonifico estero" o "mi serve l'estratto conto". 

Test dei limiti del chatbot

Se i primi due test ti hanno soddisfatto, possiamo dire che il tuo chatbot risponde correttamente alle espressioni più comuni e significative. Adesso bisogna testare cosa succede quando l'utente scrive qualcosa di irrilevante rispetto al prodotto o servizio per vedere se il chatbot riesce a gestire la conversazione o se fallisce. 

Quanto funzionano questi test?

Il tuo team potrebbe andare incontro a due problemi mentre pianifica o effettua questi test. 

1. Il bias di conferma dello sviluppatore, detto anche confirmation bias o pregiudizio di conferma. 
   "È un processo mentale che consiste nel selezionare le informazioni possedute in modo da porre maggiore attenzione, e quindi maggiore credibilità, su quelle che confermano le proprie convinzioni e, viceversa, ignorare o sminuire quelle che le contraddicono", spiega Wikipedia (sul bias cognitivo di conferma, qui applicato nello specifico allo sviluppatore). Ne abbiamo parlato anche qui. 
2. La mancanza di tempo da dedicare a queste attività. Siamo tutti oberati di lavoro, e certamente lo sviluppatore non meno degli altri. L'attività di testing del chatbot è lunga e non c'è sempre il tempo di farla come si deve. Questo però può causare il rilascio di un bot non pronto agli utenti finali.

La soluzione per il test pre-rilascio del chatbot 

Testare il chatbot può richiedere molto, moltissimo tempo se fatto internamente dal team che deve anche svilupparlo e fixarlo. Oltre a questo, proprio il fatto che sia lo sviluppatore a fare anche da tester porta a degli evidenti problemi di bias e di mancato match con l'utente reale (specialmente se l'utente reale vive in un altro stato o appartiene a una generazione completamente diversa).

Uno strumento estremamente utile per superare questi problemi è il crowdtesting. Una volta che il tuo team di marketing ci ha raccontato il target e dato una overview dell'obiettivo del chatbot, sia il tuo team che quello degli sviluppatori si può concentrare su tutt'altro. Saranno i  Customer Success Manager di UNGUESS ad occuparsi di selezionare i tester che corrispondono agli utenti reali e procedere con il testing e il training del chatbot. Nel giro di un paio di giorni avrai un chatbot provato dai tuoi stessi utenti prima che venga rilasciato sul mercato. 

Per saperne di più:

• Come e perché testare un Chatbot con utenti reali

Ti può interessare anche:

• Use case: il training di un Chatbot bancario
• Chatbot: la tua azienda ne ha davvero bisogno?
• Collaudo software: quali sono i limiti di test interni "family & friends"
• I 10 chatbot che stanno rivoluzionando il settore Finance