Qualche tempo fa abbiamo approfondito come testare il chatbot in pre-rilascio. Ma la fase di test non finisce una volta che il prodotto è davanti agli occhi attenti del pubblico. Per assicurare un corretto e continuo apprendimento del chatbot è fondamentale continuare a testare anche post-rilascio. In questo articolo vedremo quali sono i metodi e gli strumenti per farlo.
Una UX ben strutturata e coinvolgente nei chatbot può aumentare il retention rate fino al 70%.Chatbot Magazine
Ci sono due macro-categorie di test che si svolgono comunemente dopo il rilascio. Parliamo di A/B testing e test della performance (sicurezza e velocità). In più, un test apposito pensato per il tuo bot.
Questo tipo di test nei chatbot serve principalmente a capire quale parte del flusso converte di più utenti rispetto a una variazione. Si tratta di testare sequenze di blocchi, come diversi scenari di onboarding o flussi di acquisto. Facendolo, si migliora la User Experience e di conseguenza si possono abbassare i tassi di abbandono.
Questo test è un modo per sperimentare diverse caratteristiche del chatbot con prove random che permettono di raccogliere dati e scegliere l'alternativa da usare.
L'A/B test può riguardare un aspetto della conversazione o un fattore visuale.
Per quanto riguarda il flusso di conversazione, è importante testare il primo messaggio, il cosiddetto welcome message: sarà un messaggio formale? ci saranno emoji? Il primo contatto determina l'ingaggio dell'utente, ed è quindi strettamente correlato alla conversione. Se l'utente è già entrato in contatto con il chatbot in passato, i dati collezionati sono fondamentali per portare avanti una conversazione impattante, non ripetitiva e soprattutto personalizzata. Il problema si ha invece quando è il primo contatto con l'utente e si dovranno cogliere dai primi messaggi le caratteristiche salienti dell'utente. In base a questo, ad esempio, si può impostare la formalità del linguaggio per aumentare il coinvolgimento.
Siamo istintivamente portati a interagire di più con persone simili a noi, quindi le risposte del bot e il linguaggio utilizzato bot avranno un forte impatto sulla conversione.
La metrica da misurare negli A/B test sarà quindi il ROE (Return On Engagement).
Come il linguaggio, anche il design è importante. Un A/B test può riguardare il colore del frame o del bottone.
Al momento non ci sono studi approfonditi su quale dei due fattori (linguaggio o visuals) abbia un impatto maggiore.
Gli step per un A/B test del chatbot sono quindi:
Creare un A/B Test per il chatbot non è semplice, anzi richiede un grosso effort. In AppQuality abbiamo un approccio integrato, ovvero utilizziamo la Test Automation insieme al Crowdtesting. Unire le due metodologie permette una copertura molto più alta dei test standard. Con il Crowdtesting, poi, vengono selezionati utenti reali del chatbot da testare per analizzare la UX nel contesto reale. Il coinvolgimento degli UX Researcher permette di liberarti del tutto anche della fase di raccolta e analisi dei dati.
Abbiamo raccontato il training di un chatbot in questo articolo: Use case: il training di un Chatbot bancario.
Cosa di intende per velocità nei chatbot? L'immediatezza. E' uno dei principali vantaggi del chatbot, quindi non può non essere in grado di rispondere all'istante. Se la velocità è un requisito fondamentale, lo speed test non può non essere pianificato regolarmente.
Secondo uno studio dell'Università di Oslo, infatti, il 42% dei partecipanti ha affermato che la facilità di utilizzo, velocità e comodità sono le ragioni principali per l'utilizzo del chatbot.
Come ogni tecnologia, un lato negativo è il rischio alla sicurezza che va valutato.
Più un chatbot somiglia ad un umano, più può essere rischioso. L'influenza della personificazione e interattività può portare l'utente ad aprirsi su temi sensibili come agenti di stressanti (Sannon, S., Stoll, B., DiFranzo, D., Jung, M., Bazarova, N.N).
Tra le minacce ci sono attacchi malware e DDoS. Quando un attacco è mirato a un'azienda nello specifico, può chiudere fuori i proprietari e chiedere un riscatto. L'alternativa? Gli hacker possono minacciare di esporre i dati degli utenti raccolti dal chatbot. Altre minacce sono:
Dalle minacce dobbiamo distinguere le vulnerabilità, ovvero quelle falle nel sistema che offrono ai cybercriminali l'accesso al sistema per comprometterne la sicurezza. Questo è causato da:
Ci sono alcuni test di sicurezza che possono essere svolti per migliorare l'integrità del chatbot. Tra questi ci sono:
Penetration testing: è un metodo per testare le vulnerabilità di un sistema o di una tecnologia. E' conosciuto anche come "ethical hacking" e viene svolto manualmente da esperti di cybersicurezza oppure automatizzato.
API security testing: sono disponibili diversi tool per controllare l'integrità delle API. Specialisti in ambito della sicurezza hanno accesso a software avanzati che permettono di individuare vulnerabilità che i comuni programmi non troverebbero.
In base al tipo di training che è stato fatto, i temi sui quali risponde, le tecnologie utilizzate, il chatbot può aver bisogno di doversi tipi di test. Un test ad hoc può essere pensato per il tuo bot (anche vocale) insieme al nostro consulente di digital quality. Puoi prenotare subito un appuntamento.
Ti può interessare anche:
Sannon, S., Stoll, B., DiFranzo, D., Jung, M., Bazarova, N.N.: How personification and interactivity influence stress-related disclosures to conversational agents. In: Companion of the 2018 ACM Conference on Computer Supported Cooperative Work and Social Computing, pp. 285–288. ACM, New York (2018)
Vrizlynn L. L. Thing, Morris Sloman, and Naranker Dulay: A Survey of Bots Used for Distributed Denial of Service Attacks. Department of Computing, Imperial College London, 180 Queen's Gate, SW7 2AZ, London, United Kingdom
Nicole Radziwill and Morgan Benton: Evaluating Quality of Chatbots and Intelligent Conversational Agents
Bansal H, Khan R. A review paper on human computer interaction. Int. J. Adv. Res. Comput. Sci. Softw. Eng. 2018;8:53