Se ci basiamo sull’evidenza quotidiana la singolarità tecnologica sembra ancora lontana, poi però ci imbattiamo in alcuni progetti che, almeno in alcuni ambiti, la fanno sembrare più vicina. Parliamo di open domain chatbot.

Gli assistenti vocali con cui siamo abituati a confrontarci tendono a presentarsi come assistenti tuttofare con la pretesa di saper rispondere a qualsiasi domanda. Possono rispondere a varie domande e possono essere estese con funzionalità sviluppate da terze parti. Alexa per esempio, dispone di varie funzionalità native e noi sviluppatori possiamo estenderle sviluppando le skill. L’interazione, almeno per il momento, non è così naturale. Siamo consapevoli di parlare con un sistema automatico. Quando ci capita di parlare in modo disinvolto come faremmo parlando con un essere umano, tipicamente il livello di piacevolezza dell’interazione scende notevolmente.

Quando ci imbattiamo in assistenti single domain specializzati in un ambito molto limitato l’esperienza non migliora, anzi spesso è drammatica. Mi è recentemente capitato di chiamare un call center di un grosso operatore per chiedere una cosa che per un interlocutore umano sarebbe molto semplice: “quanto devo pagare in caso di disdetta prima della fine del vincolo?”. Purtroppo l’operatore ha deciso di implementare un assistente virtuale senza dare alcuna possibilità di fallback verso un operatore umano. L’esperienza è stata imbarazzante perché non c’è stata nessuna possibilità di far capire la domanda all’operatore virtuale. Fortunatamente capisce bene la frase “Voglio parlare con un operatore”.

Penso però che probabilmente di tanto in tanto avremo la possibilità di osservare dei gradini significativi nello sviluppo di queste tecnologie. Per questo motivo voglio parlarvi di una ricerca che potrebbe portare ad uno di questi gradini verso la singolarità tecnologica: chatbot open domain.

Verso la singolarità: chatbot open domain Meena

In un articolo sul blog di Google dove si parla di intelligenza artificiale si parla di Meena, un chatbot che dovrebbe essere in grado di sostenere una conversazione generica.

Meena è un chatbot con un modello con 2.6 miliardi di parametri addestrato con 341 GB di testi di conversazioni presenti sui social media. Confrontato con gli attuali modelli generativi il modello di Meena ha una capacità 1,7 volte superiore addestrata con 8,5 volte il numero di dati utilizzati.

Per ottenere un parametro di valutazione oggettivo e che permetta di fare un confronto con gli altri chatbot allo stato dell’arte e soprattutto con un conversatore umano è stato introdotto uno specifico parametro: Sensibleness and Specificity Average (SSA). Questo parametro viene definito dalla persona che effettua la valutazione utilizzando il comune buon senso chiedendosi se la risposta ha senso e se è specifica. Per esempio data l’affermazione “Mi piace la cucina italiana”, la risposta “Che bello” sarebbe segnalata come non specifica mentre “Si anche a me. Adoro gli spaghetti!” sarebbe definita come specifica in quanto molto più pertinente.

Utilizzando questo parametro di valutazione, Meena ha ottenuto una valutazione pari al 79%, il miglior chatbot esistente si ferma al 56% mentre un umano si attesta all’86%. Verso la singolarità tecnologica: chatbot, stiamo arrivando!

In questo articolo della Cornell University potrete approfondire l’argomento.