ChatGPT e la singolarità tecnologica

Grazie a ChatGPT torniamo a parlare di singolarità tecnologica, in questo articolo di quasi tre anni fa si parlava di Meena, un chatbot creato da Google che poteva sostenere una conversazione generica con un livello abbastanza elevato di specificità. Dagli esempi disponibili di conversazioni sostenute da Meena sembrava essere un grande passo avanti nel campo delle possibilità offerte dalle intelligenze artificiali.

Google non ha mai reso disponibile Meena, forse è stata in seguito abbandonata in favore di un altro progetto chiamata LaMDA che sta per Language Model for Dialogue Application. Anche quest’ultimo non è stato reso disponibile al pubblico ma solo ad un ristretto numero di tester.

Lasciamo a ChatGPT il compito di presentarsi

Per capire di cosa stiamo parlando, chiediamo all’intelligenza artificiale stessa di introdurre ChatGPT. Già da queste prime battute potremo capire il livello estremamente avanzato di gestione del linguaggio e della conversazione offerti da Chat GPT. A differenza delle tecnologie sviluppate da Google, ChatGPT ora può essere utilizzato liberamente da chiunque. I server sono molto carichi quindi talvolta non è disponibile: si tratta infatti di una versione di test. E’ offerta gratuitamente e tutto quello che si scrive potrà essere utilizzato per una analisi delle performance del sistema.

Domanda: Cos’è ChatGPT?

ChatGPT: ChatGPT è un modello di linguaggio di grandi dimensioni addestrato da OpenAI. È progettato per generare testo in modo autonomo, in base ai dati di input forniti. Può essere utilizzato per creare conversazioni simulate, generare testo creativo e molto altro ancora.

Domanda: Puoi aggiungere qualche dettaglio in più?

ChatGPT: Sicuro! ChatGPT è una versione di GPT (Generative Pre-trained Transformer), un modello di linguaggio di grandi dimensioni creato da OpenAI. Mentre GPT è stato addestrato su una vasta gamma di testo, ChatGPT è stato addestrato specificamente per generare testo conversazionale. Ciò significa che è particolarmente efficace nell’iniziare e continuare conversazioni, comprendere il contesto e generare risposte appropriate.

ChatGPT è stato addestrato su un grande dataset di conversazioni, e utilizza una rete neurale a più strati per generare testo. Il modello è in grado di comprendere il contesto di una conversazione e generare risposte appropriate in base al testo di input fornito. È stato utilizzato in diverse applicazioni come chatbot, assistenti virtuali, generazione di testo e molto altro ancora.

Domanda: Mi fai qualche esempio?

ChatGPT: Certo, ecco alcuni esempi di come ChatGPT può essere utilizzato:

Creazione di chatbot: ChatGPT può essere utilizzato per creare chatbot in grado di rispondere alle domande degli utenti in modo plausibile. Ad esempio, un chatbot basato su ChatGPT potrebbe rispondere alle domande sull’orario degli orari dei treni o dare indicazioni su come raggiungere una determinata destinazione.
Generazione di testo creativo: ChatGPT può essere utilizzato per generare testi di vario tipo, come racconti, poesie, articoli e molto altro ancora. Ad esempio, potrebbe essere utilizzato per generare un racconto a partire da una semplice trama fornita dall’utente.
Assistenza virtuale: ChatGPT può essere utilizzato per creare assistenti virtuali in grado di aiutare gli utenti a risolvere problemi o a completare compiti specifici. Ad esempio, un assistente virtuale basato su ChatGPT potrebbe aiutare un utente a programmare un viaggio o a fare acquisti online.
Generazione di testo per il gioco: ChatGPT può essere utilizzato per generare dialogi per i personaggi dei videogiochi o per generare testo per i giochi di ruolo.

Questi sono solo alcuni esempi di come ChatGPT può essere utilizzato, ma ci sono molte altre possibilità. L’importante è che ChatGPT è un modello generativo di linguaggio molto potente che può essere utilizzato in molteplici modi.

Domanda: Qual’è la differenza tra te e ChatGPT?

ChatGPT: Io sono un’istanza di ChatGPT, un modello di linguaggio generativo creato da OpenAI. ChatGPT è il nome del modello di linguaggio generativo di grandi dimensioni, addestrato su un grande dataset di conversazioni per generare testo conversazionale.

In altre parole, ChatGPT è il modello di apprendimento automatico (il “cervello” del sistema) mentre io sono un’istanza del modello, cioè un’applicazione o un programma che utilizza il modello ChatGPT per generare il testo in base agli input dati.

In altri termini, ChatGPT è il modello di linguaggio generativo, mentre io sono un’istanza di tale modello, utilizzato per generare testo in modo autonomo.

Non male, vero? Ho riportato le risposte senza nessuna modifica. Non è perfetto, talvolta un po’ ripetitivo ma sicuramente si tratta di un testo scritto in un italiano sostanzialmente corretto.

Proviamo a chiedere direttamente a ChatGPT la differenza rispetto a Meena e LaMDA.

Domanda: Qual’è la differenza tra te e Meena?

ChatGPT: La differenza principale tra me e Meena è che Meena è stato sviluppato per avere una comprensione del linguaggio naturale molto elevata, mentre io sono stato addestrato per fornire risposte a domande e completare richieste di informazioni su una vasta gamma di argomenti. Meena è stato addestrato su una vasta quantità di dati testuali per comprendere il linguaggio naturale e generare risposte, e ha raggiunto prestazioni molto elevate nei test di comprensione del linguaggio naturale, in particolare in conversazioni a lungo termine. Io sono stato addestrato anche su una grande quantità di dati testuali e ho una formazione specifica per rispondere alle domande degli utenti, aiutare nel completamento di richieste e in generale, in compiti di elaborazione del linguaggio naturale.

Domanda: Qual’è la differenza tra te e LaMDA?

ChatGPT: La differenza principale tra me e LaMDA è che LaMDA è stato sviluppato per generare testo in modo autonomo a partire da una semplice richiesta di input, mentre io sono stato addestrato per fornire risposte a domande e completare richieste di informazioni su una vasta gamma di argomenti.

LaMDA è un modello di generazione di linguaggio addestrato su una grande quantità di dati testuali e è stato progettato per generare testo in modo autonomo, è stato utilizzato per generare una grande varietà di testo come conversazioni, descrizioni, racconti e molto altro ancora. Io sono stato anche addestrato su una grande quantità di dati testuali e ho una formazione specifica per rispondere alle domande degli utenti, aiutare nel completamento di richieste e in generale, in compiti di elaborazione del linguaggio naturale.

Domanda: Puoi fornire maggiori dettagli sulle tecnologie utilizzate?

ChatGPT: Me, LaMDA e Meena sono tutti modelli di elaborazione del linguaggio naturale di grandi dimensioni sviluppati utilizzando tecnologie di apprendimento automatico.

In particolare, questi modelli utilizzano il deep learning, una specifica tecnologia di apprendimento automatico che utilizza reti neurali profonde. Le reti neurali sono una sorta di algoritmo che cerca di imitare la struttura del cervello umano per riconoscere schemi e apprendere dai dati. I modelli di elaborazione del linguaggio naturale di grandi dimensioni come questi solitamente utilizzano una particolare tipologia di rete neurale chiamata Transformer, che è particolarmente adatta per gestire grandi quantità di dati e elaborare il linguaggio naturale.

Inoltre, questi modelli sono stati addestrati su grandi quantità di dati testuali, che sono stati utilizzati per insegnare al modello come comprendere e generare il linguaggio naturale. I dati utilizzati per addestrare questi modelli possono provenire da diverse fonti, come libri, articoli, conversazioni, e molto altro ancora.

Come ulteriore dettaglio possiamo dire che Meena è stato addestrato con 2.6 miliardi di parole e LaMDA con 12 terabytes of text data.

Interessante notare che il 9 gennaio è stato rilasciato un aggiornamento del modello utilizzato da ChatGPT.

Anche se nel sito informativo OpenAI sostiene che ne ha migliorato le prestazione a me sembra invece leggermente peggiorata. Per esempio in precedenza riferendosi a se stessa utilizzava “io” mentre ora utilizza il meno corretto “me”. Inoltre nell’ultima frase utilizza erroneamente una parte di testo in inglese.

La traduzione in inglese invece non sembra avere problemi anche se probabilmente ha influenzato l’utilizzo scorretto del “me” in italiano.

Domanda: Puoi tradurlo in inglese?

ChatGPT: Sure, I will explain it in English. Me, LaMDA and Meena are all large natural language processing models developed using machine learning technologies.

In particular, these models use deep learning, a specific type of machine learning that uses deep neural networks. Neural networks are a kind of algorithm that attempts to imitate the structure of the human brain to recognize patterns and learn from data. Large natural language processing models like these typically use a specific type of neural network called Transformer, which is particularly well-suited for handling large amounts of data and processing natural language.

In addition, these models have been trained on large amounts of text data, which have been used to teach the model how to understand and generate natural language. The data used to train these models can come from various sources such as books, articles, conversations, and more.

As additional details, Meena was trained with 2.6 billion words and LaMDA with 12 terabytes of text data.

Quanto è nuova questa tecnologia?

La versione 3 della tecnologia GPT risale a giugno 2020. OpenAI, la società no-profit che si pone come obiettivo proprio lo studio delle Intelligenze Artificiali, rilasciò la prima beta della rete neurale basata sulla tecnologia GPT-3. La sigla sta per Generative Pre-trained Transformer 3 ed è una rete che usa il deep Learning per generare testo di un livello così elevato da essere confrontabile con quello generato da un essere umano.

GPT-3 è stata addestrata con 175 miliardi di parametri, il numero di parametri su cui era stata addestrata Meena era di 2,6 miliardi. In particolare GPT-3 le fonti utilizzate per il training sono: Common Crawl, un archivio del contenuto testuale di tutte le pagine web a partire dal 2008, Google Books 1 e 2, WebText2, un archivio di contenuti testuali di alta qualità mantenuto dalla stessa OpenAi e Wikipedia. Come dire, non tutto lo scibile umano ma comunque una buona parte.

Il bello viene però ora. Alla fine del 2022 OpenAi ha rilasciato al pubblico ChatGPT. Si tratta di una pagina web con un prompt che permette di effettuare una conversazione con un sistema che di fatto è una evoluzione della rete GPT-3 del 2020. Ci sono vari elementi di attenzione messi bene in evidenza dalla pagina web introduttiva realizzata da OpenAi. Le risposte potrebbero non essere corrette ed il sistema può essere particolarmente prolisso ma la sensazione che si ha durante la conversazione è incredibile.

Ho aspettato un po’ di tempo prima di scrivere questo articolo. Ho voluto utilizzare ChatGPT prima di esprimere un giudizio. Al primo utilizzo infatti l’effetto WOW è elevatissimo. Mi sembrava di essere stato catapultato in un film di fantascienza: le capacità del sistema sembravano senza limiti. ChatGPT è infatti in grado di creare lo scheletro di un articolo per un blog e poi dettagliate le varie parti, di effettuare traduzioni tra varie lingue, di fare il riassunto di un testo, di rispondere a domande su linguaggi di programmazione e su tecnologie informatiche oltre che produrre codice funzionante a partire da una descrizione testuale.

Nel box che segue una delle mie prime interazioni con ChatGPT. Ovviamente non è una buona idea prendere il risultato di ChatGPT e creare direttamente un articolo, ma si tratta di una buona base di partenza.

Domanda: Scrivi un articolo in cui metti in evidenza i vantaggi di un assistente vocale rispetto ad una app
ChatGPT: Gli assistenti vocali stanno diventando sempre più popolari e diffusi nella nostra vita quotidiana. Questi strumenti, disponibili sia su dispositivi mobili che su altoparlanti smart, ci permettono di interagire con la tecnologia in modo semplice e veloce, utilizzando solo la voce. Ma quali sono i vantaggi di un assistente vocale rispetto ad una app? Ecco alcune considerazioni:

Accessibilità: gli assistenti vocali possono essere utilizzati da chiunque, indipendentemente dalle proprie abilità fisiche o digitali. Possono essere utilizzati anche da persone con disabilità visive o motorie, che possono trovare difficoltà nell’utilizzo di uno smartphone o di un computer.
Comodità: con un assistente vocale non è necessario digitare o toccare lo schermo per ottenere informazioni o effettuare azioni. Basta pronunciare il comando o la richiesta e l’assistente risponderà o eseguirà l’azione richiesta. Questo è particolarmente utile quando si è impegnati in altre attività, come guidare o cucinare, e non si ha la possibilità di utilizzare le mani per usare un dispositivo mobile.
Personalizzazione: gli assistenti vocali possono essere personalizzati in base alle preferenze dell’utente, ad esempio impostando promemoria o avvisi specifici. Inoltre, molti assistenti vocali possono essere integrati con altre app e servizi, come ad esempio il sistema di automazione domestica, rendendo ancora più semplice e veloce il controllo delle nostre attività quotidiane.
Risparmio di tempo: utilizzare un assistente vocale per effettuare ricerche o effettuare azioni può risparmiare tempo rispetto all’utilizzo di una app, soprattutto se si deve navigare tra diverse schermate o digitare testo.

In conclusione, gli assistenti vocali rappresentano una comoda alternativa alle app, soprattutto per chi ha poco tempo o per chi ha difficoltà nell’utilizzo di un dispositivo mobile. Grazie alla loro capacità di personalizzazione e integrazione con altri servizi, gli assistenti vocali possono diventare uno strumento indispensabile per semplificare la nostra vita quotidiana.

Domanda: dettaglia maggiormente il punto 2

ChatGPT: Il punto 2 dell’elenco riguarda l’accessibilità degli assistenti vocali. Gli assistenti vocali possono essere utilizzati da chiunque, indipendentemente dalle proprie abilità fisiche o digitali. Ciò li rende uno strumento particolarmente utile per le persone con disabilità visive o motorie, che potrebbero trovare difficoltà nell’utilizzo di uno smartphone o di un computer.

Ad esempio, una persona con disabilità visiva può utilizzare un assistente vocale per effettuare ricerche su Internet, impostare promemoria o avvisi, o semplicemente per avere informazioni sulle attività quotidiane. Una persona con disabilità motorie, invece, può utilizzare un assistente vocale per effettuare chiamate o inviare messaggi, senza dover utilizzare le dita per digitare o toccare lo schermo.

Gli assistenti vocali possono anche essere utilizzati da persone anziane o con difficoltà di lettura, che possono trovare più semplice ascoltare le informazioni invece che leggere.

Inoltre, molti assistenti vocali possono essere integrati con dispositivi di ausilio per la disabilità, come ad esempio tastiere o telecomandi con comandi vocali. Ciò rende ancora più facile l’utilizzo degli assistenti vocali per le persone con disabilità.

In sintesi, gli assistenti vocali rappresentano uno strumento molto utile per rendere la tecnologia accessibile a tutti, indipendentemente dalle proprie abilità fisiche o digitali.

Domanda: Dettaglia il punto 4

ChatGPT: Il punto 4 dell’elenco riguarda il risparmio di tempo nell’utilizzo di un assistente vocale rispetto ad una app. Utilizzare un assistente vocale per effettuare ricerche o per eseguire azioni può risparmiare tempo rispetto all’utilizzo di una app, soprattutto se è necessario navigare tra diverse schermate o digitare testo.

Ad esempio, se si vuole cercare informazioni su un determinato argomento, basta pronunciare il comando “Cerca informazioni su [argomento]” e l’assistente vocale fornirà i risultati della ricerca. Se invece si utilizza una app, potrebbe essere necessario digitare il testo della ricerca e navigare tra le diverse schermate per visualizzare i risultati.

Allo stesso modo, utilizzare un assistente vocale per effettuare una prenotazione o per impostare un promemoria può essere più veloce rispetto all’utilizzo di una app, che potrebbe richiedere di compilare moduli o di navigare tra diverse schermate.

Inoltre, gli assistenti vocali possono essere utilizzati mentre si è impegnati in altre attività, come ad esempio guidare, cucinare o fare esercizio fisico, senza dover distogliere lo sguardo dallo schermo o interrompere l’attività in corso. Ciò può risparmiare tempo e rendere le attività quotidiane più efficienti.

In sintesi, l’utilizzo di un assistente vocale può risparmiare tempo rispetto all’utilizzo di una app, soprattutto se è necessario digitare o navigare tra diverse schermate per ottenere informazioni o eseguire azioni.

ChatGPT3: quali sono i limiti attuali?

Chiediamo a ChatGPT di illuminarci.

Domanda: Quali sono i limiti attuali della tecnologia GPT-3?

ChatGPT: GPT-3 (Generative Pre-trained Transformer 3) è un modello di linguaggio di grandi dimensioni addestrato da OpenAI che ha raggiunto prestazioni notevoli nella generazione di testo e nella comprensione del linguaggio naturale. Tuttavia, come ogni tecnologia, ha anche alcuni limiti.

Comprensione del contesto: Nonostante GPT-3 sia stato addestrato su un grande dataset di testo, può ancora avere difficoltà a comprendere il contesto in cui una frase o una parola viene utilizzata. Ciò può portare a risposte imprecise o fuorvianti, soprattutto in situazioni di contesto complesso.
Generazione di testo coerente: GPT-3 è stato addestrato su un grande dataset di testo e può generare testo plausibile, tuttavia, in alcune situazioni può generare testo che non è completamente coerente o che non ha senso.
Bias di apprendimento automatico: Come con qualsiasi modello di apprendimento automatico, GPT-3 può ereditare i bias presenti nei dati su cui è stato addestrato, che può portare a generazione di testo che rispecchia questi bias.
Risposta generica: GPT-3 è stato addestrato su un grande dataset di testo e può generare risposte plausibili in molte situazioni, tuttavia, in alcune situazioni può generare risposte generiche o non specifiche.
Costo computazionale: GPT-3 è un modello di grandi dimensioni e richiede una quantità significativa di potenza computazionale per essere eseguito, il che può rendere difficile l’utilizzo in alcune applicazioni.

Tenere presente che questi sono limiti attuali ma la ricerca e lo sviluppo su GPT-3 e sui modelli di linguaggio generativo è in continua evoluzione, quindi è possibile che questi limiti vengano superati in futuro.

Ho chiesto poi a ChatGPT di riassumere il testo del mio articolo di tre anni fa sulla singolarità. Questo il risultato:

Nell’articolo si parla di Meena, un chatbot di open domain sviluppato da Google che dovrebbe essere in grado di sostenere conversazioni generiche in modo più naturale rispetto agli assistenti vocali attuali. Meena ha un modello di 2,6 miliardi di parametri addestrato con 341 GB di testi di conversazioni presenti sui social media, e ha mostrato una capacità 1,7 volte superiore rispetto ai modelli generativi esistenti, addestrati con 8,5 volte il numero di dati utilizzati. È stato introdotto un parametro chiamato Sensibleness and Specificity Average (SSA) per valutare la qualità delle risposte di Meena e confrontarla con quella di altri chatbot e di un interlocutore umano. I risultati hanno mostrato che Meena ha ottenuto un SSA del 64%, rispetto al 59% dei migliori chatbot esistenti e al 86% di un interlocutore umano. Nonostante questo, l’articolo sottolinea che c’è ancora molto lavoro da fare per raggiungere la “singolarità tecnologica”, ovvero il momento in cui gli assistenti artificiali saranno in grado di sostituire completamente gli esseri umani nelle conversazioni.

Da notare un “errore di comprensione“. Nel testo scrivo che Meena è stata addestrata con 8,5 il numero di dati utilizzati per i modelli precedenti mentre ChatGPT scrive il contrario. Notevoli invece le capacità di riscrittura. Nell’articolo per esempio scrivo “Meena è un chatbot con un modello con 2.6 miliardi di parametri…” e ChatGPT scrive “Meena ha un modello di 2,6 miliardi di parametri…”. Quindi non solo fa il riassunto ma effettua anche una parziale rielaborazione dello stesso.

In un essere umano la capacità di leggere un testo e farne un riassunto rielaborando i contenuti è considerata una forma se non proprio di intelligenza quantomeno di capacità di comprensione. La tecnologia GPT-3 sembra riuscirci. Ovviamente non possiamo dire propriamente che sia in grado di comprendere il testo ma sicuramente è in grado di rielaborarlo in un modo estremamente evoluto.

ChatGPT: quali gli impatti di questa tecnologia?

ChatGPT non è la prima intelligenza artificiale in grado di produrre un risultato “creativo. Ci sono sistemi specializzati nella creazione di testi, altri nella creazione di immagini. E’ però il primo sistema che è stato reso disponibile a tutti gratuitamente, almeno per ora. Il sistema ha destato un certo interesse, ha infatti visto l’iscrizione di un milione di utenti in pochi giorni.

In molti stanno facendo riflessioni sull’impatto che sistemi di questo tipo avranno sul mondo del lavoro e sicuramente è un aspetto che già nel breve periodo andrà tenuto in considerazione. In effetti ammetto che non mi aspettavo che la tecnologia delle reti neurali generative fosse già così avanzata anche se c’è ancora molto da fare.

In questo momento c’è da fare una valutazione sulla possibile utilità di questo sistema come aiuto al lavoro intellettuale piuttosto che alla sua sostituzione.

In effetti invece penso che nel breve periodo i motori di ricerca, Google in primis, debbano temere molto da sistemi basati sulla tecnologia GPT. Attualmente ChatGPT è basata su dati aggiornati fino al 2011 e quindi non può rispondere a domande che riguardino il presente. Ma credo che questo possa essere superato, magari non banalmente, ma sicuramente può essere gestito. In effetti è notizia di qualche giorno fa che Google sia in allerta per il rilascio di ChatGPT e che abbia dirottato un certo numero di ingegneri verso il reparto di sviluppo di intelligenze artificiali. Altre notizia di qualche giorno fa è che Microsoft (unica licenziataria della tecnologia GPT-3) sta cercando di integrare in Bing tale tecnologie. Se riuscisse a farlo ed a farlo bene (nessuna delle due cose è in realtà così scontata) per Google inizierebbero tempi piuttosto duri.

Ma allora la singolarità tecnologia è vicina?

Ricordiamo di cosa stiamo parlando. La singolarità tecnologica è un concetto che descrive un punto ipotetico nel futuro in cui la tecnologia avrà progredito al punto tale da superare la capacità umana di comprenderla e controllarla. In altre parole, la singolarità tecnologica rappresenta un punto di svolta nello sviluppo della tecnologia dove l’intelligenza artificiale e altre tecnologie avanzate diventano così sofisticate da essere in grado di superare le capacità cognitive e creative di noi esseri umani.

L’elemento che più caratterizza la singolarità tecnologica è quella di essere in grado di auto-migliorarsi, portando a un’esponenziale accelerazione nello sviluppo tecnologico. Questo potrebbe portare a un cambiamento radicale nella società e nell’economia, con conseguenze imprevedibili per l’umanità. Ci sono anche molte questioni etiche e filosofiche legate all’idea di una singolarità tecnologica, compreso il problema di come gli esseri umani dovrebbero gestire e governare l’intelligenza artificiale una volta che diventa più intelligente di loro.

In senso stretto quindi la singolarità tecnologia non è stata raggiunta e non sappiamo quanto sia vicina. Però il momento in cui avverrà l’accelerazione esponenziale data da una intelligenza artificiale capace di generare una istanza migliore di sé potrebbe non essere così lontano. Per dirla alla McAfee, ci siamo inoltrati già da un po’ nella seconda metà della scacchiera ed in quella zona lo sviluppo tecnologico è esponenziale per definizione.

“Strade? Dove stiamo andando, non c’è bisogno di… strade!”