Una ricerca pionieristica condotta da Rick Battle e Teja Gollapudi di VMware in California ha gettato luce su come semplici variazioni nel modo di comunicare con i chatbot possano determinare notevoli differenze nelle loro prestazioni. L’indagine, pubblicata su arXiv e inizialmente segnalata da New Scientist, ha dimostrato che l’adozione di un contesto ispirato a Star Trek potrebbe significativamente potenziare l’efficacia dei chatbot nel risolvere quesiti matematici elementari.
Battle e Gollapudi, specializzati in apprendimento automatico, non miravano a trasformare l’intelligenza artificiale in un appassionato di Star Trek. Il loro obiettivo era indagare se il “pensiero positivo” potesse essere sfruttato per migliorare le prestazioni dei chatbot. Hanno scoperto che la qualità dei risultati forniti dai chatbot dipende significativamente dalla modalità di interazione, sollevando interrogativi sulle dinamiche che regolano tale fenomeno.
La loro ricerca ha coinvolto l’analisi di tre Large Language Models (LLM) – Mistral-7B5, Llama2-13B6 e Llama2-70B7 – alimentati con 60 messaggi umani volti a stimolare un approccio positivo. Questi messaggi variavano da esortazioni al divertimento a suggerimenti per un’attenta riflessione. Gli ingegneri hanno valutato l’impatto di queste affermazioni sulla capacità degli LLM di affrontare il GSM8K, una serie di problemi matematici di base, scoprendo che gli approcci automatici superavano quasi sempre quelli manuali.
Un risultato particolarmente stupefacente è emerso dall’LLM Llama2-70B, il quale ha mostrato un miglioramento significativo quando invitato a operare in uno scenario evocativo di Star Trek. Questo esperimento ha sottolineato un miglioramento nelle capacità di ragionamento matematico dell’IA, attribuito sorprendentemente alla sua “affinità” per l’universo di Star Trek.
Oltre Star Trek: comprendere la complessità dei chatbot
Questo studio non suggerisce di interagire con le IA come se fossero membri dell’equipaggio dell’Enterprise, ma piuttosto evidenzia come diversi fattori possano influenzare le prestazioni di un’intelligenza artificiale. Catherine Flick della Staffordshire University ha commentato che l’IA non diventa un “Trekkie” comprendendo meglio o peggio in base al prompt, ma accede semplicemente a configurazioni diverse di pesi e probabilità.
Battle ha ipotizzato che il modello potrebbe essere stato esposto durante la sua formazione a un maggior numero di contesti in cui Star Trek è associato a risposte corrette, rivelando l’intricata natura dei processi decisionali di questi sistemi. Questo studio apre nuove prospettive sulla comprensione e sull’ottimizzazione dell’interazione con i chatbot, sottolineando l’importanza di approfondire la conoscenza dei meccanismi alla base delle loro risposte.