Economisti, occhio: l'IA sa anche interpretare le parole della Fed

Secondo una recente ricerca condotta da due studiosi della stessa Federal Reserve di Richmond la risposta è un deciso “sì”

La crescente importanza delle banche centrali per l’orientamento dei mercati finanziari ha caricato ogni singola frase pronunciata dai presidenti della Federal Reserve o della Banca centrale europea di forsennate attenzioni interpretative. L’esegesi delle conferenze stampa di Jerome Powell e Christine Lagarde è un rituale che periodicamente riunisce la comunità finanziaria. L’obiettivo, alla fine, è carpire dai più sottili sottintesi le possibili mosse future delle banche centrali, nella speranza di ottenere un vantaggio operativo.

L’interpretazione del linguaggio è un campo nel quale l’intelligenza artificiale ha già imparato a stupire: potrebbe dare risultati utili anche quando si tratta di comprendere quali parole abbiano una connotazione “da falco” e quali “da colomba”? Secondo una recente ricerca condotta da due studiosi della stessa Federal Reserve di Richmond la risposta è un deciso “sì”.

Le due ricercatrici Anne Lundgaard Hansen e Sophia Kazinnik hanno messo alla prova ChatGpt-3 prendendo in esame un campionario di 500 frasi estratte dalle conferenze della Federal Reserve nel periodo compreso fra il 2010 e il 2020. In una prima fase, tre interpreti umani hanno catalogato ciascuna frase su una scala suddivisa in cinque gradazioni, da quella più “colomba” a quella più “falco”. La media delle risposte fornite dagli umani è stata presa dunque come riferimento interpretativo corretto per testare l’esegesi condotta dalle macchine.

Successivamente, è stato chiesto a ChatGpt (ma anche ad altri sistemi automatizzati), di offrire la propria interpretazione delle stesse frasi. L’aderenza fra il giudizio umano e quello di ChatGpt, alla fine, è stata decisamente elevata.

L’aspetto meno scontato, considerate le possibili difficoltà cui l’Ia sarebbe potuta andare incontro, è che la macchina è riuscita dal a distinguere anche la gradazione intermedia che divide il giudizio “mostly dovish” o “mostly hawkish” (“prevalente colomba”, “prevalentemente falco”), dai più decisi giudizi “colomba” e “falco”. Gran parte della sfida, infatti, è consistita nel testare la capacità di ChatGpt nel distinguere le sfumature e i contesti che, potenzialmente, potrebbero sfuggire a un’analisi troppo schematica delle dichiarazioni.

ChatGpt contro l’interpretazione umana della Fed: i punteggi

Esattamente, però, qual è il grado di precisione ottenuto da ChatGpt? Per interpretare i punteggi dei grafici in basso basti sapere che gli studiosi hanno attribuito un punteggio pari a 0 laddove l’aderenza fra le risposte umane e quelle della macchina corrispondono alle probabilità date dal caso, mentre -1 e 1 rappresentano i due estremi: completo disaccordo e completo accordo con le risposte umane. In una prima analisi, l’Ia è stata messa alla prova senza alcun allenamento specifico per l’interpretazione delle dichiarazioni della Fed. In questa simulazione “zero-shot” ChatGpt ha ottenuto una sovrapponibilità con le risposte umane pari a 0,71 per i giudizi “colomba” e un minimo da 0,53 punti per quelle “falco”.

Una seconda analisi, invece, ha messo alla prova ChatGpt dopo averlo allenato con 400 frasi della Fed e le relative interpretazioni “corrette” fornite dagli umani. Dopo questo addestramento, è stata chiesta all’IA I’interpretazione delle restanti 100 frasi del campionario. In questa seconda analisi, la precisione di ChatGpt è cresciuta in modo molto evidente. Ad esempio, l’interpretazione è stata pressoché perfetta (0,99 punti) per le frasi di tipo “falco” e non è scesa al di sotto dei 0,61 punti (a dare più difficoltà sono state le frasi “prevalentemente falco”).

ChatGpt, un alleato anche per capire la Fed

“A parte la mera classificazione”, da falco o colomba, “i modelli Gpt hanno la capacità di spiegare perché una certa frase è stata etichettata in un certo modo, una capacità che va oltre qualsiasi modello di elaborazione del linguaggio esistente ed è una caratteristica preziosa per i ricercatori”, hanno affermato gli autori dello studio.

“Abbiamo scoperto che il ragionamento di Gpt giustifica con successo le sue classificazioni e, inoltre, è molto simile al ragionamento del revisore umano”, hanno aggiunto, precisando che la versione più aggiornata di ChatGpt, la quarta, potrebbe presentare una precisione ancora superiore a quella emersa nello studio.

“Tuttavia, è importante notare che nonostante le sue impressionanti prestazioni, Gpt-3 non è infallibile. Può ancora sbagliare la classificazione delle frasi o non cogliere le sfumature che un valutatore umano con esperienza nella materia potrebbe cogliere”, è la conclusione degli studiosi, per i quali comunque Gpt potrebbe essere uno strumento “di grande valore per assistere i ricercatori e gli analisti in questo settore”.

L’utilizzo dell’intelligenza artificiale applicata all’interpretazione dei segnali di mercato, cui fanno parte anche i discorsi delle banche centrali, solleva già interrogativi sul rischio che un possibile utilizzo massivo possa incrementare l’effetto-gregge. In altre parole, che l’interpretazione dei segnali sia talmente allineata, vista la prospettiva che pochi modelli di IA si affermeranno su larga scala, da rendere il mercato ancora più volatile. Sono interrogativi di cui probabilmente si sentirà parlare sempre più spesso.