Ha inventato l'RLHF, adesso dice che è il problema

Nel marzo del 2022 esce un paper intitolato Training language models to follow instructions with human feedback. È il lavoro che rende i modelli capaci di seguire istruzioni invece di continuare il testo, e che otto mesi dopo diventerà ChatGPT. Il quarto nome nella lista degli autori è Diogo Almeida.

Il 15 settembre 2026 Almeida è uscito da due anni di silenzio con un'azienda, TypeSafe AI, 40 milioni di dollari di finanziamento guidati da DCVC, e una tesi scomoda: la tecnica che ha contribuito a inventare ha un difetto nell'obiettivo, e quel difetto rende i modelli inadatti proprio al lavoro che oggi gli stiamo chiedendo di fare.

Il difetto sta nell'obiettivo, non nel modello

L'argomento è semplice, e per questo fastidioso. L'apprendimento per rinforzo da feedback umano addestra il modello a produrre risposte che le persone preferiscono. Non risposte giuste: risposte preferite. Fra una risposta esitante e corretta e una sicura e sbagliata, chi valuta tende a premiare la seconda, e il modello impara la lezione.

Se il bersaglio è la preferenza, allora promettere troppo è un comportamento premiato, e l'allucinazione non è un bug che si toglierà con più addestramento: è una conseguenza di quello che si è chiesto al modello di ottimizzare. È la stessa conclusione a cui arriva, da un'altra strada, la ricerca sulle allucinazioni: il modello non è addestrato a dire "non lo so".

La domanda che Almeida dice di essersi fatto dopo ChatGPT, e che ha scritto sul suo profilo, è questa: "why have superhuman chat models not led to AGI?" La sua risposta è che una chat superumana resta una chat, e che l'automazione vera, quella senza una persona che controlla ogni passaggio, chiede un'altra cosa.

Un modello che non scrive

Il prodotto si chiama Jev ed è dichiaratamente un animale diverso. TypeSafe lo descrive come "a new class of frontier models built to make fast, structured decisions that software can use directly": stato non strutturato in ingresso, decisioni tipizzate con le loro probabilità in uscita.

Tre differenze rispetto a un modello linguistico, prese dalla tabella del loro annuncio:

	LLM	Jev
Obiettivo dell'addestramento	preferenza umana	decisioni calibrate
Generazione	"one token at a time, each conditioned on the last"	"all outputs in a single query"
Uscita	testo	valori tipizzati, elenco delle risposte possibili definito prima

Il metodo di addestramento si chiama Reinforcement Learning for Calibrated Decisions. Di come funzioni davvero non si sa nulla: non c'è un paper, e architettura, dati e dimensione del modello non sono pubblicati. Quello che si sa è il prezzo di listino, e quello racconta da solo il posizionamento: 0,042 dollari per milione di token in input, contro i 0,20-10 dollari dei modelli di frontiera, con l'output gratuito perché "too cheap to meter". La latenza dichiarata va dai 70 ai 500 millisecondi.

La rinuncia è netta, e nel post è scritta senza giri di parole: Jev "gives up string generation". Non scrive codice, non scrive testo, non tiene una conversazione. Fa una cosa sola: sceglie fra opzioni che gli hai dato tu, e ti dice quanto è sicuro.

Lo 0% che non è una misura

Il grafico che sta circolando di più è quello dove Jev segna 0% di allucinazioni e 0% di errori di tipo contro barre alte degli altri modelli. Vale la pena leggere la riga che sta sotto, nella sezione che loro stessi chiamano "Nuance":

"Our number is not empirical. Schema matching is guaranteed, thus we can confidently add 0% into the plots."

Lo zero non dice che Jev non sbaglia. Dice che l'output rispetterà sempre lo schema, perché le risposte ammesse sono definite in anticipo. È la garanzia dei tipi, quella che un compilatore dà da cinquant'anni: che il valore esista e sia della forma giusta. Non che sia quello corretto. Un modello che deve scegliere fra A, B e C non potrà inventarsi D, e potrà benissimo rispondere B quando la risposta era A.

Nella stessa sezione c'è anche l'altra ammissione: i numeri degli altri modelli "are from OpenRouter i.e., there almost certainly is bias here". E il confronto sui workflow, quello da cui viene il claim di 193,6 volte più veloce, è accompagnato da una riga che molti riassunti hanno tagliato: "we expect that these are on the higher end of real world gains".

Va detto che questa onestà è rara in un lancio, ed è la ragione per cui vale la pena prendere sul serio il resto. Una verifica indipendente, per ora, è quella di Mike Taylor su Every: 37 documenti con 21 domande in parallelo processati in meno di 0,7 secondi per circa un quarto di centesimo, e sei difetti trovati su sette inseriti apposta. La sua conclusione è la stessa che scriverei io: "I'd want a more thorough accuracy check before putting it into production."

Cosa cambia per chi sviluppa

Non molto, domani mattina: il modello è in early access con lista d'attesa. Ma la direzione merita attenzione, perché è l'opposto di quella dominante.

Da due anni la corsa è verso modelli che ragionano di più e più a lungo, e su cosa succeda davvero dentro quel ragionamento la ricerca è piena di sorprese. TypeSafe va nella direzione contraria: niente ragionamento visibile, niente testo, una decisione tipizzata in meno di mezzo secondo. Chiamandoli "System One" evoca la mente veloce di Kahneman, anche se nel loro annuncio Kahneman non è mai citato: è una lettura mia, non loro.

Il punto pratico è dove un modello così serve. Non a scrivere la funzione: a decidere. Instradare un ticket, classificare un errore, valutare se un cambiamento tocca una zona critica, scegliere quale test far girare per primo. Sono i punti in cui oggi si mette un LLM grande dentro un if, pagandolo in secondi di latenza e in token, e prendendosi in cambio una risposta che a volte non sta nemmeno nel formato richiesto.

È anche il lato giusto del problema. Il collo di bottiglia dello sviluppo con l'AI si è spostato sulla verifica: scrivere è diventato velocissimo, controllare no. Un modello che costa un quarto di centesimo e risponde in 300 millisecondi non ti aiuta a scrivere di più. Può aiutarti a smistare, filtrare e dare priorità a quello che è già stato scritto, che è esattamente il lavoro che si è ingolfato.

Cosa non cambia

Non è "la fine dell'RLHF". I modelli che usi ogni giorno per programmare sono addestrati così, restano i più capaci su quel mestiere, e nessuno qui propone di sostituirli: Jev non scriverebbe nemmeno una riga di codice.

E non è nemmeno la fine delle allucinazioni. Un modello che sceglie fra opzioni predefinite sposta il problema, non lo elimina: la scelta può essere sbagliata, e la probabilità che ti restituisce è affidabile quanto la calibrazione del modello, che al momento nessuno ha verificato dall'esterno.

Quello che resta, e che secondo me è la parte più interessante della giornata, è l'argomento. Uno dei quattro nomi in cima al paper che ha creato l'assistente conversazionale sostiene che quel modo di addestrare ci ha dato modelli bravissimi a piacerci e mediocri nel dire "non lo so". Sull'analisi ha ragione. Sulla soluzione, per adesso, abbiamo un listino prezzi, qualche demo e una nota che dice che lo zero non è misurato.

Fonti: