Devin 18 Mesi Dopo: Promesse vs Realtà

12 marzo 2024. Un video di 4 minuti rompe internet.

Un agente AI apre un terminale, naviga un codebase, debugga un errore, committa il fix, fa il deploy. Nessun umano nel loop. Il titolo: "Introducing Devin, the first AI software engineer".

La reazione è immediata: 20 milioni di views, waitlist esplosa, investitori in fila. In meno di un mese Cognition Labs raccoglie $175 milioni da Founders Fund. Valutazione: 2 miliardi di dollari. L'azienda esisteva da 6 mesi.

Oggi siamo a marzo 2026. Devin è ancora qui, vale 10.2 miliardi, ha acquisito Windsurf. Ma il primo test indipendente serio ha dato un tasso di successo del 15%.

Cosa è successo nel mezzo?

L'annuncio che ha cambiato tutto

I fondatori di Cognition — Scott Wu, Steven Hao e Walden Yan — non erano nomi a caso. Scott Wu aveva vinto 3 medaglie d'oro alle Olimpiadi Internazionali di Informatica, primo assoluto nel 2014. Il team collezionava 10 medaglie d'oro IOI in totale.

Il numero che ha fatto il giro del mondo: 13.86% su SWE-bench. Devin risolveva autonomamente il 13.86% degli issue di repository open source reali. Il record precedente era 4.80% con Claude 2 assistito. Il miglior sistema non assistito stava sotto il 2%.

Un salto di 7x. L'equivalente, per il mondo AI coding, del momento AlphaGo.

I 9 mesi più lunghi del tech

Ecco cosa non racconta il video virale: Devin è rimasto in waitlist per 9 mesi.

Da marzo a dicembre 2024, solo utenti selezionati potevano provarlo. Niente pricing pubblico, niente documentazione, niente API. Solo tweet entusiasti di chi era dentro e frustrazione per tutti gli altri.

Quando è diventato disponibile a tutti, il 10 dicembre 2024, il prezzo era $500/mese. Un singolo piano, prendere o lasciare. Per un tool che nessuno aveva potuto testare su larga scala.

Nel frattempo, il mercato non era rimasto fermo.

Il test che ha rotto la bolla

A gennaio 2025, tre data scientist di Answer.AI pubblicano il primo test indipendente serio. 20 task reali, un mese di utilizzo. Risultati:

14 fallimenti (70%)
3 successi (15%)
3 risultati inconclusivi (15%)

La citazione che ha fatto il giro: "When it worked, it was impressive. But that's the problem — it rarely worked."

Il problema più grave non era il tasso di successo basso. Era l'imprevedibilità: task apparentemente semplici fallivano, task complessi riuscivano. Nessun pattern. Impossibile capire in anticipo se Devin avrebbe funzionato su un dato problema.

E poi c'era il problema dell'autonomia cieca: Devin poteva passare giorni a inseguire soluzioni impossibili invece di riconoscere un blocco fondamentale e fermarsi. L'autonomia, il suo punto di forza nel marketing, diventava il suo punto debole nella pratica.

The Register titolò: "First AI software engineer is bad at its job". Cognition non rispose alla richiesta di commento.

La demo era vera?

A complicare le cose, un canale YouTube chiamato Internet of Bugs pubblicò un video di debunking che diventò virale su Hacker News.

Le scoperte:

Il task che Devin risolveva nella demo non corrispondeva ai requisiti reali del cliente Upwork
Devin "fixava" bug che aveva creato lui stesso — i file che editava non esistevano nel repository originale
L'intera soluzione ha richiesto ore. Il debunker risolse la vera domanda in 30 minuti

Anche il 13.86% su SWE-bench aveva asterischi: era su SWE-bench Lite, un subset specifico, con una metodologia che il marketing non evidenziava.

Niente di questo significa che Devin fosse un fake. Ma il gap tra la demo curata e la performance reale era enorme. E questo gap è diventato il template per come l'industria ha imparato a guardare gli annunci di AI coding tools.

Da $500 a $20: il pivot che dice tutto

Aprile 2025. Cognition lancia Devin 2.0 e taglia il prezzo da $500/mese a $20/mese.

Non era un'offerta promozionale. Era un'ammissione: il prodotto a $500 non reggeva la proposta di valore. A $20, Devin diventava accessibile come Cursor o GitHub Copilot — ma perdeva il posizionamento premium che giustificava la narrativa del "software engineer AI".

Versione	Prezzo	Posizionamento
Devin 1.0 (Dic 2024)	$500/mese	"Il primo software engineer AI"
Devin 2.0 (Apr 2025)	$20/mese (Core)	Un tool tra tanti
Devin Team	$500/mese	250 ACU incluse, per team

La valutazione intanto continuava a salire. A settembre 2025, dopo aver acquisito Windsurf e raccolto altri $400 milioni, Cognition valeva $10.2 miliardi. Da $350 milioni a $10.2 miliardi in 18 mesi — un 29x.

I numeri di revenue raccontavano una storia più sfumata: da ~$1M ARR a settembre 2024 a ~$73M a giugno 2025. Con Windsurf ($82M ARR, 350+ clienti enterprise), il combinato arrivava a ~$150M. Buoni numeri, ma lontani da una valutazione di 10 miliardi.

Il colpo di scena: Windsurf

La storia dell'acquisizione di Windsurf merita un paragrafo a parte perché è da film.

OpenAI stava per comprare Windsurf (ex Codeium). Poi Google DeepMind ha fatto un reverse acqui-hire da $2.4 miliardi, portandosi via il CEO Varun Mohan, il co-fondatore Douglas Chen e i research leader.

Nel caos, Cognition ha comprato quello che restava — IP, prodotto, brand, ~210 dipendenti — in circa 72 ore per ~$250 milioni. Un'acquisizione opportunistica che ha trasformato Cognition da produttore di un singolo agente autonomo a piattaforma con un IDE completo.

Il mercato che è esploso

Mentre Devin aspettava in waitlist, il mercato è cambiato radicalmente.

A marzo 2024, le opzioni per il coding AI erano poche: GitHub Copilot (completamento inline), ChatGPT (copia-incolla), e poco altro. A marzo 2026, ci sono 15+ tool production-ready e il 73% degli sviluppatori usa strumenti AI per il coding.

Tool	Tipo	Punto di forza
GitHub Copilot	Assistente + Agent Mode	Ubiquità, integrazione GitHub
Cursor	IDE agentivo	Flow nell'editor, Agent mode
Claude Code	Agente terminale	Ragionamento profondo, extended thinking
OpenAI Codex	Agente autonomo	Desktop app, integrato ChatGPT
Google Jules	Agente	Gemini 2.5 Pro, beta pubblica
Amazon Q Developer	Assistente	Integrazione AWS, free tier
Devin	Agente autonomo	Full environment, asincrono

E il benchmark che aveva reso famoso Devin? Completamente superato.

Periodo	Miglior score SWE-bench	Tool
Marzo 2024	13.86%	Devin
Novembre 2025	79.2%	Claude Opus 4.5 + agent

Da 13.86% a 79.2%. Il vantaggio competitivo di Devin su SWE-bench non esiste più.

Cosa ha imparato Cognition (e cosa abbiamo imparato noi)

Cognition stessa, nella "Devin 2025 Performance Review", ha ammesso qualcosa di onesto: "Devin è senior-level nella comprensione del codebase ma junior nell'esecuzione."

I loro numeri interni raccontano miglioramenti: il tasso di PR mergiati è salito dal 34% al 67%, il problem solving è 4x più veloce, clienti come Goldman Sachs ed EightSleep riportano risultati positivi. Ma la frase chiave è quella: senior nella comprensione, junior nell'esecuzione.

Dove gli agenti funzionano davvero

Task con requisiti chiari e outcome verificabili
Task che richiederebbero a un junior 4-8 ore
Security fix, migrazioni ripetitive, data analysis
Web scraping, integrazioni API, prototyping veloce

Dove falliscono

Problemi ambigui che richiedono giudizio
Refactoring architetturali complessi
Qualsiasi cosa che richieda comprensione del contesto di business
Riconoscere quando fermarsi — il problema più sottovalutato

La lezione che vale più di Devin

La frase più citata dalla community AI coding nel 2025:

"The engineers extracting the most value from autonomous agents are not the ones delegating the hardest problems."

I team che ottengono risultati reali non chiedono all'agente di fare il lavoro difficile. Decompongono il lavoro in chunk adatti all'agente, reviewano l'output con lo stesso rigore che applicherebbero al codice di un junior, e prendono decisioni architetturali che gli agenti non possono prendere.

Il guadagno reale? Nell'ordine di 15-30 minuti netti per task adatto. Non la rivoluzione promessa, ma moltiplicato per centinaia di task al mese, è significativo.

Il valore del senior engineer non è diminuito. Si è spostato: meno tempo a scrivere boilerplate, più tempo a giudicare, progettare sistemi, e individuare l'allucinazione sicura di sé che passa tutti i check automatici.

Devin non è fallito. L'hype sì.

Ricapitoliamo i numeri:

Metrica	Marzo 2024	Marzo 2026
Valutazione	$350M	$10.2B
Revenue annuale	~$0	~$150M+
Prezzo	Waitlist	$20/mese
SWE-bench (miglior tool)	13.86%	79.2%
Competitor diretti	~3	15+
Test indipendente	N/A	15% successo

Devin come prodotto è migliorato. Devin come azienda è cresciuta in modo esplosivo. Ma Devin come promessa — "il primo software engineer AI che sostituisce gli sviluppatori" — quella è morta.

Ed è morta perché la promessa era sbagliata, non il prodotto. Il problema non era costruire un agente che scrive codice. Era credere che scrivere codice fosse la parte difficile del software engineering.

La parte difficile è capire cosa costruire, perché, e cosa non costruire. E su quello, 18 mesi dopo, gli agenti AI sono ancora al punto di partenza.

Fonti