E noi dell’Hardware per inferenza AI?
Si parla moltissimo di modelli, benchmark, agenti, dataset sintetici e nuove architetture neurali. Molto meno, invece, del pezzo di metallo, costosissimo, energivoro e sempre più strategico.
L’inferenza è dove i modelli iniziano a costare davvero: token dopo token, richiesta dopo richiesta, data center dopo data center. Ed è proprio qui che sta nascendo una nuova generazione di chip e architetture alternative alle GPU tradizionali: compute-in-memory, LPU deterministiche, silicon taylored sul modello.
In questo articolo guardiamo tre approcci non convenzionali: Fractile.ai, Groq e Taalas , una serie di altri player che provano a rispondere a una domanda semplice solo in apparenza:
Come facciamo a servire AI sempre più grandi senza bruciare margini, energia e tempo?
Introduzione
Il mercato dell’AI inference sta diventando uno dei punti più critici dell’infrastruttura tecnologica per l’intelligenza artificiale generativa. Dopo una fase in cui gran parte dell’attenzione era concentrata sul training dei grandi modelli, oggi il problema centrale si sta spostando verso l’esecuzione efficiente dei modelli già addestrati: servire milioni o miliardi di richieste, con bassa latenza, alta velocità di generazione dei token e a costi sostenibili.
In questo contesto, NVIDIA resta il riferimento dominante grazie all’ecosistema GPU, CUDA, networking, software e capacità produttiva costruito negli anni. Tuttavia, proprio la dimensione crescente dei carichi di inference e la pressione sui costi stanno aprendo spazio a player specializzati, che non provano necessariamente a sostituire l’intero stack GPU, ma a ottimizzare segmenti specifici dell’esecuzione dei modelli.
L’inference dei modelli linguistici di grandi dimensioni (LLM) è particolarmente costosa perché richiede un uso intensivo della memoria. A ogni token generato, il sistema deve accedere a grandi quantità di pesi del modello, cache di attenzione e dati intermedi. Per questo motivo, il collo di bottiglia è non solo la potenza di calcolo pura, ma anche, e spesso soprattutto, il movimento dei dati tra memoria e unità di calcolo.
Da qui nasce una nuova generazione di aziende che cercano di superare il modello classico basato su GPU general-purpose. Alcune puntano su architetture deterministiche e programmabili, altre su compute-in-memory, altre ancora su chip progettati intorno a specifici modelli o famiglie di modelli. Fractile.ai, Groq e Taalas rappresentano tre approcci molto diversi allo stesso problema: rendere l’inference AI più veloce, economica ed efficiente dal punto di vista energetico.
I tre player in analisi
Fractile.ai
Fractile.ai è una startup focalizzata sull’accelerazione dell’inference per modelli AI avanzati. La particolarità del suo approccio è l’uso di un’architettura in cui memoria e calcolo sono fisicamente
interleavati. L’obiettivo è ridurre drasticamente il movimento dei dati, uno dei principali colli di bottiglia nell’esecuzione dei modelli generativi.
Idea chiave: Ridurre il costo dell’inference eliminando gran parte del trasferimento dati tra memoria e compute.
Posizionamento: Architettura radicale per inference di modelli frontier, con enfasi su throughput, latenza e costo per token.
Groq
Pagina ufficiale LPU Architecture: https://groq.com/lpu-architecture
Groq è uno dei player più noti nel mercato dell’inference AI alternativa alle GPU. Il suo prodotto centrale è la LPU, cioè Language Processing Unit, progettata per eseguire modelli linguistici con latenza molto bassa e comportamento deterministico.
Idea chiave: Rendere l’inference un processo altamente prevedibile, ottimizzato dal compilatore e progettato per la generazione rapida di token.
Posizionamento: Soluzione più matura e già commercialmente accessibile rispetto a Fractile e Taalas.
Taalas
Taalas propone uno degli approcci più estremi: trasformare direttamente i modelli AI in hardware. L’azienda parla di “Hardcore Models”, cioè modelli che non vengono semplicemente eseguiti su un chip, ma incorporati nel chip stesso.
Idea chiave: Non caricare il modello su un computer; produrre un chip che è, in parte, il modello stesso.
Posizionamento: Altissima specializzazione per modelli stabili e deployment su larga scala.
Confronto sintetico
| Azienda | Idea principale | Cosa resta flessibile | Cosa viene specializzato | Punto di forza | Rischio |
| Groq | Inference deterministica con LPU | I modelli restano software, entro i limiti supportati dalla piattaforma | Hardware ottimizzato per dataflow e inference | Maturità commerciale, bassa latenza | Meno radicale in termini di efficienza estrema rispetto a soluzioni hard-wired |
| Fractile.ai | Compute vicino o dentro la memoria | Potenzialmente più flessibile di un modello hard-wired | Layout fisico di memoria e compute | Attacco diretto al memory bottleneck | Tecnologia ancora da dimostrare su larga scala |
| Taalas | Modelli trasformati in silicon | Limitata: il modello base è fortemente incorporato nell’hardware | Modello e architettura del modello | Efficienza potenzialmente molto alta per modelli stabili | Obsolescenza se il modello cambia rapidamente |
Differenza concettuale in una frase
- Groq: “Rendiamo l’inference una catena perfettamente schedulata.”
- ai: “Portiamo il calcolo dentro la memoria per evitare di spostare continui dei dati.”
- Taalas: “Non eseguiamo il modello su un computer: costruiamo il modello come computer.”
Queste tre aziende non competono solo sullo stesso chip market; rappresentano tre diverse ipotesi su come evolverà l’infrastruttura AI.
Groq parte da una logica più vicina alla piattaforma: vuole offrire inference veloce, programmabile e utilizzabile oggi. È quindi interessante per chi cerca una soluzione concreta nel breve periodo.
Fractile.ai punta a un salto architetturale più profondo. Se la sua tecnologia di memoria e compute integrati funzionerà su modelli molto grandi, potrebbe ridurre in modo significativo il costo per token e il consumo energetico. Tuttavia, il rischio tecnico è più elevato.
Taalas rappresenta la scommessa più estrema: se il mercato convergerà su pochi modelli dominanti e relativamente stabili, costruire hardware specifico per quei modelli potrebbe essere molto efficiente. Se invece i modelli continueranno a cambiare rapidamente, la rigidità dell’approccio potrebbe diventare un limite importante.
Altri player da monitorare
Oltre a Fractile.ai, Groq e Taalas, esistono diversi player che stanno cercando di rendere l’inference AI più efficiente attraverso approcci alternativi alle GPU tradizionali.
Cerebras
Cerebras è nota per la sua architettura wafer-scale. Non è un approccio compute-in-memory come Fractile o hard-wired come Taalas, ma è uno dei player più importanti tra le alternative alle GPU per training e inference ad alte prestazioni.
d-Matrix
Azienda focalizzata su soluzioni di inference per AI generativa, con un approccio memory-centric. È probabilmente una delle realtà più vicine a Fractile dal punto di vista del problema affrontato: ridurre il costo e la latenza dell’inference nei data center.
EnCharge AI
Lavora su tecnologie di analog in-memory computing. È rilevante perché affronta lo stesso tema di fondo: ridurre il movimento dei dati e aumentare l’efficienza energetica del calcolo AI.
Etched
Etched è vicina a Taalas nella filosofia della specializzazione. Sta sviluppando hardware ottimizzato in modo molto aggressivo per architetture transformer.
Positron AI
Player focalizzato su hardware per inference LLM, con attenzione a memoria, throughput e costo per token. Meno estremo di Taalas, ma molto rilevante per il mercato dell’inference specializzata.
Untether AI
https://www.arm.com/partners/catalog/untether-ai
Untether AI lavora su architetture “at-memory” per l’inference efficiente.Concettualmente vicina alla tesi di Fractile: ridurre l’energia spesa nel movimento dei dati avvicinando calcolo e memoria.(ecosistema ARM)
SambaNova
SambaNova sviluppa sistemi basati su architettura dataflow e RDU, con una forte enfasi sull’esecuzione efficiente di modelli AI enterprise.
MatX
MatX lavora su chip pensati per carichi LLM, con attenzione a training, prefill, decode, reinforcement learning e long context.
Tenstorrent
Tenstorrent combina accelerazione AI e architetture RISC-V. È meno focalizzata esclusivamente sull’inference LLM rispetto a Fractile, Groq o Taalas, ma resta un player importante nel panorama dei chip AI alternativi.
Hailo
Hailo è forte nell’inference AI a basso consumo, soprattutto edge. Non è direttamente comparabile con Fractile o Taalas per modelli frontier in data center, ma è importante per il mercato dell’inference efficiente su dispositivi e sistemi embedded.
Axelera AI
Azienda europea focalizzata su acceleratori AI efficienti, soprattutto per edge e computer,
Mappa di posizionamento
| Categoria | Player rappresentativi | Logica tecnologica |
| Inference deterministica programmabile | Groq | Compilazione statica, dataflow prevedibile, bassa latenza |
| Compute-in-memory / memory-centric | Fractile.ai, d-Matrix, EnCharge AI, Untether AI | Ridurre movimento dati tra memoria e compute |
| Model-specific / transformer-specific silicon | Taalas, Etched | Specializzazione estrema su modelli o architetture specifiche |
| Alternative datacenter AI systems | Cerebras, SambaNova, Positron AI, MatX | Sistemi AI proprietari per throughput, latenza e costo per token |
| Edge inference efficiente | Hailo, Axelera AI | Basso consumo, deployment embedded, computer vision e AI locale |
Acquisizioni e consolidamento M&A
Il mercato dell’inference AI potrebbe andare incontro a una fase di consolidamento. Le grandi aziende dell’ecosistema AI, chipmaker, hyperscaler e cloud provider, potrebbero acquisire startup non solo per i prodotti, ma anche per IP, team ingegneristici e know-how architetturale. Alcuni segnali sono già visibili, come le acquisizioni di Run ai da parte di NVIDIA, Silo AI da parte di AMD, il team di Untether AI da parte di AMD e l’accordo di Qualcomm per Edge Impulse. Per player come Fractile.ai, Groq e Taalas, il tema sarà dimostrare che le rispettive architetture non sono solo promettenti, ma realmente integrabili in workload commerciali su larga scala. In quel caso, potrebbero diventare partner strategici o target di acquisizione per chi vuole ridurre la dipendenza dall’inference GPU tradizionale.
Conclusione
Il mercato dell’inference AI efficiente si sta frammentando in più direzioni.
Le GPU, e in particolare l’ecosistema NVIDIA, restano dominanti e continueranno a essere centrali per training, fine-tuning e molti workload di inference. Tuttavia, il costo crescente dell’esecuzione dei modelli generativi sta aprendo spazio a nuove architetture specializzate.
Groq è oggi il player più concreto tra i tre principali, perché ha già una piattaforma utilizzabile e una proposta chiara sulla bassa latenza. Fractile.ai è una scommessa architetturale sul superamento del memory bottleneck. Taalas è la scommessa più radicale: trasformare direttamente i modelli in hardware.
Il punto non è necessariamente immaginare una sostituzione immediata delle GPU, ma una possibile segmentazione del mercato dell’ inference. I carichi più generici, flessibili o in rapida evoluzione potrebbero continuare a restare su GPU e sistemi NVIDIA, mentre workload ripetitivi, ad alto volume o molto sensibili al costo per token potrebbero migrare verso chip più specializzati.
Questa dinamica potrebbe creare un mercato a più livelli: da un lato piattaforme general-purpose molto mature, dall’altro architetture verticali pensate per casi d’uso specifici. In questo scenario, il vantaggio competitivo non dipenderà solo dalla velocità del chip, ma anche dalla capacità di integrarsi nello stack software, supportare modelli reali e garantire disponibilità, scalabilità e costo prevedibile.
La domanda chiave per i prossimi anni sarà: l’inference AI richiederà hardware flessibile per modelli in continua evoluzione, oppure il mercato convergerà su pochi modelli stabili abbastanza da giustificare silicon dedicato? La risposta determinerà quali di questi approcci avrà il maggiore vantaggio competitivo.
Rimaniamo in contatto
compila il form