Jamba 1.6 (AI21 Labs): modello ibrido SSM-Transformer a contesto lungo

Cos'è

Jamba 1.6 è una famiglia di modelli di linguaggio di grandi dimensioni (LLM) sviluppata da AI21 Labs, azienda israeliana fondata nel 2017 da Amnon Shashua, Yoav Shoham e Ori Goshen. Rilasciata nel marzo 2025, la famiglia comprende due varianti: Jamba Mini 1.6 e Jamba Large 1.6. Entrambe adottano un'architettura ibrida che unisce i modelli a spazio di stato (SSM, comunemente noti come Mamba) con i tradizionali meccanismi di attenzione Transformer.

Dal punto di vista dimensionale, Jamba Mini 1.6 attiva 12 miliardi di parametri su 52 miliardi totali, mentre Jamba Large 1.6 attiva 94 miliardi di parametri su 398 miliardi totali. Il modello utilizza un'architettura a mistura di esperti (MoE), che attiva solo una frazione dei pesi totali per ogni token in ingresso. Entrambe le varianti condividono una finestra di contesto di 256.000 token, uno dei valori più ampi tra i modelli aperti disponibili al momento del rilascio.

A cosa serve

Jamba 1.6 è progettato per applicazioni enterprise che richiedono l'elaborazione di documenti lunghi e la comprensione di contesti estesi. I casi d'uso principali includono analisi di documenti legali e finanziari, riassunti di testi lunghi, ricerca aziendale, question answering con contesto ampio, retrieval-augmented generation (RAG) e revisione di codebase.

La famiglia supporta funzionalità avanzate come function calling, tool use e output strutturati in JSON, che permettono di integrare il modello in workflow automatizzati e agenti software. Supporta inoltre nove lingue: inglese, spagnolo, francese, portoghese, italiano, olandese, tedesco, arabo ed ebraico, con prestazioni particolarmente solide nelle lingue occidentali e nell'ebraico.

Come funziona

L'innovazione di Jamba 1.6 risiede nell'architettura ibrida SSM-Transformer. I modelli Transformer tradizionali eccellono nel pesare la rilevanza di diverse parti di un input, ma diventano computazionalmente costosi su sequenze molto lunghe a causa della complessità quadratica dell'attenzione. I modelli a spazio di stato come Mamba, invece, comprimono il contesto in uno stato latente di dimensione fissa, riducendo notevolmente il carico computazionale.

Combinando i due approcci, Jamba 1.6 sfrutta la precisione e le capacità di ragionamento dei Transformer per compiti complessi, mentre utilizza i componenti Mamba per gestire in modo efficiente sequenze estese. AI21 ha dichiarato che questa configurazione permette velocità di inferenza fino a 2,5 volte superiori rispetto a modelli densi di dimensioni comparabili, mantenendo al contempo qualità competitiva su benchmark come Arena Hard, CRAG e FinanceBench.

Perché conta per founder, PMI e agenzie italiane

Per imprese italiane, startup e agenzie, Jamba 1.6 offre un vantaggio concreto: la capacità di lavorare con testi lunghi in italiano senza frammentare il contesto. Questo si traduce in applicazioni come l'analisi automatica di contratti, la generazione di report da documentazione tecnica, l'assistenza clienti avanzata e la creazione di agenti interni per la ricerca aziendale.