Granite 3.1 (IBM): LLM open source enterprise multilingue

Cos'è

Granite 3.1 è una famiglia di modelli linguistici di fondazione sviluppata da IBM e rilasciata come open source. Si tratta di modelli pensati principalmente per l'uso aziendale: leggeri, personalizzabili e adatti a girare anche su risorse di calcolo contenute, dal cloud privato fino a deployment on-premise o edge. La famiglia è composta da quattro varianti principali, suddivise in due architetture:

• Modelli densi: 2B e 8B di parametri, addestrati su 12 trilioni di token.
• Modelli Mixture-of-Experts (MoE): 1B e 3B di parametri totali, con rispettivamente 400M e 800M di parametri attivi per token, addestrati su 10 trilioni di token.

Per ciascuna scala IBM mette a disposizione sia un modello base (checkpoint post pre-training) sia una versione instruct (affinitata per dialogo, istruzioni, sicurezza e utilità). I modelli base sono pensati per chi vuole fare fine-tuning su domini specifici o costruire varianti specializzate; i modelli instruct sono già pronti per essere usati come assistenti conversazionali e per task di ragionamento. Tutti i modelli sono rilasciati con licenza Apache 2.0, che ne permette l'uso commerciale e la modifica senza richiedere royalty.

A cosa serve

Granite 3.1 è progettato per compiti testuali complessi in ambito enterprise. I casi d'uso principali includono:

• Retrieval Augmented Generation (RAG): generazione di risposte basate su knowledge base aziendali, riducendo le allucinazioni legate alla memoria parametrica del modello.
• Agenti AI e function calling: esecuzione di chiamate a strumenti esterni, API, database e servizi interni, con formati strutturati per il dialogo tra modello e ambiente.
• Analisi e riassunto di documenti lunghi: contratti, report finanziari, manuali tecnici, atti normativi, trascrizioni di call e log estesi.
• Estrazione e classificazione di informazioni: identificazione di entità, relazioni, sentiment e attributi da testi non strutturati.
• Coding e assistenza allo sviluppo: completamento, spiegazione, debugging e documentazione di codice in più linguaggi di programmazione.
• Domande e risposte multilingue su documentazione interna o pubblica, con supporto diretto per l'italiano.

Accanto ai modelli generativi, IBM ha rilasciato anche i Granite Embedding, modelli di embedding ottimizzati per il retrieval, che supportano 12 lingue e dimensioni che vanno da 30M a 278M di parametri. Questi embedding sono progettati per essere veloci e compatti, favorendo la costruzione di motori di ricerca semantica su larga scala. Inoltre, la famiglia include , modelli specializzati nel rilevamento di allucinazioni, con particolare attenzione al function calling, per aumentare l'affidabilità e l'osservabilità degli agenti autonomi.