Command R7B (Cohere): LLM enterprise 7B open weights

Cos'è Command R7B

Command R7B è un large language model (LLM) sviluppato da Cohere e rilasciato come open weights research da Cohere Labs. Appartiene alla famiglia 'R' di modelli enterprise di Cohere, di cui rappresenta la variante più leggera e veloce. La sua architettura conta 7 miliardi di parametri e una finestra di contesto di 128.000 token, una combinazione che lo colloca nella fascia dei modelli compatti ma con ampio raggio d'azione su documenti lunghi.

A differenza di molti modelli della stessa taglia, Command R7B non è pensato solo per la generazione di testo generica: è stato addestrato specificamente per compiti enterprise come il Retrieval Augmented Generation (RAG), il tool use conversazionale, il ragionamento multi-step e la scrittura o la traduzione di codice in contesti reali, come query SQL e migrazioni tra linguaggi.

A cosa serve

Command R7B si distingue per la versatilità in applicazioni a latenza ridotta e alto throughput. È particolarmente indicato per:

• Chatbot e assistenti virtuali: grazie alla modalità conversazionale, risponde in modo interattivo, pone domande di follow-up e formatta output in Markdown e LaTeX quando utile.
• RAG su documenti lunghi: gestisce contesti estesi e genera risposte basate su frammenti di documento forniti dall'esterno, con buona capacità di estrarre e manipolare informazioni numeriche, ad esempio in ambito finanziario.
• Agenti autonomi: supporta l'uso di più tool in sequenza, permettendo di costruire agenti REACT che pianificano sotto-obiettivi, cercano informazioni e chiamano API.
• Coding e SQL: Cohere segnala miglioramenti significativi rispetto ai modelli della stessa dimensione su benchmark aziendali di codice, traduzione tra linguaggi e generazione SQL.
• Summarization, Q&A e classificazione: in modalità instruct, fornisce risposte concise e mirate, adatte a estrarre dati, riassumere testi e tradurre.

Come funziona

L'architettura di Command R7B è un transformer auto-regressivo ottimizzato. Secondo la model card pubblicata su Hugging Face, il modello combina tre strati con sliding window attention (finestra di 4.096 token) e RoPE (Rotary Position Embedding) per modellare relazioni posizionali locali in modo efficiente, mentre un quarto strato usa global attention senza embedding posizionali, permettendo interazioni a lungo raggio su tutta la sequenza.

L'addestramento prevede una fase di pre-training, seguita da supervised fine-tuning (SFT) e , per allineare il comportamento del modello a preferenze umane in termini di utilità e sicurezza. Command R7B supporta due modalità operative: