OVHcloud annonce Olala mini 7A1B
OVHcloud annonce le lancement de sn premier LLM : Olala mini 7A1B. Olala mini repose sur une architecture de 7 milliards de paramètres (7B) avec un milliard activés répartis entre 256 experts par couche, l’attention hybride avec Differential-TPA et Mamba-3, au format BF16. Seule une fraction du modèle