Formation : Llama

Module 1 — La famille Llama et son écosystème de modèles ouverts

• Comprendre le positionnement de Llama comme famille de modèles à poids ouverts (open-weight) publiée par Meta, téléchargeable librement sur llama.com et Hugging Face.
• Situer les générations, notamment Llama 3.1 (jusqu'à 405B), Llama 3.3 70B et Llama 4 (variantes Scout et Maverick, architecture Mixture-of-Experts) sortie en avril 2025.
• Distinguer poids ouverts et open source au sens strict, et lire la licence communautaire Llama ainsi que ses conditions d'usage commercial.
• Identifier les tailles de contexte et les variantes Instruct adaptées au dialogue et au suivi d'instructions.
• Cadrer les cas d'usage typiques : assistants internes, extraction de données, génération de texte et RAG sur documents d'entreprise.

Module 2 — Exécution en local et hébergement auto-géré

• Installer et lancer un modèle Llama en local via Ollama, LM Studio ou llama.cpp avec des poids quantifiés (GGUF).
• Estimer les besoins matériels (VRAM, RAM) selon la taille du modèle et le niveau de quantification (par exemple 4 bits).
• Comprendre l'arbitrage entre un petit modèle 8B exécutable sur une machine modeste et un 70B exigeant un GPU haut de gamme.
• Mettre en place un serveur d'inférence auto-hébergé avec vLLM exposant une API compatible OpenAI.
• Évaluer les enjeux de confidentialité et de souveraineté des données apportés par une exécution entièrement locale.

Module 3 — Intégration via API et fournisseurs hébergés

• Comprendre que Meta oriente désormais la production vers des fournisseurs tiers hébergeant les modèles Llama.
• Comparer les principaux hébergeurs : Together AI, Fireworks, Groq, Replicate, DeepInfra, AWS Bedrock et Azure AI.
• Exploiter une API compatible OpenAI pour envoyer des requêtes de complétion et de chat avec paramètres temperature et max tokens.
• Gérer les clés d'API, les quotas et la limitation de débit (rate limiting) en environnement de production.
• Structurer des prompts système et des messages pour fiabiliser les réponses des modèles Instruct.

Module 4 — Coût, performance et choix de déploiement

• Comparer les tarifs par million de tokens entre hébergeurs, par exemple Llama 3.3 70B autour de 0,10 à 1,04 $ en entrée selon le fournisseur.
• Arbitrer entre auto-hébergement (coût à l'heure de GPU) et API à l'usage (coût au token) selon le volume.
• Mesurer la latence, le débit (tokens/s) et la taille de contexte utile pour dimensionner une solution.
• Choisir la taille de modèle adaptée à la tâche pour optimiser le rapport coût/qualité.
• Anticiper les coûts cachés : maintenance, mises à jour, supervision et disponibilité.

Module 5 — Mise en production, gouvernance et bonnes pratiques

• Concevoir une architecture d'intégration : passerelle d'API, cache, journalisation et supervision.
• Mettre en place une démarche d'évaluation de la qualité des réponses (jeux de tests, mesures de régression).
• Traiter les enjeux de sécurité : filtrage des entrées, gestion des injections de prompt et des sorties sensibles.
• Documenter la conformité RGPD et la localisation des traitements selon le mode d'hébergement retenu.
• Établir un plan de maintenance couvrant montées de version, surveillance des coûts et amélioration continue.