Lexique · II · L'accès
Inférence
Aussi : inference
Le moment où le modèle travaille : il reçoit un contexte et produit sa réponse, token par token. Chaque requête est une inférence, et chacune a un coût.
L'analogie
La consultation chez un médecin. Dix années de formation ont façonné son jugement : c'est l'entraînement, fait une fois. Chaque consultation mobilise tout ce savoir sur votre cas particulier, sans le modifier : le médecin ne devient pas un autre médecin entre deux patients. L'inférence est la consultation : l'usage du savoir, pas sa fabrication.
Exemple concret
Chaque réponse de chat, chaque résumé automatique dans votre CRM, chaque tour de boucle d'un agent est une inférence. À l'échelle d'une organisation, cela devient des millions d'inférences par jour. Et c'est bien l'inférence, pas l'entraînement, qui remplit les datacenters, pèse sur les réseaux électriques et compose votre facture mensuelle.
Ce que ce n'est pas
Ce n'est pas de l'apprentissage : le modèle ressort inchangé de chaque requête. Ce n'est ni instantané ni gratuit : la latence et le coût par token dimensionnent ce qu'un usage peut être en production. Et ce n'est pas une recherche en base de données : le modèle ne retrouve pas une réponse stockée, il la produit. C'est sa force, et la source de ses aplombs erronés.
Souvent confondu avec
La distinction qui change la conversation.
- Entraînement
- L'inférence utilise des poids figés ; l'entraînement les fabrique. Sur le moment, une inférence n'apprend donc rien : vos données traversent le modèle sans s'y déposer. Mais le fournisseur peut conserver vos conversations pour un futur entraînement : les offres grand public le font souvent par défaut, les offres entreprise non. C'est une clause de contrat, pas une mécanique : vérifiez-la.