Faire tourner un modèle de langage sur ses propres serveurs

La question revient à chaque première visite, formulée de vingt manières différentes : est-ce qu’on peut avoir l’intelligence artificielle sans envoyer nos dossiers à l’autre bout du monde. La réponse est oui, depuis moins longtemps qu’on ne le croit, et elle change ce qu’une entreprise peut confier à un système.

Ce que « en local » veut dire exactement

Un modèle de langage est un fichier. Un très gros fichier, plusieurs dizaines de gigaoctets, mais un fichier. L’utiliser consiste à le charger en mémoire et à lui faire traiter un texte. Quand vous passez par un service en ligne, ce chargement et ce traitement ont lieu chez le fournisseur, sur ses machines, avec votre texte qui a fait l’aller-retour. Quand vous l’installez en local, tout se passe sur une machine que vous possédez, dans un bâtiment dont vous avez la clé.

La différence n’est pas contractuelle, elle est physique. Il n’existe aucun chemin par lequel la donnée pourrait sortir, parce qu’aucune connexion n’est ouverte vers l’extérieur pour ce traitement. C’est une propriété qu’on peut démontrer à un auditeur, ce qu’aucune clause de confidentialité ne permet.

Ce qu’il faut comme matériel

Le facteur limitant est la mémoire vidéo. Un modèle utile pour du travail de bureau tient aujourd’hui dans une carte graphique professionnelle unique, et une machine capable de servir une équipe entière coûte moins cher qu’une année d’abonnements pour cette même équipe. Pour beaucoup d’entreprises, le socle tient dans un boîtier posé dans le local technique, à côté du serveur de fichiers.

• Une entreprise de quelques personnes tourne sur une seule machine, souvent celle qui sert déjà de serveur de fichiers.
• Une entreprise de cinquante à deux cents personnes a besoin d’une machine dédiée, avec une seconde en secours.
• Au-delà, la question devient celle de la répartition de charge, et se traite comme n’importe quelle infrastructure interne.

Les modèles ouverts sont-ils au niveau ?

Pour la plupart des usages d’entreprise, oui, et c’est le point qui a changé le plus vite. Lire un contrat et en extraire les échéances, rédiger une réponse dans le style de la maison, retrouver une information dans quinze ans d’archives, classer des courriels, préparer un devis à partir d’affaires passées : ces tâches ne demandent pas le modèle le plus puissant du monde, elles demandent un modèle correct qui a accès aux bonnes données.

L’écart avec les meilleurs modèles fermés existe, mais il se joue sur des tâches de raisonnement long et de création, pas sur le travail quotidien d’une entreprise. Et il se paie, dans l’autre sens, par l’impossibilité de leur montrer vos données réelles.

Là où la limite est réelle

Un modèle local ne se met pas à jour tout seul, et personne ne corrige pour vous la version que vous faites tourner. Il faut donc quelqu’un pour surveiller, mettre à jour et remplacer le modèle quand un meilleur sort. C’est la partie que nous prenons en charge, et c’est ce qui distingue une installation d’une expérimentation.

L’autre limite est humaine : un système installé sans que personne ne sache quoi lui demander ne sert à rien. C’est la raison pour laquelle nous commençons toujours par l’audit sur place, décrit sur la page notre approche, plutôt que par le matériel.

Un outil auquel vous ne pouvez montrer que la moitié de vos dossiers ne vous fait pas gagner la moitié du temps. Il vous en fait perdre à trier ce que vous avez le droit de lui donner.

Si vous voulez voir ce que cela donnerait chez vous, l’audit se fait dans vos murs, et vous repartez avec un plan concret que vous travailliez avec nous ou non. La question réglementaire, elle, est traitée dans IA et protection des données.