Il est possible de créer une IA Générative sans succomber à une solution sur étagère

Accroche

Les solutions d’IA générative "clé en main" séduisent par leur simplicité, mais présentent des limites face aux exigences des organisations : conformité, souveraineté, et intégration au système d’information. Et si la réponse résidait dans la construction de sa propre solution Open Source ?

Contenu de la conférence

Notre retour d’expérience permet de revenir sur l'histoire de la construction de la solution Open Source NéoGen. Un projet dédié à la construction d'une IA générative souveraine, frugale et adaptée aux besoins métiers. Dans ce témoignage, nous reviendrons sur : * Les 6 critères qui nous ont conduit à la mise en œuvre de ce projet : conformité, disponibilité, neutralité, efficience, souveraineté, expertise, * Les limites des solutions grand public face à l'intégration au système d'information et l'exploitation de nos bases de connaissances, * Les choix d'architecture permettant de limiter l’impact : usages ciblés, scalabilité, optimisation des ressources, * L’approche Open Source : choix des composants, sélection des modèles et veille technologique.

Détail de la conférence

• Pourquoi disposer de sa propre IA Générative ? Retour sur les 6 critères de choix qui nous ont conduit à la construction de notre propre solution
  • Conformité à la réglementation et à nos contrats
  • Disponibilité de la solution pour l’ensemble des salariés
  • Neutralité de la solution vis-à-vis d’éditeurs et maitrise du modèle économique
  • Efficience de la solution et limitation de son impact
  • Souveraineté dans la construction et la diffusion
  • Développement de notre expertise sur ces solutions
• Quelles sont les limites des solutions grands publiques ?
  • Des solutions facilement accessibles et qui répondent à des questions "grand public"
  • Mais elles ne répondent pas systématiquement aux besoins internes des organisations
• Comment anticiper sur les évolutions suivantes ?
  • Interconnecter les IA au SI existant et de façon plus forte à l'avenir (IA Agentique)
  • Intégrer ce type d'applicatif au cœur du système d'information nécessite une pleine maîtrise
• Comment limiter les impacts d'une IA Générative ?
  • Se questionner sur les usages réels de l'IA par ses salariés : a-t-on réellement besoin de générer la recette d'une pâte à crêpe ? Pourquoi vouloir générer un starter pack ?
  • Penser une solution adaptée aux usages actuels et extensible par la suite : pourquoi prendre une solution qui peut faire beaucoup de chose si la majeure partie ne sera pas utilisée ?
  • Poser une architecture cohérente et soutenable dans la durée : ai-je réellement besoin d'acheter 30 nœuds de GPU qui seront dépassés dans 6 à 12 mois ?
• Quelles orientations prendre pour une approche souveraine ?
  • Choisir un hébergement adapté : comment trouver de la puissance de calcul en France ?
  • S'appuyer sur une communauté Open Source généreuse et fortement active
  • Choisir les modèles adaptés à ses usages et être en veille

Quels bénéfices pour les participants ?

• Comprendre comment évaluer la pertinence d’un projet interne VS une solution publique
• Découvrir les leviers permettant de limiter l’empreinte environnementale
• Repartir avec des réponses concrètes pour initier un projet similaire

Mots clés

IA Générative ; Open Source ; Frugalité ; Efficience ; Souveraineté