Il y a un an, Databricks a acquis MosaicML pour 1,3 milliard de dollars. Maintenant rebaptisée Mosaic AI, la plateforme est devenue essentielle aux solutions d'IA de Databricks. Aujourd'hui, lors du Data + AI Summit de l'entreprise, elle lance un certain nombre de nouvelles fonctionnalités pour le service. Avant les annonces, j'ai parlé avec les co-fondateurs de Databricks, le PDG Ali Ghodsi et le CTO Matei Zaharia.
Databricks lance cinq nouveaux outils Mosaic AI à sa conférence : Mosaic AI Agent Framework, Mosaic AI Agent Evaluation, Mosaic AI Tools Catalog, Mosaic AI Model Training et Mosaic AI Gateway.
"Cela a été une année fantastique - des développements importants dans Gen AI. Tout le monde en est enthousiaste", m'a dit Ghodsi. "Mais les trois choses qui intéressent tout le monde sont toujours les mêmes : comment améliorer la qualité ou la fiabilité de ces modèles ? Ensuite, comment s'assurer que cela soit rentable ? Il y a une énorme variation de coûts entre les modèles ici - une énorme différence d'ordres de grandeur dans les prix. Et enfin, comment faire cela de manière à préserver la confidentialité de nos données ?"
Les lancements d'aujourd'hui visent à répondre à la plupart de ces préoccupations pour les clients de Databricks.
Zaharia a également noté que les entreprises qui déploient désormais des modèles de langage à grande échelle (LLMs) en production utilisent des systèmes qui ont plusieurs composants. Cela signifie souvent qu'ils passent plusieurs appels à un modèle (ou peut-être à plusieurs modèles également) et utilisent une variété d'outils externes pour accéder aux bases de données ou réaliser la génération augmentée par récupération (RAG). Ces systèmes composés accélèrent les applications basées sur LLM, économisent de l'argent en utilisant des modèles moins chers pour des requêtes spécifiques ou en mettant en cache des résultats et, peut-être plus important, rendent les résultats plus fiables et pertinents en augmentant les modèles de base avec des données propriétaires.
"Nous pensons que c'est l'avenir des applications d'IA de haute importance et à fort impact", a-t-il expliqué. "Parce que si vous y réfléchissez, si vous faites quelque chose de vraiment critique, vous voudrez que les ingénieurs puissent contrôler tous les aspects - et vous le faites avec un système modulaire. Nous faisons donc beaucoup de recherches de base sur la meilleure façon de créer ces systèmes pour une tâche spécifique afin que les développeurs puissent facilement travailler avec eux, connecter tous les éléments, tout tracer et voir ce qui se passe."
Quant à la construction de ces systèmes, Databricks lance deux services cette semaine : le cadre Mosaic AI Agent et le Catalogue d'outils Mosaic AI. Le Cadre d'Agent IA prend en charge la fonctionnalité de recherche vectorielle sans serveur de l'entreprise, devenue disponible en général le mois dernier, et fournit aux développeurs les outils pour construire leurs propres applications basées sur RAG au-dessus de cela.
Ghodsi et Zaharia ont souligné que le système de recherche vectorielle de Databricks utilise une approche hybride, combinant la recherche par mot-clé classique avec la recherche par incorporation. Tout cela est intégré en profondeur avec le lac de données de Databricks et les données sur les deux plates-formes sont automatiquement synchronisées. Cela inclut les fonctionnalités de gouvernance de la plateforme Databricks dans son ensemble - et en particulier la couche de gouvernance du catalogue Databricks Unity - pour garantir, par exemple, que les informations personnelles ne fuient pas dans le service de recherche vectorielle.
En parlant du Catalogue Unity (que la société ouvre progressivement), il convient de noter que Databricks étend maintenant ce système pour permettre aux entreprises de régir quels outils et fonctions d'IA ces LLMs peuvent utiliser pour générer des réponses. Ce catalogue, selon Databricks, rendra également ces services plus découvrables au sein d'une entreprise.
Ghodsi a également souligné que les développeurs peuvent maintenant utiliser tous ces outils pour construire leurs propres agents en chaînant des modèles et des fonctions en utilisant Langchain ou LlamaIndex, par exemple. Et en effet, Zaharia me dit que de nombreux clients de Databricks utilisent déjà ces outils aujourd'hui. "Il y a beaucoup d'entreprises qui utilisent ces choses, même les flux de travail de type agent. Je pense que les gens sont souvent surpris du nombre qu'il y a, mais il semble que c'est la direction que prennent les choses. Et nous avons également constaté dans nos applications d'IA internes, comme les applications d'assistant pour notre plateforme, que c'est la façon de les construire", a-t-il déclaré.
Pour évaluer ces nouvelles applications, Databricks lance également l'Evaluation d'Agent IA Mosaic, un outil d'évaluation assisté par IA qui combine des juges basés sur LLM pour tester la performance de l'IA en production, mais permet également aux entreprises d'obtenir rapidement des retours d'utilisateurs (et de les laisser annoter certains ensembles de données initiaux, également). Le Quality Lab comprend un composant UI basé sur l'acquisition de Lilac par Databricks plus tôt cette année, qui permet aux utilisateurs de visualiser et de rechercher d'énormes ensembles de données textuelles.
"Chaque client que nous avons dit : J'ai besoin de faire quelques annotations en interne, je vais faire faire cela par certains employés. J'ai juste besoin peut-être de 100 réponses, ou peut-être de 500 réponses - puis nous pouvons les intégrer dans les juges LLM", a expliqué Ghodsi.
Un autre moyen d'améliorer les résultats est d'utiliser des modèles affinés. Pour cela, Databricks propose désormais le service de formation de modèles Mosaic AI, qui permet à ses utilisateurs d'affiner les modèles avec les données privées de leur organisation pour les aider à mieux fonctionner sur des tâches spécifiques.
Le dernier nouvel outil est le Mosaic AI Gateway, que la société décrit comme une "interface unifiée pour interroger, gérer et déployer n'importe quel modèle open source ou propriétaire". L'idée est ici de permettre aux utilisateurs d'interroger n'importe quel LLM de manière gouvernée, en utilisant un magasin centralisé des identifiants. Aucune entreprise, après tout, ne veut que ses ingénieurs envoient des données aléatoires à des services tiers.
En période de budgets réduits, l'AI Gateway permet également aux services informatiques de définir des limites de taux pour différents fournisseurs afin de maintenir les coûts sous contrôle. De plus, ces entreprises bénéficient alors également d'un suivi et d'une traçabilité de l'utilisation pour le débogage de ces systèmes.
Comme me l'a dit Ghodsi, toutes ces nouvelles fonctionnalités sont une réaction à la manière dont les utilisateurs de Databricks travaillent désormais avec les LLMs. "Nous avons observé un grand changement sur le marché au cours du dernier trimestre et demi. Début de l'année dernière, quiconque vous parliez, ils diraient : nous sommes pour l'open source, l'open source est génial. Mais quand vous poussiez vraiment les gens, ils utilisaient Open AI. Tout le monde, peu importe ce qu'ils disaient, peu importe combien ils vantent la génialitude de l'open source, en coulisses, ils utilisaient Open AI." Maintenant, ces clients sont devenus beaucoup plus sophistiqués et utilisent des modèles ouverts (très peu sont vraiment open source, bien sûr), ce qui les oblige à adopter un tout nouvel ensemble d'outils pour aborder les problèmes - et les opportunités - qui en découlent.
