Rapprochez l’IA générative et les LLM de vos données
La plateforme Snowflake unique en son genre a déjà aidé nos clients à s’affranchir des silos de données et leur a permis de bénéficier de diverses possibilités de développement directement là où se trouvent leurs données. Notamment la possibilité d’exécuter et d’ajuster les principaux LLM dans Snowflake grâce à Snowpark Container Services, de tirer le meilleur parti des données grâce aux LLM intégrés et d’améliorer la productivité à l’aide d’expériences alimentées par les LLM. Poursuivez votre lecture pour en savoir plus sur ces annonces.
Rapprochez les LLM de vos données
Lors du Summit, nous avons lancé Snowpark Container Services (en private preview), un outil qui permet aux développeurs d’enregistrer et de déployer facilement des applications de données conteneurisées à l’aide d’une infrastructure sécurisée gérée par Snowflake, proposant des options matérielles configurables telles que le calcul accéléré avec les processeurs graphiques NVIDIA. Cette flexibilité supplémentaire élargit de manière significative le champ d’application de l’IA et du machine learning, ainsi que des workloads d’application pouvant être directement intégrés aux données Snowflake.
Afin que nos clients puissent exploiter les principaux LLM plus facilement et de façon plus sécurisée, Snowpark Container Services peut être utilisé dans le cadre d’une application native Snowflake, permettant aux clients d’accéder directement aux principaux LLM sur la Marketplace Snowflake, et de les installer et les exécuter entièrement sur leurs comptes Snowflake. Parmi les premiers LLM commerciaux, on trouve AI21 Labs, Reka ou NVIDIA (environnement NeMo faisant partie de la plateforme logicielle NVIDIA AI Enterprise).
Pour ces fournisseurs, le poids de leurs LLM et toute autre propriété intellectuelle ne sont pas exposés au client de l’application, car la logique et les données de l’application native Snowflake ne sont pas accessibles au client final, même lorsque l’application est déployée et exécutée dans Snowpark Container Services sur le compte Snowflake du client final. Étant donné que le LLM s’exécute depuis le compte du client final, les données d’entreprise gouvernées utilisées à des fins d’optimisation ou pour toute autre interaction avec le LLM ne sont jamais exposées au fournisseur. Les deux parties y trouvent leur compte. Visionnez cette démo pour voir ce processus en action.
Donnez vie aux LLM grâce à Streamlit
Streamlit a été pensé comme un moyen simple et pratique de donner vie aux données et aux modèles d’IA et de ML sous la forme d’applications interactives conçues avec Python. Il en va de même pour les LLM. Rapidement, Streamlit s’est imposé comme une solution incontournable pour concevoir des interfaces utilisateur pour des applications alimentées par les LLM. En effet, plus de 7 000 applications Streamlit alimentées par les LLM ont déjà été créées sur le Community Cloud, un nombre qui ne cesse d’augmenter chaque jour. Plus de 190 000 extraits de code Streamlit existent rien que sur GitHub, facilitant les interactions avec GPT4 et d’autres LLM. Cela signifie que les analystes, les data scientists et même les étudiants peuvent effectuer rapidement des analyses, créer des prototypes de nouvelles applications et tisser des fragments Streamlit auto-générés dans d’autres applications.
Grâce à l’intégration de Streamlit dans Snowflake (bientôt en public preview), les clients Snowflake peuvent utiliser Streamlit pour développer et déployer des interfaces utilisateur puissantes pour leurs applications et expériences alimentées par les LLM sans quitter la plateforme Snowflake. Ainsi, les entreprises peuvent partager facilement des applications en s’appuyant sur la gouvernance Snowflake existante et déployer rapidement ces applications sans contrainte opérationnelle grâce à une exécution totale sur la plateforme Snowflake.
Tirez le meilleur parti de vos données grâce aux LLM natifs
En outre, Snowflake conçoit des LLM directement dans la plateforme afin d’aider ses clients à améliorer leur productivité et à extraire de nouvelles informations à partir de leurs données. La compréhension et l’extraction de valeur à partir de données non structurées, comme des documents, constituaient un défi complexe pour ses clients. Au travers de Document AI (en private preview), Snowflake offre un LLM de pointe aidant nos clients à extraire des informations rapidement et en toute simplicité à partir de documents. Découvrez ce processus en action ici.
Document AI exploite un LLM multimodal conçu à cet effet, intégré nativement dans la plateforme Snowflake. Nos clients peuvent facilement extraire du contenu de leurs documents, tel que des montants de facture ou des clauses contractuelles, en toute sécurité, puis s’appuyer sur une interface visuelle et le langage naturel pour ajuster les résultats. Étant donné que toutes les fonctionnalités sont intégrées à la plateforme Snowflake unique, les développeurs et data engineers peuvent aussi effectuer une inférence en invoquant les modèles intégrés ou affinés via un programme, comme dans les pipelines Streams et Tasks ou dans les applications.
Optimiser la productivité grâce à des expériences alimentées par les LLM
Comme nous avons pu l’observer dans le secteur, les LLM constituent également un moyen performant d’accroître la productivité des utilisateurs, en réduisant le recours au codage manuel ou encore en favorisant la découvrabilité. Lors du Summit, nous avons présenté plusieurs améliorations en cours de développement, visant à offrir des expériences alimentées par les LLM aux clients Snowflake. Parmi ces améliorations figurent les expériences de recherche conversationnelle, pour aider nos clients à découvrir des données et des applications en se fondant sur des questions professionnelles dans la Marketplace Snowflake, ainsi que des fonctionnalités conversationnelles de conversion de texte en code, facilitant la consultation de données et la découverte de nouvelles informations dans Snowsight, même pour les utilisateurs qui ne maîtrisent pas le SQL. Nous continuerons d’apporter des améliorations dans ce domaine afin de permettre à tous, y compris aux personnes ne disposant d’aucune compétence de codage, de découvrir leurs données et d’en tirer profit.
Et maintenant ?
Gardez un œil sur notre site pour les développeurs pour en savoir plus sur la façon dont vous pouvez utiliser Snowflake pour tirer parti des LLM au sein de votre entreprise.
En savoir plus : pour en savoir plus sur la façon dont Snowflake conçoit une plateforme axée sur les données pour l’IA générative et les LLM, consultez ce blog.
Auteur : Torsten Grabs
ENGLISH VERSION
Snowflake’s single platform has already helped our customers break down data silos, and it enabled them to bring more types of development directly to their data. This includes the ability to run and fine-tune leading LLMs in Snowflake using Snowpark Container Services, get smarter about your data with built-in LLMs, and boost productivity with LLM-powered experiences. Read on to learn more about these announcements.
Bring LLMs to your data
At Summit, we announced Snowpark Container Services (private preview), which enables developers to effortlessly register and deploy containerized data apps using secure Snowflake-managed infrastructure with configurable hardware options such as accelerated computing with NVIDIA GPUs. This additional flexibility drastically expands the scope of AI/ML and app workloads that can be brought directly to Snowflake data.
To make it even easier and secure for customers to take advantage of leading LLMs, Snowpark Container Services can be used as part of a Snowflake Native App, so customers will be able to get direct access to leading LLMs via the Snowflake Marketplace and installed to run entirely in their Snowflake accounts. Initial commercial LLMs include AI21 Labs, Reka or the NVIDIA (NeMo framework, part of the NVIDIA AI Enterprise software platform).
For these providers, their LLM weights or other proprietary IP are not exposed to the app consumer, as the logic and data in the Snowflake Native App is not accessible to the end-consumer even when the app is deployed and running in Snowpark Container Services on the end-consumer’s Snowflake account. And since the LLM runs inside the end-consumer’s account, governed enterprise data used for fine-tuning or other interaction with the LLM is never exposed back to the provider. A win/win for both parties. Check out this demo to see this in action.
Bring LLMs to life with Streamlit
Streamlit has always had the vision to be an easy and delightful way to bring data and AI/ML models to life as interactive applications built with Python. And with LLMs, it’s no different. Streamlit has rapidly become the de facto way to build UIs for LLM-powered apps. In fact, over 7,000 LLM-powered Streamlit apps have already been created on the Community Cloud, with that number growing every day. Over 190,000 snippets of Streamlit code (and counting) exist on GitHub alone, all of which help interact GPT4 and other LLMs. This means that analysts, data scientists, and even students can quickly perform analyses, prototype new apps, and weave auto-generated Streamlit fragments throughout other apps.
With the integration of Streamlit in Snowflake (public preview soon), Snowflake customers can use Streamlit to develop and deploy powerful UIs for their LLM-powered apps and experiences entirely in Snowflake. This empowers teams to effortlessly share apps using existing Snowflake governance and quickly deploy those apps without operational burden because it is all running in Snowflake platform.
Get smarter about your data with native LLMs
Additionally, Snowflake is building LLMs directly into the platform to help customers boost productivity and unlock new insights from their data. One area that’s been especially challenging for customers is understanding and extracting value from unstructured data, such as documents. With Document AI (private preview), Snowflake is providing a leading LLM to help customers quickly and easily extract information from documents. See it in action here.
Document AI leverages a purpose-built, multimodal LLM that is natively integrated within the Snowflake platform. Customers can easily and securely extract content, such as invoice amounts or contractual terms from documents, and fine-tune results using a visual interface and natural language. Since it’s all part of Snowflake’s single platform, data engineers and developers can also perform inference by programmatically calling the built-in or fine-tuned models, like in pipelines with Streams and Tasks or in applications.
Boost productivity with LLM-powered experiences
As we’ve seen across the industry, LLMs can also be a powerful way to increase user productivity, from reducing the need for manual coding or aiding in discoverability. At Summit, we showcased a number of enhancements currently in development to bring LLM-powered experiences to Snowflake customers. This includes conversational search experiences to help customers discover data and apps based on business questions in the Snowflake Marketplace, as well as conversational text-to-code capabilities to make it easier for users to query data and discover new insights in Snowsight. We will continue to expand in this area to make it even easier for anyone, even non-coders, to discover and get value from their data.
What’s next:
Generative AI is causing a fundamental shift across software and enterprises but the journey is just getting started. Stay connected to our developer site to learn more about how you can use Snowflake to bring the power of LLMs to your enterprise.
Learn More: Learn more about how Snowflake is building a data-centric platform for generative AI and LLM. Read this blog.