30 000 tables, zéro contexte : pourquoi l'architecture de données existante reste le plus grand ennemi de l'IA

Les ambitions de l’IA d’entreprise sont au point mort, non pas parce que les modèles sont difficiles à construire, mais parce que les fondations de données qui les sous-tendent n’ont jamais été conçues pour prendre en charge des charges de travail intelligentes à grande échelle – et une architecture de lac de données unifiée pourrait être la solution.

Le problème est particulièrement aigu pour les organisations existantes qui disposent d’infrastructures de données accumulées depuis des décennies et construites en silos. Alors que les entreprises s'efforcent de préparer leurs parcs de données à l'IA agentique, celles qui ne parviennent pas à remédier à la dette technique au niveau de la couche de données risquent de construire l'IA sur une base qui s'effondrera sous la pression réelle de la production, selon Debopriyo Nag (photo, à droite), responsable mondial des données et de l'analyse chez Quantiphi Inc. Cette perspective est peut-être mieux illustrée par le travail de Quantiphi avec John Wiley & Sons Inc., où la consolidation des données fragmentées est devenue la base d'un effort plus large de modernisation prêt pour l'IA.

« Lorsque nous avons commencé ce voyage, nous avons réalisé qu'il y avait d'énormes quantités de données réparties dans 30 000 tables réparties dans différentes unités commerciales et qu'elles fonctionnaient toutes à leur propre manière », a déclaré Nag. « Nous n'avons pas été en mesure de contextualiser les données pour l'IA en aval ou (la business intelligence). Nous n'avons pas été en mesure d'établir des connexions entre les données de différents domaines. »

Nag et Mehul Trivedi (à gauche), vice-président du groupe de la technologie chez Wiley, se sont entretenus avec Rebecca Knight de theCUBE à Phi Moments @ Next, lors d'une diffusion exclusive sur theCUBE, le studio de diffusion en direct de SiliconANGLE Media. Ils ont discuté de la manière dont Wiley remodèle son approche de la publication grâce à une architecture de lac de données unifiée. (* Divulgation ci-dessous.)

La stratégie unifiée de data lakehouse alimente la modernisation de Wiley prête pour l'IA

Wiley, une maison d'édition vieille de 219 ans, s'est retrouvée avec un écosystème de données fragmenté construit sur une décennie, dans lequel les unités commerciales individuelles géraient des entrepôts de données séparés avec des schémas incohérents dans des dizaines de milliers de tables. À l'approche des renouvellements de fournisseurs, l'entreprise a vu une opportunité de repenser l'ensemble de la pile plutôt que de simplement la renouveler, a noté Trivedi.

« (Nous avons demandé si) l'écosystème que nous avons aujourd'hui est le bon écosystème ? Est-ce quelque chose dans lequel nous devrions vraiment investir ou devrions-nous nous préparer à la nouvelle ère basée sur l'IA et le ML ? » » dit Trivedi. « Nous avons commencé à penser que nous devrions rechercher un écosystème de données holistique dans lequel nous disposons d'un écosystème de confiance (et) de la bonne manière de collecter nos données. »

BigQuery de Google Cloud est devenu la base de choix pour trois raisons : l'économie, l'intégration technologique et la flexibilité de l'open source. L'outil de migration d'IA propriétaire de Quantiphi, Codeaira, a permis à l'équipe d'automatiser la traduction des requêtes et la migration des pipelines sur les 300 téraoctets dans un délai de six à neuf mois – un délai qui s'étend généralement sur un à deux ans, a noté Nag. Les agents d'IA ont amélioré la précision et la rapidité tout au long des étapes de découverte, d'exécution et de validation de la migration.

« Les personnes qui vont (gagner cette bataille) sont les organisations qui se préparent pour le long jeu. 'Comment vais-je construire mon organisation pour les 10 prochaines années pour être compétitive dans ce genre d'environnement ?' », a déclaré Trivedi. « Nous devons vraiment nous assurer que nous investissons dans nos talents, dans nos collaborateurs et que nous veillons à ce que les gens soient guidés de la bonne manière. »

Voici l'interview vidéo complète, faisant partie de la couverture par SiliconANGLE et theCUBE de l'événement Phi Moments @ Next :

(* Divulgation : TheCUBE est un partenaire média payant pour l'événement Phi Moments @ Next. Ni Quantiphi, le sponsor de la couverture de l'événement theCUBE, ni les autres sponsors n'ont de contrôle éditorial sur le contenu de theCUBE ou SiliconANGLE.)

Photo : SiliconANGLE

Newsletter

Rejoignez notre newsletter pour des astuces chaque semaine