ADELEAN

Lucian Precup

Président

+33 6 84 27 07 91

www.adelean.com

Analytique

API

Applications

Dataviz

Infrastructure

Institutionnels

Consultants/SSII

Intégrateurs

Cinq cas d’utilisation Elastic et les solutions Adelean

Depuis quelques années, Elasticsearch s’est imposé comme la technologie de choix pour les moteurs de recherche et l’analyse de données. Adelean intègre des solutions Lucene, Elasticsearch et leur écosystème depuis 2010 à l’époque où le marché de ces technologies était encore une niche. Avec, parmi vous, une vingtaine de clients par an depuis 2013 nous rencontrons autant de cas d’utilisations différents. Certains se distinguent par leur originalité, leurs challenges ou leurs solutions innovantes. Nous allons vous présenter ici cinq d’entre eux, cas d’usage et solutions qui vont vous donner un aperçu des capacités des suites logicielles d’Adelean et Elastic.

 

L’approche Adelean

Pour qu’un moteur de recherche ou d’analyse de données soit pertinent et performant, Adelean prend en compte trois aspects :

- L’indexation et la modélisation des données

- La construction des requêtes de recherche et les services

- La configuration de la plateforme Elasticsearch elle-même

Le tout piloté par une API transverse et une Interface d’Administration puissante : la Business Console.

Perdre de vue un seul de ces aspects mène à des solutions partielles. Sans modélisation ni préparation des données avant l’indexation dans Elasticsearch, les possibilités de recherche et d’analyse sont limitées. Le langage technique d’Elasticsearch (le « Query DSL ») est très puissant, mais peut être aussi très complexe. Or la qualité de la requête a un impact important sur les performances et la pertinence de la recherche. Pour finir, une bonne configuration de la plateforme (analyseurs de texte, mapping et types de données, cache, etc.) améliore de beaucoup le résultat.

 

Quelques cas d’utilisation et les solutions Adelean

 

L’application de gestion et la recherche dans la base client

Nous rencontrons souvent ce cas d’utilisation chez nos clients dans le monde de l’assurance, qui avec la banque correspond à 30 % de l’activité d’Adelean. Il s’agit de clients qui migrent leur architecture monolithique construite autour d’une base de données relationnelle vers une architecture plus ouverte, basée sur des microservices et sur un ensemble de systèmes de stockage choisi en fonction des besoins métier. On parle alors de persistance polyglotte. Introduire une technologie NoSQL comme Elasticsearch dans l’architecture d’entreprise présente de multiples avantages :

- Les performances sont maximisées impliquant une fluidité accrue des applications,

- L’implémentation est plus facile et les applications plus riches en fonctionnalités

- Le système est scalable et peut accueillir de plus en plus de données.

Adelean a construit des systèmes rendant possible, dès les premières phases d’un projet, le passage des Clients aux Contrats et aux autres Objets Métier puis à la GED ou même aux réseaux sociaux et internet. Une vision 360° est alors offerte aux utilisateurs de l’application.

 

La catégorisation et l’analyse des tendances

Nous utilisons Elasticsearch et son interface graphique Kibana pour des problématiques parfois réservées à l’intelligence artificielle : la catégorisation automatisée des contenus et l’analyse des tendances et sentiments (aussi appelée « Sentiment Analysis »). Dans ce cas d’utilisation, Elasticsearch a deux atouts majeurs :

- il est scalable et peut traiter des très gros volumes de données rapidement ;

- il bénéficie de toute la puissance de la technologie Lucene pour l’analyse du texte.

Pour implémenter ce cas d’utilisation, nous utilisons trois fonctionnalités d’Elasticsearch que nous citons pour les plus techniques d’entre vous :

- Les agrégations « Terms » et « Significant Terms », ou leur alternative propriétaire « Graph API » de X-Pack, pour détecter les « top terms », mais aussi les fameux « signaux faibles » ou « maximum relatifs ».

- La « Percolate Query » utilisée pour tester des milliers de requêtes stockées dans un index spécifique et permettant de catégoriser chaque document.

- L’interface Kibana pour donner la main à l’utilisateur métier pour le pilotage, l’ajustement et le suivi des algorithmes et de leur pertinence.

Le savoir-faire d’Adelean permet l’utilisation pertinente et innovante de fonctionnalités avancées d’Elasticsearch.

 

Le cas d’utilisation « Enterprise Search Appliance »

Ce cas d’utilisation est large. Il représente par ailleurs environ 30 % de nos projets. Pour un meilleur service, nous avons construit notre solution Adelean Enterprise Search sur trois piliers :

- L’intégration dans votre SI. Beaucoup de données d’entreprise sont difficiles d’accès. Les sites intranet sont développés sans contraintes SEO, si bien que leur indexation relève du « reverse engineering ». Les données sont éparpillées dans des sources hétérogènes : bases de données, SharePoint, partages réseau, e-mails, sites intranet, etc. Enfin, l’accès aux données est souvent protégé par des systèmes d’authentification et de gestion des droits. Adelean propose surtout des solutions qui s’adaptent à l’entreprise.

- La sécurité. Adelean prend ce point au sérieux. Les données dans une entreprise sont précieuses et doivent être protégées du vol ou de la divulgation. Des droits d’accès sont définis à tous les niveaux et dans tous les systèmes. Adelean Enterprise Search intègre les droits d’accès dans ses APIs de recherche. Un utilisateur n’aura accès qu’aux documents et informations auquel il a accès dans le système source.

- L’enrichissement. En collectant les données à la source, Adelean conserve la sémantique des données. Là où un site internet ou intranet ne présente souvent que du texte, Adelean peut se connecter à la base de données qui a généré le site et mieux identifier la nature du texte. Il est ainsi capable de distinguer un menu, un paragraphe, un article de blog ou une carte de visite.

 

Le cas d’utilisation e-commerce

C’est peut-être le cas d’utilisation le plus classique et le plus ancien des moteurs de recherche d’entreprise. Et pourtant il laisse encore la place à beaucoup d’innovation. Il représente aussi 30 % des cas d’utilisation d’Adelean. Les particularités des moteurs de recherche e-commerce sont multiples. De nombreux facteurs entrent dans le calcul de la pertinence des résultats, en plus du texte de la fiche descriptive. La popularité, la nouveauté, le stock, la marge, le chiffre d’affaires ou les accords avec les fournisseurs sont tout aussi importants.

Un moteur de recherche e-commerce est un moteur vivant. La saisonnalité, les lancements des campagnes ou de nouveaux produits, la fluctuation du stock en temps réel sont autant des facteurs qui agissent sur la base des documents indexés ainsi que sur la pertinence et les performances du moteur. C’est pourquoi la Business Console d’Adelean permet de surveiller et d’ajuster en permanence les réglages du moteur pour de meilleurs résultats. Grâce à la couche de Services, Adelean permet de croiser les données du moteur de recherche avec des profils utilisateur transformant ainsi le moteur de recherche en moteur de recommandation.

Pour de meilleurs résultats, Adelean a mis l’accent sur la couche d’Indexation. Elle alimente le moteur avec toutes les données nécessaires que ce soit les fiches produit, les stocks, les prix, mais aussi l’historique des recherches. En croisant les données avant l’indexation, et non pendant la recherche, elle garantit des temps de réponse très faibles. De plus, dans un contexte de fournisseurs de type « Marketplace » la couche d’Indexation permet d’homogénéiser les fiches descriptives de produits provenant de plusieurs fournisseurs. Il est même possible d’indexer d’autres types de contenus, comme du contenu éditorial, à côté des produits.

 

L’analyse de données et la BI

Elasticsearch et son écosystème (comme Logstash, Beats ou Kibana) sont aussi utilisés dans l’analyse de données et l’analyse « temps réel ». Ils se sont d’ailleurs créé une forte réputation dans l’analyse des logs. Avec des fondateurs venant du monde de la BI (et ayant développé les produits de Business Objects et SAP), Adelean maîtrise le traitement des données et leur visualisation de manière optimale. Plutôt que de se contenter d’envoyer les données à Elasticsearch de la manière la plus directe possible, nous menons un travail de préparation et modélisation des données en amont. La quasi-totalité de nos projets compte des mini-ETLs s’occupant de l’agrégation, de la consolidation, du nettoyage, de l’enrichissement et de la modélisation de données avant l’indexation par le moteur de recherche. Notre « tagline » est « Extract, Transform and Search ». Et c’est pour cela que nos clients et partenaires reconnaissent nos moteurs comme encore plus performants et pertinents.

ADELEAN

Lucian
PRECUP

CEO

interview

De l’intégrateur Elasticsearch au futur (et meilleur) « Google Search Appliance »

 

 

Comment se définit Adelean ? Une société de conseil ? Un intégrateur ? Un éditeur de logiciels ?

Nous sommes tout ceci à la fois. Nous avons démarré en 2010 en tant que société de conseil autour des moteurs de recherche. Très vite nous avons misé sur la technologie Elasticsearch et son écosystème dont nous sommes devenus l’intégrateur de référence en France. Nous développons actuellement une solution verticale pour l’indexation, la recherche et l’analyse de données d’entreprise.

 

Qui sont les clients d’Adelean ?

Depuis 2013, nous avons une vingtaine de clients par an. Nous sommes basés en Île-de-France et desservons toute la France de Bordeaux à Lille et de Rennes à Metz. Nous avons également quelques clients en Belgique et Canada. Nous travaillons pour de grands groupes, mais également pour des startups, des associations. Parfois, des freelances ou de très petites entreprises nous sollicitent aussi. Nous sommes très impliqués dans la relation avec nos clients. Nous aidons nos sponsors à évoluer dans leurs projets et fonctions, les startups à lever des fonds, les petites entreprises à avancer.

 

Quelle est la relation d’Adelean avec Elastic ?

Nous suivons Elasticsearch et Elastic depuis très longtemps. Nous nous sommes spécialisés sur l’intégration et le conseil autour de la Suite Elastic depuis 2011 et, depuis la même époque, les projets autour de ces technologies et leur écosystème (Open Source ou commercial) représentent 90 % de notre activité. Nous avons vu grandir la technologie, et la société Elastic nous a permis de grandir à son tour. Nous participons régulièrement aux événements et formations qu’elle organise. C’est nécessaire pour rester à jour compte tenu du rythme soutenu des développements et la fréquence de sortie des versions.

Adelean a été sponsor des deux éditions de la conférence Elastic{ON} à Paris et a fait trois fois le déplacement à l’édition de San Francisco.

Cela dit, Adelean n’est pas affilié à Elastic et reste un acteur indépendant. Notre point de vue externe est très apprécié par nos clients. Il nous arrive de préconiser ou de mettre en œuvre des technologies concurrentes lorsqu’elles sont plus pertinentes.

 

Elastic est-il en train de devenir un concurrent d’Adelean et vice-versa ?

L’équipe d’Elastic s’est étoffée ces dernières années, surtout au niveau commercial. De l’éditeur fournissant des logiciels, du support et de la formation, Elastic propose maintenant des prestations de consulting et a ses propres équipes d’architectes solutions. A l’inverse Adelean, historiquement positionné sur le conseil et l’intégration, propose maintenant une solution logicielle, du support et de la formation. Mais nos offres restent complémentaires : Adelean Enterprise Search étend Elasticsearch et Elastic fourni le cœur du moteur d’Adelean. Elastic propose des formations publiques et exhaustives, Adelean des ateliers intra-entreprise et adaptés à des cas d’utilisation spécifiques. Elastic commercialise un support de production 24/7, Adelean fourni un support de proximité et réservé aux clients ayant auparavant fait appel aux prestations de conseil et intégration.

 

Est-il vrai qu’il n’y a pas de fonction commerciale chez Adelean ?

Chez Adelean nous mettons l’accent sur l’excellence technique. C’est la qualité du travail de nos ingénieurs qui fait vendre nos prestations, souvent par le bouche-à-oreille. Cela dit, nous dépendons beaucoup des forces commerciales de nos partenaires. Ce sont nos clients, nos collègues ainsi que nos partenaires qui développent les aspects commerciaux, permettant à Adelean de rester concentré sur la technique.

 

En quoi la solution d’Adelean est meilleure que l’ancienne « Google Search Appliance » ?

Google a appris aux entreprises à rendre leur site performant et « responsive », à utiliser HTTPS, à ne pas dupliquer les contenus… Il a mis à leur disposition la « Search Console », un outil référençant les erreurs et donnant les clés pour leur correction. Google a surtout appris aux entreprises comment s’adapter à son moteur. Dans le monde des données d’entreprise, ceci fonctionne moins bien. Les données d’une entreprise se trouvent dans des sources hétérogènes (bases de données, SharePoint, partages réseau,
e-mails, sites intranet, etc.) souvent impossibles à modifier ou à adapter à un quelconque crawler, indexeur ou moteur de recherche. C’est donc au moteur de s’adapter à cette diversité, à faire le maximum pour extraire les données de là où elles sont sans exiger des modifications à la source. Et c’est ce que notre solution Adelean Enterprise Search fait. Arrivent ensuite les contraintes de sécurité qui sont beaucoup plus fortes en entreprise.

 

En quoi les contraintes de sécurité complexifient-elles la vie d’un moteur de recherche ?

Lorsque nous indexons les données internes d’une entreprise, des problématiques de sécurité se posent sérieusement. Il y a d’abord l’accès aux données : souvent les mécanismes d’authentification sont complexes et hétérogènes (il faut naviguer entre SSO, authentification HTTP, certificats, SAML, JWT, Kerberos, etc.). Il faut ensuite reproduire la hiérarchie de rôles et droits d’accès dans le moteur d’indexation pour que, lors de la recherche, les résultats soient filtrés selon les droits de l’utilisateur qui l’a lancée. Certaines problématiques se posent aussi dans le cas extrême où le moteur lui-même n’a pas le droit de stocker une donnée en clair. Il y a, dans ce cas, un compromis à faire entre les fonctionnalités du moteur et la sécurité des données.

 

Quels sont les plus d’Adelean pour l’indexation des données d’entreprise ?

Nous avons déjà la capacité de nous connecter à beaucoup de sources de données. Si un connecteur nous manque ou si une source nécessite une attention particulière et spécifique, nous le développons avec notre client. La vision « bout en bout » (indexation, configuration, recherche) avec une console d’administration (Business Console) est aussi un atout pour nous. Nous pouvons ensuite mentionner l’indexation « temps réel » de certaines sources de données, la génération des aperçus et vignettes, l’extraction des entités nommées, l’OCR, la catégorisation et le rajout de la sémantique. Ainsi que toutes les fonctionnalités de type ETL et notamment le nettoyage et l’homogénéisation des données hétérogènes. Pour finir, nous avons fait le chemin inverse de Google : nous sommes partis des moteurs de recherche pour le e-commerce, les bases de données client, les GED – des données souvent très structurées – pour arriver aux données non structurées ou semi-structurées. Notre premier réflexe est donc de structurer et de rajouter de la sémantique dans les données que nous indexons : les étapes en amont et en aval du moteur de recherche lui-même font partie intégrante de notre solution.

 

 

Lucian Precup est CEO d’Adelean et développe des solutions basées sur la Stack Elastic depuis 2011. Adelean est partenaire intégrateur d’Elastic depuis 2013 et développe des solutions verticales pour l’indexation, la recherche et l’analyse de données d’entreprise. Auparavant et avec une équipe de chercheurs de l’INRIA, Lucian a développé des logiciels pour l’intégration de données en temps réel chez Business Objects et SAP.