Eram

Data Factory : implémenter et piloter les flux multicanaux du groupe Eram

Le contexte

Accompagner la croissance externe du Groupe Eram avec la donnée comme moteur

Le groupe Eram regroupe 9 marques dans la fabrication de chaussures et le textile.
Historiquement situées dans l’Ouest de la France, les activités du groupe s’étendent aujourd’hui à tout l'hexagone ainsi qu'à l’international. Pour servir l’ensemble de ces activités, la DSI du groupe a choisi de centraliser ses ressources dans le cloud en remplacement de ses data centers historiques.

L'enjeu

Harmoniser l’ensemble des flux de données via une plateforme de médiation Data

Le projet a pour ambition d’interconnecter entre elles toutes les briques du système d’information (SI) et de desservir tous les sites d’activités qui doivent échanger des données : ateliers, entrepôts, magasins, sièges, infocentres locaux. Le défi était de concevoir une plateforme de gestion de flux autoportante et polyvalente, capable d’adresser tous les types de flux (fichiers, data, messages), et “scalable” à mesure que le nombre de flux va croître.

Notre accompagnement

Une plateforme unique de gestion des flux dans le cloud

Pour répondre aux enjeux de centralisation, d’harmonisation et d’accélération de ces data :

Réalisation de la plateforme cloud sur base de composants open source, capable de s’adapter à la charge de flux attendue, que ce soit en mode accroissement continu ou en gestion de pics
Définition de briques open sources pour chacun des composants de la plateforme : kong (apim), Nifi (flux), Kafka (file d’événements), Air Flow (orchestration), ELK (logs et graphes de suivi)
Exécution de la plateforme avec le gestionnaire de conteneurs Kubernetes
Déploiement sur Google Cloud Platform
Transfert vers les équipes Eram des savoir-faire nécessaires pour la création et le déploiement de nouveaux flux

Le résultat

Plus de 200 flux déployés et pilotés en toute autonomie via une plateforme omnicanale et élastique

Après un premier déploiement en mode POC autour de quelques flux prototypes, la plateforme “Médiation” a atteint aujourd’hui sa vitesse de croisière avec plus de 200 flux déployés et l’ajout, à un rythme accéléré, de nouveaux flux tous les mois :

Architecture résiliente et à haute disponibilité
Déploiement sur Google Cloud Plateforme et exécution avec Kubernetes
Solution entièrement “portable”, sans dépendance avec le cloud provider
Composants open source qui ne provoquent pas d’effets “inflationnistes” avec la montée en charge

Le défi chez Eram a été de concevoir une architecture de plateforme de médiation de données en prenant en compte le volume, la typologie des flux, les transformations nécessaires et les différents protocoles à traiter. Toutes les briques choisies sont open source et conteneurisées afin d'éviter l'enfermement dans un cloud spécifique. L'interopérabilité des briques et la compatibilité des versions ont été parmi les défis que nous avons dû surmonter. Les points forts de notre plateforme incluent l'observabilité, la scalabilité, l'optimisation des performances et la tolérance aux pannes.

Jamel BEN AMAR

CTO, Smile