Hadoop : stockage et traitement massif des données

Smile & Hadoop

Smile travaille depuis plusieurs années sur le développement d’un centre d’expertise Big Data: formation, certification des consultants et développeurs aux technologies Hadoop (Hortonworks Data Platform, Hortonworks Data Flow, Elastic…).

L’objectif ? Transmettre toute notre expertise et savoir-faire autour des thèmes développement, conseil et exploitation des plateformes Big Data.

Smile est aujourd’hui reconnu pour son expertise dans la mise en place et l’exploitation des plateformes, principalement au service des grands comptes.

Le sujet technique est dépassé pour se rapprocher des métiers et travailler autour de cas d’usages !

Hadoop, puissance et facilité au quotidien

Framework libre et open source, Hadoop a pour principale mission de faciliter le traitement de données de façon distribué. Il existe plusieurs distributions Hadoop, parmi lesquelles Hortonworks, Cloudera et MapR.

L’écosystème Big Data est en perpétuelle évolution. De nouveaux produits/projets apparaissent sur le marché chaque mois.

Comment faire pour que les entreprises puissent conserver stabilité et fiabilité dans ce contexte ?

Ce sont justement les distributions Hadoop qui apportent cette garantie nécessaire pour sécuriser les déploiements et assurer la compatibilité des solutions entre elles.

Les dizaines de solutions de l’écosystème Hadoop ouvrent le champ des possibles :

• Entreposage de données opérationnelles / ODS (HDFS ou Hbase) ou en entrepôt de données (Hbase et Hive)
• Intégration et traitement parallélisés des données (YARN/Map-Reduce, Pig)
• Requêtage et analyse des masses de données (Hive+YARN/Map-Reduce, Pig)
• Datamining (Mahout)

En prime, des logiciels viennent s’y connecter comme Apache Pig, Apache Hive, Apache HBase, Apache Phoenix, Apache Spark, Apache ZooKeeper, Cloudera Impala, Apache Flume, Apache Sqoop, Apache oozie ou Apache Storm.

Vous avez envie d’en savoir plus ? Creusez le sujet Hadoop avec les articles du blog Smile !

• Comparatif des interfaces SQL d'exploitation d'entrepôts de données Big Data/ NoSQL
• Analyser l'usage de sites web à fortes volumétries en SQL avec MongoDB et Hadoop Hive
• Hadoop 2.0 : MaPreduce devient YARN et propose de nouvelles fonctionnalités
• Intégrer des données d'IoT en temps réel avec Talend Real-Time Big Data

CARACTÉRISTIQUES

Hadoop est un ensemble de projets et d’outils Open Source de la fondation Apache permettant de stocker et traiter massivement des données.

Il a été développé à l’origine par Facebook et Yahoo, et est maintenant au cœur de l'innovation et de l’écosystème Big Data.