Modèle de description de poste d'ingénieur Big Data
Nous recherchons un ingénieur Big Data talentueux pour développer et gérer les solutions Big Data de notre entreprise. Dans ce rôle, vous devrez concevoir et mettre en œuvre des outils et des cadres Big Data, mettre en œuvre des processus ELT, collaborer avec des équipes de développement, créer des plates-formes cloud et maintenir le système de production.
Pour réussir en tant qu'ingénieur Big Data, vous devez avoir une connaissance approfondie des technologies Hadoop, d'excellentes compétences en gestion de projet et des compétences de haut niveau en résolution de problèmes. Un ingénieur Big Data de premier plan comprend les besoins de l'entreprise et met en place des solutions de données évolutives pour ses besoins actuels et futurs.
Responsabilités de l'ingénieur Big Data :
- Rencontre avec les managers pour déterminer les besoins Big Data de l'entreprise.
- Développement de systèmes Hadoop.
- Chargement d'ensembles de données disparates et réalisation de services de pré-traitement à l'aide de Hive ou Pig.
- Finaliser la portée du système et fournir des solutions Big Data.
- Gérer les communications entre le système interne et le fournisseur de sondages.
- Collaboration avec les équipes de recherche et développement logiciel.
- Construire des plateformes cloud pour le développement d'applications d'entreprise.
- Maintenance des systèmes de production.
- Formation du personnel à la gestion des ressources de données.
Exigences de l'ingénieur Big Data :
- Baccalauréat en génie informatique ou en informatique.
- Expérience précédente en tant qu'ingénieur Big Data.
- Connaissance approfondie de Hadoop, Spark et des frameworks similaires.
- Connaissance des langages de script, notamment Java, C++, Linux, Ruby, PHP, Python et R.
- Connaissance des bases de données NoSQL et RDBMS, notamment Redis et MongoDB.
- Familiarité avec les outils Mesos, AWS et Docker.
- Excellentes compétences en gestion de projet.
- => Avoir de bonnes aptitudes de communication.
- Capacité à résoudre des problèmes complexes de réseau, de données et de logiciels.
