Talend nous a proposé une formation de 7 jours appelée : « Framework ». Cette prestation avait pour but d’analyser nos jobs, notre manière de fonctionner afin d’aller vers une industrialisation de nos jobs.
Voici ce qui a été analysé :
- l’utilisation de joblet pour la mutualisation de certains morceaux de codes ou de flux (exemple un joblet pour les connexions qui reviennent pour chaque job)
- l’utilisation de contextes pour gérer les connexions aux différents environnements voir ce post
- la notion de commit et rollback pour garder l’intégrité de nos données en cas de problèmes d’exécution
- la gestion de tables de rejet avec des commentaires techniques et fonctionnels
- la gestion de logs voir ce post
- l’utilisation du fichier audit que TIS nous fournit afin d’avoir plus d’informations sur la construction des jobs
- le schedule des jobs sur la plateforme TAC
- l’utilisation du projet de référence : une sorte de projet virtuel vu par d’autres projets (à configurer dans la plateforme TAC). Ce projet de référence définit des connexions, des joblets, des jobs types. Ces différentes composantes sont ainsi réutilisables dans un projet quelconque grâce à un drag and drop.
- la présentation du nouveau logiciel « Repository Manager » qui va nous permettre d’exporter et d’importer nos jobs grâce à une interface assez friendly
Cette prestation nous a vraiment permis de faire des développements plus propres, plus travaillés. Je la recommande si vous en avez l’occasion.
Pingback : Gérer l’import/export des jobs Talend grâce à des jobs | BI experience