2 mars 2009
par maryam khiali
0 Commentaires
Chez mon client actuel, le datawarehouse était sous SQL Server. Puis pour des raisons politiques, on m’a finalement demandé de stocker ce datawarehouse sous Postgres.
Après avoir réadapté mes flux, reconstruit la structure de mon datawarehouse sous Postgres, je me suis vite rendue compte à quel point SQL Server était permissif : certains flux ne fonctionnaient plus.
Il a donc fallu que je me penche réellement sur le sujet du « nettoyage des données ». J’avais déjà fait un post sur une routine qui nettoyait les données des caractères spéciaux.
Mais comme vous le savez Talend est souple et permet d’utiliser les librairies JAVA. Alors il faut profiter de cet avantage…
Pour les String par exemple, il suffit de télécharger ce .jar : commons-lang-2.4.jar et de l’appeler dans votre flux pour pouvoir utiliser ses fonctions.
Vous pourrez l’insérer dans vos job avec ce composant présent dans la rubrique Custom Code (en lui indiquant le point jar que vous pouvez télécharger ici ):
Voici un exemple d’utilisation avec la fonction trimToEmpty : org.apache.commons.lang.StringUtils.trimToEmpty(monchampString)).
Si vous avez d’autres libraires à conseiller pour manipuler les String ou d’autres types de données n’hésitez pas à nous en faire part.
