BI experience

19 octobre 2009
par maryam khiali
0 Commentaires

Ireport Professional 3.6.0

Après Pentaho et SpagoBI, JaspserSoft offre enfin la possibilité de faire de la géolocalisation. En effet dans la version Ireport Professional 3.6.0, les développeurs pourront créer :

  • Maps
  • Charts
  • Widgets Pro

Tous ces éléments seront en fait des objets Flash et pourront être exploités par les utilisateurs au format HTML et PDF.

Faisons un focus sur les maps. Elles sont issues de fusionMaps.

fision_maps1
Vous pourrez d’ailleurs y trouver la liste des cartes proposées (le chemin dans le menu est Introduction > List of Maps)

Si vous avez accès à la version Pro une documentation, vous est fournie afin d’utiliser facilement les cartes et y faire apparaitre vos données.

Pour vous montrer que l’utilisation de ces cartes n’est pas compliquée voici un exemple :

En créant facilement une requête avec sugarCrm (base de données sample fournie avec iReports community):

Je choisis la carte : « NorthAmerica »

Attention pour avoir une meilleure manipulation des maps allez voir les ID et les Entity de chaque pays de chaque maps. Pour cela allez dans le menu Map specification sheets et vous aurez le détail de chaque pays de la map que vous aurez choisi.

exemple_entity_map
Puis je crée ma requête :

/***************************************************/

SELECT primary_address_country as COUNTRY, COUNT(id) as nb_client,
CASE primary_address_country
when « Canada » then « CA »
when « USA » then « US »
else « MX »
end as Entity,

CASE primary_address_country
when « Canada » then « 005″
when « USA » then « 023″
when « Mexico » then « 016″
else « 000″
end as ID

FROM contacts
group by primary_address_country

/*************************************************/

Le résultat :

results_requete
Vous pourrez ensuite facilement utiliser vos champs dans les map properties.

map_properties
En fonction de votre valeur indiquée dans value expression, la carte pourra être colorée de différentes couleurs:

color_maps
Et voilà le résultat :

maps_results
C’est joli, par contre il faudra encore être patient, puisque actuellement ces maps ne peuvent pas être présentées au sein de la plateforme de restitution JasperServer 3.5. Il faudra attendre la prochaine version qui sortira, d’après leur dire, en Janvier 2010.

1 octobre 2009
par maryam khiali
2 Commentaires

Stambia, un E-LT pas comme les autres

Fabien Bruder, un des fondateurs de la société Stambia, est venu nous faire une présentation de son E-LT.

La philosophie de son outil est vraiment sympathique.

Le principe part du fait que la force se trouve dans les bases de données et non dans un moteur ajouté (exemple moteur Java). Les transformations et le chargement des données se feront donc grâce au moteur d’une base de données de votre choix.

stambia_process

Le logiciel Stambia a une autre force indéniable c’est qu’il connait bien les bases de données. Il propose à chaque action la meilleure façon de le faire, en utilisant les spécificités de chacune. Le développeur pourra ainsi améliorer ses connaissances sur ces dernières.

La plateforme qu’il propose est basée sur environnement Eclipse Java. Après ouverture du logiciel, deux projets natifs sont proposés :

  • Tech ( qui répertorie toutes les informations, les spécificités de chaque base de données : le descripteurs de technologies
  • Global (qui répertorie les différents templates)

Mais qu’est qu’un template? Stambia a analysé les différents besoins qu’ont les entreprises, les développeurs et en a finalement dégagé des templates.

Actuellement, dans la version 1.5, il en existe 7 :

  • Replication : permet facilement de répliquer une base de données Oracle par exemple dans Postgres ( le mapping de typage est précisé dans le projet Tech)
  • Load : pour le chargement des données en base
  • Reject : lorsque l’on créé un job et qu’il y a un mapping, des rejets peuvent avoir lieu car les clefs ne match pas entre elles. Ou ces tables de rejets peuvent aussi servir pour contrôler la qualité de données et rejeter les données non conformes.
  • Integration : soit en incrémentale (lors de l’alimentation d’un job il y a une démarche de comparaison avec la cible pour faire des mises à jour ou des inserts et donc optimiser le job) soit en SCD (Slow Changing Dimension)
  • Automation : permet la création des métadonnées (clefs, index) d’une base à une autre
  • Changement Data Capture : écoute la source pour capturer les changements et les impacter sur la cible en déclenchant l’exécution d’un job.
  • Unload : permet de générer ou de lire des fichiers plats.

L’exécution des jobs ne laissent aucune trace dans la base de données choisie pour effectuer les différents traitements.

Dans cette application, tout est paramétrable, on peut donc vraiment personnaliser l’utilisation des composants, des connexions, des actions que propose un template…

La seule chose qui pèche d’après moi, c’est une interface un peu trop technique. J’espère que les prochaines versions proposeront une interface graphique plus friendly.

Stambia prévoit de donner la possibilité d’un téléchargement d’une version allégée du produit dès la sortie de la version 2.0 d’ici début 2010. Les futurs utilisateurs pourront ainsi se faire une idée de son fonctionnement.

La licence sera au poste de développement. La proposition commerciale sera un certain prix à l’achat puis un coût de maintenance par an dérisoire.

Une version allégée et moins chère sera proposée pour les petits projets.

N’hésitez pas à aller voir leur site dès maintenant:

logo_stambia

21 septembre 2009
par maryam khiali
0 Commentaires

l’AMC et l’AMD de TIS

L’AMD (Activity Monitoring Dashboard) et l’AMC (Activity Monitoring Control) sont deux modules qui permettent de faire des contrôles sur l’exécution des flux.

L’AMD est plutôt pour l’administrateur des jobs Talend. Ce module se trouve sur la plateforme TAC (Talend Administration Center). Il propose un contrôle sur :

  • le temps d’exécution
  • la visualisation des erreurs JAVA ou PERL lors d’un problème d’exécution d’un job

L’AMC est un module proposé au développeur dans la plateforme TIS (Talend Integration Studio) . Il lui permet de visualiser :

  • le temps d’exécution
  • le nombre de lignes géré
  • les erreurs JAVA, PERL éventuelles

Ces informations peuvent être collectées aussi bien au niveau d’un composant qu’au niveau d’un job. Ces données que fournit l’AMC pourront être stockées dans une base de données à part, dans le référentiel de TAC ou dans une autre base de données au choix.

Pour configurer votre TIS :

  • aller dans Window>preferences>AMC et créer le point de connexion à une base de données
  • redéclarer cette connexion dans le référentiel Talend Studio

Puis pour avoir accès à la plateforme AMC aller dans Window > perspective > AMC perspective.

Afin de collecter les informations sur l’exécution d’un job, deux méthodes s’offrent à nous:

  • une méthode implicite
  • une méthode explicite

La méthode implicite : Il suffit de cocher les options dans la view du job (Window > Show view > Job).

implicite

Puis

pour le contrôle du temps d’exécution : cocher les options dans les composants : advanced settings >tStatCatcher Statistic

pour le contrôle du nombre de lignes : en cliquant sur un lien de type row on a ensuite accès à 2 modes :

  • absolute : permet juste de connaître le nombre de lignes passant dans ce lien
  • relative : permet de regarder le nombre de lignes passant dans ce lien en fonction d’un autre. Il est possible ensuite de faire des seuils avec des codes couleurs qui seront répercutés au niveau des graphiques de l’AMC. (voir Thresholds)

La méthode explicite : en utilisant directement des composants dans le job (voir Logs&Errors):

  • tStatCatcher : pour les statistiques du temps d’exécution
  • tFlowMetter : pour le nombre de lignes traitées
  • tLogCatcher, tWarn, tDie : pour le contrôle des erreurs Java

17 septembre 2009
par maryam khiali
0 Commentaires

Présentation de la plateforme Talend TIS

La version payante de Talend TIS permet d’industrialiser les jobs.

La plateforme est constituée de

  • Talend Integration Suite Studio (TIS) où le développeur va créer ses jobs et pourvoir profiter de l’AMC (Activity Monitoring Controller) pour contrôler l’exécution des jobs
  • Talend Administration Center (TAC) où l’administrateur des jobs va pouvoir :
    • de créer des comptes qui auront accès à l’application de créer des projets
    • de gérer les droits, autorisations
    • prévoir des taches de planification (Trigger : simple trigger (juste en précisant le nombre de fois qu’il doit être exécuté et un intervalle de temps), le CronUI Trigger en précisant des dates précises dans le mois par exemple et enfin le File Trigger qui permet d’exécuter un job si un fichier arrive dans un répertoire.)
    • déclarer des serveurs d’exécution où les jobs schédulés seront exécutés (serveurs physiques ou virtuels)
    • Suivre l’évolution des jobs grâce à des Dashbord avec l’AMD (Activity Monitoring Dashboard)

talend_plateforme

Comme vous pouvez le voir sur le schéma il y a finalement 2 référentiels :

  • un référentiel de type base de données pour les informations de la plateforme TAC
  • un référentiel de type SVN pour stocker les projets de TIS (en allant vérifier les droits d’accès dans le référentiel de type base de données (flèches 1 et 2 puis si la personne a les droits flèches 4 et 5))

Les avantages d’avoir un référentiel SVN pour Talend Integration Suite Studio (TIS) sont :

  • une amélioration significative de l’accès aux projets. En effet les objets du projet seront stockés sous format XML (fichier plat) et non pas en base de données ce qui évitera le nombre important de requête SQL lors du démarrage pour rapatrier les informations du projet.
  • La possibilité de faire du versionning et donc de retrouver une version antérieure d’un job.

Pour pourvoir scheduler des jobs, un commandline est installé sur la plateforme où est installé TAC. Des jobServers seront installés sur chaque serveur qui pourront servir de serveurs d’exécution.

Le commandline permet de générer les scripts des jobs qui seront ensuite déposés sur les serveurs d’exécution. C’est ensuite les jobserveurs qui exécuteront les ordres données par le commandline.

J’espère que cette petite présentation vous permettra de mieux appréhender la plateforme TIS…

17 septembre 2009
par maryam khiali
0 Commentaires

La reprise n’est pas facile

C’était la rentrée, il y a quelques jours. J’espère que vous avez profité de l’été autant que possible, car vu la météo, l’automne est bien au rendez-vous.

J’ai eu du mal à me remettre à mon blog avec tout le remue-ménage de la rentrée…Mais maintenant je pense être d’aplomb pour reprendre.

J’espère que vous continuerez à suivre mes aventures.

Bon courage à tous!