[TALEND] – Intégration de données dans une plateforme répondant à un besoin métier unique

Launch Project

J’ai utilisé Talend (après avoir suivi une formation professionnelle) dans le cadre d’un besoin spécifique d’un contrôleur de gestion qui avait à sa charge plusieurs sociétés. Ce dernier avait besoin que je lui sorte à partir d’un logiciel de gestion et de facturation SAGE, d’un logiciel comptable TOTEM, d’une base de données X du serveur 1 et d’une autre base de données Y du serveur 2 divers reportings en format Excel dont chaque colonne (de feuilles différentes) représentaient des champs bruts et des champs calculés. Ex : Valorisation de stock, calcul du prix de revient, liste de stock de produits finis et composants à J-1, etc.

Le format Excel était de sa volonté car il avait besoin de jouer avec les données et de personnaliser ses graphiques.

Vous imaginez donc la complexité des requêtes ainsi que tout le processus à ne pas oublier qu’il faudra ressortir dans les X mois à venir, car reporting dit aussi “périodicité” et dépôt automatique de fichiers dans un intranet (dans le cadre de ma structure).

L’intérêt était de stocker les données (structurées et non structurées), de cibler le besoin, d’apporter plus de précision sur un nouveau modèle business, et de pouvoir lancer librement les jobs par période ou à la demande.

Lorsque je travaille dessus, j’utilise également d’autres outils qui me permettent d’être certaine de la fiabilité de mon travail, à savoir :

  • Advanced Query Tool pour accéder aux tables (nécessaires aux différents calculs) et tester mes requêtes SQL ;
  • Talend pour créer et lancer les jobs en y intégrant mes requêtes et vérifier le résultat attendu ;
  • Excel pour créer mes tableaux croisés dynamiques, analyser les chiffres et vérifier si le résultat final correspond au besoin utilisateur.

Voici des exemples de “screenshot” qui représentent mes principes de bases Talend (sans entrer dans le détail des requêtes et paramétrage…).

Qu’est-ce qu’un “Job Talend” ? :

Un composant Talend est composé de 3 parties : Begin > Main > End

Exemple de tDBInput :

  • Connexion à la base de données
  • Lecture des lignes
  • Fin de la connexion

Il existe quatre types de composant (Input, Output, Virtuel, Process) dans lesquels nous pouvons combiner dans un même schéma :

Voici un exemple combinant plusieurs composants dont le design de la disposition du job a un sens : De haut à droite et du haut en bas !

Et un exemple concernant la mise en place d’un fichier Excel  et envoi du fichier par mail si le process se termine bien :

 

De manière générale, je formalise mes projets et les partage en toute transparence avec mon équipe (procédures, guide utilisateur, etc).