Voorbeeldtransformatie voor Spoon
U kunt een kopie downloaden van een van de bestaande .ktr-scripts die zijn opgenomen in een bestaand ETL-taakitem en dit gebruiken bij het uitvoeren van de stappen. Hieronder ziet u een voorbeeld van een Spoon-conversie.
De meeste as-delivered ETL's hebben dezelfde gegevensstroom als het voorbeeld, maar de specifieke kenmerken zijn anders. Denk bijvoorbeeld aan de databasetabellen waaruit gegevens worden opgehaald en hoe de gegevens worden geconverteerd.
De voorbeeldtransformatie omvat de volgende onderdelen:
- Haalt invoerrijen en velden op uit org T_TRIORGANIZATIONALLOCATION en ruimte T_TRISPACE, waarbij org.TRILOCATIONLOOKUPTXOBJID = space.SPEC_ID.
- Maakt gebruik van IBS_SPEC.UPDATED_DATE om de geselecteerde rijen te beperken, met behulp van het datumbereik dat wordt doorgegeven vanuit het bedrijfsobject voor transformatie.
- Gebruik Value Mapper om ervoor te zorgen dat alle rijen een waarde bevatten voor space.TRIHEADCOUNTNU, space.TRIHEADCOUNTOTHERNU en org.TRIALLOCPERCENTNU. Indien dit niet het geval is, stelt u de waarde in op 0.
- Gebruikt de Calculator (rekenprogramma) om TRIFACTTOTALWORKERSASS in te stellen op (space.TRIHEADCOUNTNU + space.TRIHEADCOUNTOTHERNU) * org.TRIALLOCPERCENTNU.
- Haalt TRICREATEDBYTX en TRIRUNDA op, die via de stap Get Variables (variabelen ophalen) zijn doorgegeven vanuit het bedrijfsobject voor transformatie.
- Gebruikt Add Constant (constante toevoegen) om de reeksnaam en stapsgewijze verhoging zo in te stellen dat deze beschikbaar zijn in de invoerstroom voor de rangschikkingsstap.
- Gebruikt de DB-procedure NEXTVAL om het SPEC_ID in te stellen. Stel deze stap in op het gebruik van vijf threads voor een betere performance.
- Gebruikt een JavaScript-scriptingstap om te bepalen of het project al of niet op tijd is voltooid, en om de duur van het project te berekenen. Stel deze stap in op het gebruik van drie threads voor een betere performance.
- Wijst de velden toe aan T_TRISPACEALLOCFACTOID.
Let vooral op de volgende punten bij het samenstellen van een transformatie:
- Voer bij het toevoegen van elke stap een test uit om ervoor te zorgen dat de transformatie zo werkt als u wilt.
- Transformaties moeten op een defensieve manier worden ontwikkeld. Als u bijvoorbeeld berekeningen uitvoert die gebaseerd zijn op bepaalde velden, moeten alle rijen een waarde in deze velden hebben; er mogen geen lege velden zijn. Als dit niet het geval is, mislukt de transformatie. Gebruik de Value Mapper om ervoor te zorgen dat alle velden voor het uitvoeren van een berekening een waarde bevatten.
- Datums zijn lastig te verwerken omdat de databases die TRIRIGA ondersteunt, DATE en TIME in het datumveld handhaven. Datumoplossingen laten zien hoe een datumbereik in SQL moet worden behandeld.
- Zorg dat u de JNDI-instellingen gebruikt en dat de transformatie database-onafhankelijk is, speciaal als de oplossing moet worden uitgevoerd op verschillende databaseplatformen (DB2, Oracle en Microsoft SQL Server).
- Kenmerken in het bedrijfsobject voor transformatie worden als variabele verzonden naar de transformatie. Er zijn een paar uitzonderingen. Kenmerken van het type Tijd of Systeemvariabele worden genegeerd. U kunt de variabelen in SQL-code gebruiken of deze met Get Variables (variabelen ophalen) in de invoerstroom ophalen met de volgende syntaxis: ${VariableName}, waarbij VariableName de naam van het kenmerk is.
- Zorg dat u de transformatie volledig test en configureert voordat u variabelen in de tabel invoert. Het testen van JavaScript, Table Input Preview en Table Mapping is vrij lastig. U kunt variabelen voor de transformatie instellen via of op de pagina Execute (Uitvoeren) in de sectie Variable (variabele). Als u variabelen gebruikt, hebt u de beschikking over meer testfuncties in Spoon.
- Test de verbinding voordat u JNDI gebruikt, voordat u een zoekopdracht uitvoert of voordat u een Spoon-transformatie uitvoert. De JNDI-verbinding moet worden getest om te voorkomen dat er prestatieproblemen optreden in Spoon.
- Overweeg het toevoegen van een index. Dit kan cruciaal zijn voor de prestaties, omdat ETL's op een andere manier gegevens uit de T-tabellen ophalen dan de gewone toepassing.
De voorgaande items geven gedetailleerde informatie over de transformatie terwijl u de gebruikte stappen in Spoon configureert. De items zijn gericht op de hoofdstappen van de transformaties die worden meegeleverd met TRIRIGA. Spoon biedt andere typen stappen voor het bewerken van uw gegevens. Indien nodig kunt u deze stappen gebruiken, afhankelijk van uw transformatiebehoeften.