Informatica Transformations: The Heart and Soul of Informatica PowerCenter



Få en fullstendig forståelse av hva som er Informatica Transformations og få et innblikk i de forskjellige store Informatica-transformasjonene med brukstilfeller.

Informatica Transformations er depotobjekter som kan lese, modifisere eller overføre data til de definerte målstrukturene som tabeller, filer eller andre mål som kreves. En transformasjon brukes i utgangspunktet for å representere et sett med regler som definerer dataflyten og hvordan dataene lastes inn i målene. Informatica PowerCenter tilbyr flere transformasjoner, som hver har en bestemt funksjonalitet.I tillegg, med Informatica som leder dagens marked innen dataintegrasjonsplattform, kommer Informatica Transformations som et avgjørende konsept som kreves for .

For å forstå Informatica Transformations bedre, la oss først forstå hva som er kartlegging? En kartlegging er en samling kilde- og målobjekter som er koblet sammen av et sett med transformasjoner. Derfor representerer transformasjoner i en kartlegging operasjonene som integrasjonstjenesten vil utføre på dataene under utførelsen av arbeidsflyten. For å få en bedre forståelse av arbeidsflyten, kan du sjekke ut bloggen vår Informatica Tutorial: Workflow management





Hva er de forskjellige informatica-transformasjonene?

Informatica-transformasjoner kan hovedsakelig klassifiseres i to kategorier. For det første basert på tilkoblingen (Linking in mapping) av transformasjonene med hverandre, og den andre er basert på endringen i det totale antall rader mellom kilden og målet. La oss begynne med å se på Informatica-transformasjonene basert på tilkobling.

1) Typer transformasjoner i Informatica basert på tilkobling:



  • Koblede transformasjoner.
  • Ukoblede transformasjoner.

I Informatica kalles de transformasjonene som er koblet til en eller flere transformasjoner som Koblede transformasjoner .

De tilkoblede transformasjonene brukes når for hver inngangsrad kalles en transformasjon og forventes å gi en verdi. For eksempel kan vi bruke en koblet oppslagstransformasjon for å kjenne navnene på hver ansatt som arbeider en bestemt avdeling ved å spesifisere avdelings-ID i oppslagsuttrykket.

Noen av de viktigste tilkoblede Informatica-transformasjonene er Aggregator, Router, Joiner, Normalizer, etc.



De transformasjonene som ikke er koblet til andre transformasjoner kalles Ukoblede transformasjoner .Funksjonaliteten deres brukes ved å kalle dem i andre transformasjoner som uttrykkstransformasjon. Disse transformasjonene er ikke en del av kartleggingsrørledningen.

De ikke-tilkoblede transformasjonene brukes når funksjonaliteten deres bare er nødvendig basert på visse forhold.For eksempel, Som programmerer ønsker du imidlertid å utføre en komplisert operasjon på dataenedu ikke ønsker å bruke Informatica-transformasjoner som uttrykk eller filtertransformasjoner for å utføre denne operasjonen. I et slikt tilfelle kan du opprette et eksternt DLL- eller UNIX-delt bibliotek med kodene for å utføre operasjonen og ringe dem i den eksterne prosedyretransformasjonen.

Det er 3 Informatica-transformasjoner, nemlig. Ekstern prosedyre, oppslag og lagret prosedyre som kan kobles fra i en gyldig kartlegging (En kartlegging som integrasjonstjenesten kan utføre).

2) Typer av Informatica-transformasjoner basert på endring i antall rader

  • Aktive transformasjoner
  • Passive transformasjoner

Aktive transformasjoner :- En aktiv transformasjon kan utføre noen av følgende handlinger:

  • Endre antall rader som går gjennom transformasjonen: For eksempel er filtertransformasjonen aktiv fordi den fjerner rader som ikke oppfyller filterbetingelsen.
  • Endre transaksjonsgrensen: En transaksjonsgrense er en grense som omslutter alle transaksjonene før en forpliktelse kalles eller mellom to forpliktelsesanrop. For eksempel, under en transaksjonsoperasjon, føler brukeren at etter visse transaksjoner kreves en forpliktelse og kaller kommandoen for å opprette et lagringspunkt, og ved å gjøre det endrer brukeren standard transaksjonsgrense. Som standard ligger transaksjonsgrensen mellom starten av filen til auto commit point eller EOF.
  • Endre attypen rowtype: Attributten Rowtype er en posttype som representerer en rad i en tabell. Posten kan lagre en hel rad med data valgt fra tabellen eller hente fra en peker eller pekervariabel. For eksempel rapporterer oppdateringstrategitransformasjonen radstypen som 0 for å sette inn verdier, 1 for oppdatering, 2 for sletting eller 3 for avvisning.
  • Aggregator, Filter, Joiner, Normalizer, etc. er noen få eksempler på aktiv transformasjon.

Passiv transformasjon : En passiv transformasjon er en som vil tilfredsstille alle disse forholdene:

  • Antall rader før og etter transformasjon er det samme.
  • Opprettholder transaksjonsgrensen.
  • Opprettholder attypen radtype.
  • Ekspresjon, ExternalProcedure, HTTP, etc. er noen få eksempler på passiv transformasjon.

I den passive transformasjonen opprettes ingen nye rader, eller eksisterende rader blir droppet.

Du må lure på hvorfor passive transformasjoner brukes til hvis de ikke endrer antall rader. De brukes vanligvis til å oppdatere verdier, ringe til en ekstern prosedyre fra et delt bibliotek og til å definere inndata og utdata fra maplets. Et lønn er en samling av bare transformasjonene fra kartleggingen. For eksempel, for en studentdatabase ønsker vi å oppdatere verdiene av merkekolonnen til prosentil i stedet for prosentandelen, dette kan gjøres ved å bruke en uttrykkstransformasjon som vil konvertere verdiene og oppdatere i de samme kolonnene og holde det totale antallet rader like etter transformasjonene.

Det er ingen begrensning at hvis en transformasjon blir brukt som en passiv transformasjon, kan den ikke brukes senere som aktiv transformasjon. Tilsvarende kan en ikke-tilkoblet transformasjon brukes som en tilkoblet transformasjon etter behov. Alle mulige kombinasjoner kan dannes mellom disse kategoriene, og dette er magien til Informatica-transformasjoner. Du vil få en bedre ide senere i denne bloggen om mulige typer en transformasjon kan tilhøre.

Nå som vi har fått forståelse for de forskjellige typene Informatica-transformasjoner, la oss begynne å utforske dem.Nedenfor er noen hovedtyper av Informatica-transformasjoner:

Transformasjon Type Beskrivelse
AggregatorAktiv tilkobletUtfører samlede beregninger.
UttrykkPassiv tilkobletBeregner en verdi.
JavaAktiv tilkoblet eller passiv tilkobletUtfører brukerlogikk kodet i Java. Bytekoden for brukerlogikken er lagret i depotet
SnekkerAktiv tilkobletFøyer sammen data fra forskjellige databaser eller flate filsystemer.
Se oppAktiv tilkoblet eller passiv tilkoblet eller aktiv ikke tilkoblet eller passiv ikke tilkobletSlå opp og returner data fra en flat fil, relasjonstabell, visning eller synonym.
NormaliseringAktiv tilkobletBrukes i rørledningen for å normalisere data fra relasjonelle eller flate filkilder.
RangAktiv tilkobletBegrenser poster til et topp- eller bunnområde.
RuterAktiv tilkobletRuter data til flere transformasjoner basert på gruppeforhold.
SQLAktiv tilkoblet eller passiv tilkobletUtfører SQL-spørsmål mot en database.
UnionAktiv tilkobletSlår sammen data fra forskjellige databaser eller flate filsystemer.
XML-generatorAktiv tilkobletLeser data fra en eller flere inngangsporter og sender ut XML gjennom en enkelt utgangsport.
XML-parserAktiv tilkobletLeser XML fra en inngangsport og sender ut data til en eller flere utgangsporter.
XML-kilde kvalifiseringAktiv tilkobletRepresenterer radene som Integration Service leser fra en XML-kilde når den kjører en økt.

La oss nå begynne å se på transformasjonene en etter en.

Aggregator Transformation

Aggregator transformasjon er en aktiv og koblet transformasjon. Denne Informatica-transformasjonen er nyttig for å utføre beregninger som gjennomsnitt og summer (hovedsakelig for å utføre beregninger på flere rader eller grupper). For eksempel for å beregne det totale antallet daglige salg eller for å beregne gjennomsnittet av månedlig eller årlig salg. Aggregerte funksjoner som AVG, FIRST, COUNT, PERCENTILE, MAX, SUM, etc., kan brukes i samlet transformasjon.

Lookup Transformation

Oppslagstransformasjon er den mest populære og mest brukte Informatica-transformasjonen. Basert på kravet til brukeren, kan oppslagstransformasjonen brukes som en tilkoblet eller ikke-tilkoblet transformasjon som kombinerer den som en aktiv eller passiv transformasjon. Jegt brukes til å hovedsakelig slå opp detaljene fra en kilde, kildekvalifisering eller mål for å få relevante nødvendige data. Du kan også slå opp en 'flat fil', 'relasjonstabell', 'visning' eller 'synonym'. Man kan bruke flere oppslagstransformasjoner i en kartlegging.

Oppslagstransformasjonen opprettes med følgende porter (Logiske punkter for overføring av informasjon):

  • Inngangsport (I)
  • Utgangsport (O)
  • Slå opp porter (L)
  • Returport (R) (bare i tilfelle ikke-tilkoblet oppslag)

Forskjeller mellom Connected og UnConnected Lookup Transformation:

selen webdriver testng rammeeksempel
  • Tilkoblet oppslag mottar inngangsverdier direkte fra kartleggingsrørledningen, mens Uoppkoblet oppslag mottar verdier fra oppslaget uttrykk fra en annen transformasjon. En kartlegging i Informatica kan inneholde kilde, transformasjoner og mål som er koblet sammen anses som en rørledning.
  • Tilkoblet oppslag returnerer flere kolonner fra samme rad ettersom de har flere returporter, hvor de ersIkke-tilkoblet oppslag har bare en returport og returnerer en kolonne fra hver rad. For eksempel, hvis vi bruker en tilkoblet oppslag i en medarbeiderdatabase for en spesifikk avdelings-ID som parameter, kan vi få alle detaljene relatert til de ansatte i den avdelingen som navn, ansattes ID-nummer, adresse, etc., mens med en ikke-tilkoblet oppslag kan vi bare få ett attributt av den ansatte som deres navn eller ansattes ID-nummer eller et hvilket som helst attributt spesifisert av brukeren.
  • Tilkoblet oppslag cacher alle oppslagskolonner, mens ikke-tilkoblet oppslag hurtigbuffer bare oppslagsutdata og oppslagsforhold.
  • Tilkoblet oppslag støtter brukerdefinerte standardverdier, mens Uoppkoblet oppslag ikke støtter brukerdefinerte verdier. Hvis du for eksempel vil endre alle verdiene i en bestemt kolonne til NULL etter oppslag, kan du sette standardverdien til disse kolonnene til NULL i oppslagsuttrykkene. Denne funksjonen er imidlertid ikke mulig i tilfelle UnConnected-oppslag.

La oss si fra en kundedatabase at jeg ønsker å vite detaljene til kunder som har mer enn én ikke-kansellert faktura. For å få tak i disse dataene, kan vi bruke en oppslagstransformasjon.

Her er trinnene.

  1. Begynn med å laste fakturatabellen som kilde i kartleggingsdesigneren. I tilfelle du ikke er klar over hvordan du skal laste kildedata til designeren, Klikk her . oppslag-kilde-informatica transformasjoner-edureka
  2. La oss nå filtrere ut fakturaene som ikke er kansellert. For å gjøre dette Lag et nytt filter med navnet fil_ODS_CUSTOMER_ACTIVE til Source Qualifier med eiendommen IKKE (ISNULL (DATE_CLOSED)) OG ANNULLERT = 0.
  3. Legg nå til en oppslagstransformasjon hos designeren som vist nedenfor med navnet som lkp_KUNDE :

  4. Spesifiser oppslagstabellen som kundetabell.
  5. Dobbeltklikk på overskriften til lkp_KUNDE for å åpne redigeringsmenyen. Under kategorien Tilstand angir du oppslagsbetingelsen som CUST_ID = CUST_NO.
  6. Endre tilkoblingsinformasjonen til Egenskaper-fanen $ Kilde og klikk på OK for å redde transformasjonen:
  7. Koble til lkp_KUNDE porter til ODS_CUSTOMER_ACTIVE porter for å fullføre den nødvendige transformasjonen hvor ODS_CUSTOMER_ACTIVE er ønsket målfil:
  8. Det siste ikoniske kartet, inkludert oppslagstransformasjonen, bør være som nedenfor:

Uttrykkstransformasjon

Uttrykkstransformasjon er en passiv og koblet informatica-transformasjon. Uttrykkstransformasjoner brukes til radvis manipulering. For en hvilken som helst type manipulasjon du ønsker å utføre på en enkelt plate, bruk en uttrykkstransformasjon. Uttrykkstransformasjonen godtar radvise data, manipulerer dem og overfører dem til målet. For eksempel for å beregne rabatten for hvert produkt eller for å sammenkoble for- og etternavn eller konvertere datoer til et strengfelt.

Snekker transformasjon

Joiner-transformasjonen er en aktiv og tilkoblet informatica-transformasjon som brukes til å bli med i to heterogene kilder. Snekkertransformasjonen kobles til kilder basert på en spesifisert tilstand som samsvarer med ett eller flere par kolonner mellom de to kildene. De to inngangsrørledninger inkluderer en master- og en detaljrørledning eller gren. For å bli med i mer enn to kilder, må du koble til utdataene fra snekkertransformasjonen med en annen kilde. For å bli med i et antall kilder i en kartlegging, trenger du n-1 snekkertransformasjoner. Joiner-transformasjonen støtter følgende typer sammenføyninger:
  • Normal
  • Master Ytre
  • Detalj Ytre
  • Full Ytre
Normal bli med kaster alle rader med data fra hoved- og detaljkilden som ikke samsvarer, basert på tilstanden. Master ytre sammenføyninger forkaster alle de umatchede radene fra hovedkilden og holder alle radene fra detaljkilden og de samsvarende radene fra hovedkilden. Detalj oute r join holder alle rader med data fra hovedkilden og de matchende radene fra detaljkilden. Det forkaster de umatchede radene fra detaljkilden. Full ytre join beholder alle rader med data fra både hoved- og detaljkilder.

Vi kan ikke bli med i mer enn to kilder ved å bruke en enkelt snekker. For å bli med i tre kilder, må vi ha to snekkertransformasjoner.

La oss si at vi ønsker å bli med i tre bord - ansatte, avdelinger og lokasjoner - ved hjelp av Joiner. Vi trenger to snekkere. Joiner-1 vil bli med, ansatte og avdelinger og Joiner-2 vil bli med, produksjonen fra Joiner-1 og Locations-tabellen.

Her er trinnene:

  1. Ta med tre kilder til kartleggingsdesigneren.
  2. Opprett Joiner -1 for å bli med Ansatte og avdelinger ved hjelp av Department_ID.

  3. Lag neste snekker, Joiner-2. Ta utdataene fra Joiner-1 og porter fra Locations Table og ta dem til Joiner-2. Bli med i disse to datakildene ved hjelp av Location_ID.
  4. Det siste trinnet er å sende det nødvendigeporterfra Joiner-2 til målet eller via et uttrykktransformasjontil måltabellen.

Union Transformation

Union Transformation er en aktiv og koblet Informatica-transformasjon. Den brukes til å slå sammen flere datasett fra forskjellige strømmer eller rørledninger til ett datasett. Denne Informatica-transformasjonen fungerer på samme måte som UNION ALL-kommandoen i SQL, men den fjerner ikke dupliserte rader. Det anbefales å bruke en aggregator for å fjerne duplikater som ikke forventes til målet.

overfør filer til ec2 linux-forekomst

Normaliseringstransformasjon

Normalisering Transformasjon er en aktiv og koblet Informatica-transformasjon. Det er en av de mest brukte Informatica-transformasjonene hovedsakelig med COBOL-kilder der det meste data lagres i de-normalisert format. Normaliseringstransformasjon kan også brukes til å lage flere rader fra en enkelt datarad.

La oss prøve å laste en kommaseparert dataflatfil fra en flat fil / Cobol-kilde.

Her er trinnene:

  1. Start med å laste butikken (flat fil) med butikkens navn og kvartalsvise inntekter:
  2. Opprett en ny Normalizer-transformasjon med navnet NRM_STORE_EXP med to porter Store og Quarter (Gjentas 4 ganger fordi vi har data for 4 kvartaler) som vist nedenfor:
  3. Portfanen skal være som vist nedenfor:
  4. Kopier / lenke følgende kolonner og koble til normaliseringstransformasjon.
    butikk
    Kvartal1
    Kvartal2
    Kvartal3
    Kvartal4
    Kartleggingen skal se ut som følger:
  5. Lag en ny uttrykkstransformasjon med exp_STORE . Kopier / lenke følgende kolonner og koble til uttrykkstransformasjon som vist nedenfor:
    butikk
    Fjerdedel
    GK_QUARTER
    GCID_QUARTER
  6. Koble uttrykket til det endelige målet for å fullføre kartleggingen ved hjelp av normaliseringstransformasjon.

XML-transformasjon

XML-transformasjoner er en aktiv og koblet informatica-transformasjon. I Informatica-transformasjoner brukes XML-transformasjon hovedsakelig når kildefilen er av XML-type eller data er av XML-type. XML-transformasjon kan hovedsakelig klassifiseres i tre transformasjoner:

  • XML Source Qualifier Transformation.
  • XML Parser Transformation.
  • XML Generator Transformation.

XML-kilde kvalifisering Transformasjon : XML Source Qualifier er en aktiv og tilkoblet transformasjon. XML Source Qualifier brukes bare med en XML-kildedefinisjon. Den representerer dataelementene som Informatica Server leser når den utfører en økt med XML-kilder. XML Source Qualifier har én inngangs- eller utgangsport for hver kolonne i kilden. Hvis du fjerner en XML-kildedefinisjon fra en kartlegging, fjerner designeren også den tilsvarende XML-kilde-kvalifiseringstransformasjonen.

XML Parser Transformation: XML Parser Transformation er en aktiv og koblet transformasjon. XML Parser-transformasjon brukes til å trekke ut XML inne i en rørledning og deretter overføre dette til målet. XML hentes fra kildesystemene, for eksempel filer eller databaser. XML Parser-transformasjonen leser XML-data fra en enkelt inngangsport og skriver data til en eller flere utgangsporter.

XML Generator Transformation: XML Generator er en aktiv og tilkoblet transformasjon. XML Generator-transformasjon brukes til å opprette XML i en rørledning. XML Generator Transformation leser data fra en eller flere inngangsporter og sender ut XML gjennom en enkelt utgangsport.

Rang transformasjon

Rangtransformasjon er en aktiv og tilkoblet transformasjon. Det er en Informatica-transformasjon som hjelper deg med å velge topp eller bunn rangering av data. For eksempel å velge topp 10 regioner der salgsvolumet var veldig høyt eller å velge 10 produkter med lavest pris.

Tenk på at du ønsker å laste den første og siste posten inn i en måltabell fra medarbeiderdatabasen min. Tanken bak dette er å legge til et sekvensnummer i postene og deretter ta topp 1 rangering og bunn 1 rang fra postene.

  1. Dra og slipp porter fra kildekvalifisering til to rangtransformasjoner.
  2. Lag en gjenbrukbar sekvensgenerator med startverdi 1 og koble neste verdi til begge rangtransformasjoner.
  3. Angi rangegenskaper som følger. Den nylig tilføyde sekvensporten skal velges som Rank Port. Du trenger ikke å velge en port som Gruppe etter port. Rangering - 1
  4. Rangering - 2
  5. Lag to forekomster av målet.Koble utgangsporten til målet.

Ruteromdannelse

Ruter er en aktiv og tilkoblet transformasjon. Det ligner på filtertransformasjon. Den eneste forskjellen er at filtertransformasjon slipper dataene som ikke oppfyller betingelsen, mens ruteren har et alternativ for å fange opp dataene som ikke oppfyller betingelsen. Det er nyttig å teste flere forhold. Den har inngangs-, utgangs- og standardgrupper.

La oss si at du ønsker å skille odde og jevne poster i en tabell, dette kan gjøres ved å bruke en rutertransformasjon.

Tanken er å legge til et sekvensnummer i postene og deretter dele postnummeret med 2. Hvis det er delbart, så flytt det til jevnt mål, og hvis ikke, flytt det til odde mål.

  1. Dra kilden og koble til en uttrykkstransformasjon.
  2. Legg til neste verdi av en sekvensgenerator til uttrykkstransformasjon.
  3. I uttrykkstransformasjon kan du lage to porter, en er 'merkelig' og en annen 'like'.
  4. Skriv uttrykket som nedenfor
  5. Koble en rutertransformasjon til uttrykk.
  6. Lag to grupper under rutetransformasjonen.
  7. Gi tilstand som nedenfor
  8. Send deretter de to gruppene til forskjellige mål. Dette er hele flyten.

Jeg håper denne Informatica Transformation-bloggen var nyttig for å bygge din forståelse av de forskjellige Informatica-transformasjonene og har skapt nok interesse til å lære mer om Informatica.

Hvis du syntes denne bloggen var nyttig, kan du også sjekke ut vår bloggserie Informatica Tutorial og Informatica Tutorial: Forstå Informatica ‘Inside Out’ .I tilfelle hvis du leter etter detaljer om Informatica-sertifisering, kan du sjekke bloggen vår Informatica-sertifisering: Alt det er å vite .

Hvis du allerede har bestemt deg for å ta Informatica som en karriere, vil jeg anbefale deg hvorfor ikke ta en titt på vår kurs side. Informatica-sertifiseringsopplæringen på Edureka vil gjøre deg til en ekspert på Informatica gjennom live instruktørledede økter og praktisk trening ved bruk av virkelige brukssaker.