SAP DS (Data Services) in HANA

Anonim

Wat zijn SAP-datadiensten?

SAP Data Services is een ETL-tool die een oplossing op ondernemingsniveau biedt voor data-integratie, transformatie, datakwaliteit, dataprofilering en tekstdataverwerking van de heterogene bron naar een doeldatabase of datawarehouse.

We kunnen applicaties (job) maken waarin datamapping en transformatie gedaan kan worden met behulp van de Designer. (De nieuwste versie van SAP BODS is 4.2).

Kenmerken van datadiensten

  • Het biedt hoogwaardige parallelle transformaties.
  • Het heeft uitgebreide administratieve tools en rapportagetool.
  • Het ondersteunt meerdere gebruikers.
  • SAP BODS is zeer flexibel met een webservice-gebaseerde applicatie.
  • Het maakt scripttaal mogelijk met uitgebreide sets functies.
  • Data Services kunnen worden geïntegreerd met SAP LT Replication Server (SLT), met de

    Trigger-gebaseerde technologie. SLT voegt deltamogelijkheden toe aan elke SAP- of niet-SAP-brontabel

    Dat maakt het mogelijk om gegevens vast te leggen voor verandering en om de deltagegevens van

    de Brontabel.

  • Datavalidatie met dashboards en procesaudits.
  • Beheertool met planningsmogelijkheden en monitoring / dashboards.
  • Foutopsporing en ingebouwde profilering en weergavegegevens.
  • SAP BODS-ondersteuning Brede bron en doelgroep.
    • Alle toepassingen (bijv. SAP).
    • Alle databases met bulksgewijs laden en vastleggen van wijzigingen in gegevens
    • Bestanden: vaste breedte, door komma's gescheiden, COBOL, XML, Excel.

Onderdeel van datadiensten

SAP DATA-services hebben onderstaande component -

  1. Designer- Het is een ontwikkelingstool waarmee we een taak kunnen maken, testen en uitvoeren die een datawarehouse vult.

    Hiermee kan de ontwikkelaar objecten maken en deze configureren door een pictogram in een stroomdiagram van bron naar doel te selecteren.

    Het kan worden gebruikt om een ​​applicatie te maken door workflows en gegevensstromen te specificeren.

    Om Data Service Designer te openen, gaat u naar Start Menu -> Alle programma's -> SAP Data Services (4.2 hier) -> Data Service Designer.

  1. Job Server - Het is een applicatie die de verwerkingsengine voor dataservices start en dient als interface voor de engine en Data Services Suite.
  2. Motor- Data Service engine voert individuele banen die zijn gedefinieerd in de applicatie.
  3. Repository - Repository is een database waarin door de ontwerper vooraf gedefinieerde objecten en door de gebruiker gedefinieerde objecten (bron- en doelmetagegevens, transformatieregels) worden opgeslagen.

    Er zijn twee soorten opslagplaatsen -

  • Lokale repository (gebruikt door Designer en Job Server).
  • Centrale opslagplaats (gebruikt voor het delen van objecten en versiebeheer)
  1. Toegangsserver - De toegangsserver geeft berichten door tussen webapplicaties, dataservices-jobservers en engines.
  2. Beheerder - Webbeheerder biedt browsergebaseerd beheer van gegevensservicebronnen, de details zijn als volgt:
  • Real-time services configureren, starten en stoppen.
  • Batchtaken plannen, bewaken en uitvoeren.
  • Het gebruik van Job Server, Access Server en Repository configureren.
  • Gebruikers beheren.
  • Batchtaken en realtime services publiceren via webservices
  • Adapters configureren en beheren.

Data Services-architectuur -

Data Services-architectuur heeft de volgende component:

  • Central Repository - het wordt gebruikt voor configuraties van opslagplaatsen naar jobservers, beveiligingsbeheer, versiebeheer en het delen van objecten
  • Designer - Gebruikt voor Create Project, Job, workflow, datastroom en run.
  • Lokale repository (hier zou je verandering kunnen aanmaken en taken kunnen starten, Workflow, dataflow).
  • Job server & engine - Het beheert de jobs.
  • Toegangsserver - Het wordt gebruikt om de realtime taken uit te voeren die door ontwikkelaars in de repositories zijn gemaakt.

In onderstaande afbeelding wordt de relatie tussen Data Services en hun component getoond.

SAP BODS-architectuur

Designer Window Detail: eerst kijken we naar het eerste onderdeel van SAP Data Service Designer

Het detail van elke sectie van de ontwerper van gegevensservices is als volgt:

  1. Werkbalk (gebruikt voor openen, opslaan, terug, valideren, uitvoeren, enz.).
  2. Projectgebied (Bevat het huidige project, inclusief Job, Workflow en Dataflow. In Data Services zijn alle entiteiten objecten.
  3. Werkruimte (het toepassingsvenster waarin we objecten definiëren, weergeven en wijzigen).
  4. Lokale objectbibliotheek (deze bevat lokale repository-objecten, zoals transformaties, taak, workflow, gegevensstroom, enz.).
  5. Toolpalet (knoppen op toolpalet stellen u in staat om nieuwe objecten aan de werkruimte toe te voegen).

Objecthiërarchie

Het onderstaande diagram toont hiërarchische relaties voor de belangrijkste objecttypen binnen Data Services.

​

Notitie:

Workflows en Conditional * zijn optioneel

Objecten die worden gebruikt in de details van SAP Data Services zijn als volgt:

Voorwerpen Omschrijving
Project Een project is een object op het hoogste niveau in het Designer-venster. Projecten bieden u een manier om de andere objecten die u in Data Services maakt te ordenen. Er is slechts één project tegelijk open (waarbij "open" betekent "zichtbaar in het projectgebied").
Job Een "baan" is de kleinste werkeenheid die u zelfstandig kunt inplannen voor uitvoering.
Scripts Een subset van regels in een procedure.
Workflow Een "werkstroom" is het opnemen van verschillende gegevensstromen in een samenhangende werkstroom voor een hele taak. Workflow is optioneel. Workflow is een procedure.
  • Roep datastromen op
  • Bel een andere workflow
  • Bepaal de volgorde van de stappen die in uw werk moeten worden uitgevoerd
  • Geef parameters door van en naar gegevensstromen.
  • Specificeer hoe fouten die tijdens de uitvoering optreden, moeten worden afgehandeld.
  • Definieer voorwaarden voor het uitvoeren van delen van het project.
Informatiestroom Een "gegevensstroom" is het proces waarmee brongegevens worden omgezet in doelgegevens. Een gegevensstroom is een herbruikbaar object. Het wordt altijd aangeroepen vanuit een werkstroom of een baan.
  • Identificeer de brongegevens die u wilt lezen.
  • Definieer de transformaties die u op de gegevens wilt uitvoeren.
  • Identificeer de doeltabel waarnaar u gegevens wilt laden.
Datastore Logisch kanaal dat Data Services verbindt met bron- en Datastore-doeldatabases.
  • Moet voor elke bron- en doeldatabase worden opgegeven.
  • Worden gebruikt om metadata voor bron- en doeldatabases in de opslagplaats te importeren
  • Worden gebruikt door Data Services om gegevens uit brontabellen te lezen en datato-doeltabellen te laden
Doelwit Tabel of bestand waarin Data Services gegevens uit de bron laadt.

Dataservices-voorbeeld door gegevens te laden uit SAP-brontabel

Alles in Datadiensten is een object. We moeten de gegevensopslag voor elke bron- en doeldatabase apart houden.

Stappen voor het laden van gegevens uit de SAP-brontabel - SAP BODS hebben veel stappen, waarin we een gegevensopslag voor bron en doel moeten maken en ernaar moeten toewijzen.

  • Creëer een gegevensopslag tussen bron en BODS
  • Importeer de metadata (Structures) naar BODS.
  • Configureer Import Server
  • Importeer de metadata naar het HANA-systeem.
  • Maak een gegevensopslag tussen BODS naar HANA.
  • Project maken.
  • Taak maken (batch / realtime)
  • Creëer een workflow
  • Maak een gegevensstroom
  • Object toevoegen in gegevensstroom
  • Voer de klus uit
  • Controleer het gegevensvoorbeeld in HANA

Stap 1) Creëer een datastore tussen SAP Source en BODS

  1. Om gegevens van SAP Source naar SAP HANA te laden via SAP BODS, hebben we een datastore nodig. Daarom maken we eerst een gegevensopslag, zoals hieronder wordt weergegeven -

    Project -> Nieuw -> Data Store

  2. Er verschijnt een pop-up voor Create new data store, voer details in zoals hieronder -
    1. Voer de naam van het gegevensarchief "ds_ecc" in.
    2. Selecteer de naam van het type gegevensopslag als "SAP-toepassingen".
    3. Voer de naam van de databaseserver in
    4. Gebruikersnaam en wachtwoord.
    5. Klik op de knop "Toepassen".
    6. Klik op "OK".

  3. Data Store wordt gemaakt en bekijk de gemaakte datastore zoals hieronder-
  1. Ga naar Local Object Library
  2. Selecteer het tabblad Gegevensopslag.
  3. Gegevensopslag "ds_ecc" wordt weergegeven.

Stap 2) Importeer metadata (structuur) naar BODS-server.

We hebben een datastore gemaakt voor ECC naar BODS; nu importeren we metadata van ECC in BODS. Volg onderstaande stappen om te importeren -

  1. Selecteer Datastore "ds_ecc" en klik met de rechtermuisknop.
  2. Selecteer de optie Importeren op naam.

    Een pop-up voor Importeren op naam wordt weergegeven. Voer details in zoals hieronder -

    1. Selecteer Type als een tabel.
    2. Voer de naam van de tabel in die we willen importeren. Hier importeren we de KNA1-tabel.
    3. Klik op de knop "Importeren". De KNA1-tabel zal verschijnen onder het tabelknooppunt van de gegevensbron "ds_ecc".

Metagegevens van de tabel worden geïmporteerd in datastore ds_ecc zoals hieronder -

Stap 3) Configureer Import Server

Tot nu toe hebben we een tabel geïmporteerd naar de opgeslagen gegevens "ds_ecc" gemaakt voor ECC naar SAP BODS Connection. Om gegevens in SAP HANA te importeren, moeten we de Import-server configureren,

  1. Ga hiervoor naar Quick View-> Configure Import Server zoals hieronder -

  2. Er verschijnt een pop-up voor Select System.Selecteer SAP HANA (HDB hier) Systeem zoals hieronder-

  1. Klik op de knop "Volgende". Er verschijnt nog een pop-up voor gegevensservicegegevens, voer de volgende gegevens in
  1. SAP BODS-serveradres (hier BODS: 6400)
  2. Voer de SAP BODS-opslagplaatsnaam in (HANAUSER-opslagplaatsnaam)
  3. Voer ODBC-gegevensbron (ZTDS_DS) in.
  4. Voer de standaardpoort in voor SAP BODS-server (8080).

Klik op de knop "Voltooien".

Stap 4) Importeer de metadata naar HANA System

1. Tot nu toe hebben we Configured Import Server, nu gaan we metadata importeren van de SAP BODS-server.

  1. Klik op Importeer optie in Quick View.
  2. Er wordt een pop-up voor de importoptie weergegeven. Selecteer de optie "Selectieve import van metagegevens".

Klik op de knop "Volgende".

2. Een pop-up voor "Selectieve import van metadata" wordt weergegeven, waarin we het doelsysteem selecteren.

  1. Selecteer SAP HANA-systeem (HDB hier).

Klik op de knop "Volgende".

Stap 5) Creëer een gegevensopslag tussen BODS en HANA

Zoals we weten, moeten we in BODS een aparte datastore maken voor bron en doel. We hebben al een datastore gemaakt voor de bron, nu moeten we een datastore maken voor het doel (tussen BODS en HANA). Daarom maken we een nieuwe datastore aan met de naam "DS_BODS_HANA".

  1. Ga naar Project -> Nieuw -> Datastore.

  1. Een scherm voor Create new Datastore zal verschijnen zoals hieronder.
    1. Voer de Datastore-naam in (DS_BODS_HANA).
    2. Voer Datastore-type in als Database.
    3. Voer het databasetype in als SAP HANA.
    4. Selecteer Databaseversie.
    5. Voer de naam van de SAP HANA-databaseserver in.
    6. Voer de poortnaam in voor de SAP HANA-database.
    7. Voer gebruikersnaam en wachtwoord in.
    8. Vink "Automatische gegevensoverdracht inschakelen" aan.

Klik op "Toepassen" en vervolgens op "OK".

Gegevensopslag "DS_BODS_HANA" wordt weergegeven op het datastore-tabblad van de lokale objectbibliotheek als

Hieronder

  1. Nu importeren we de tabel in het gegevensarchief "DS_BODS_HANA".
    1. Selecteer gegevensopslag "DS_BODS_HANA" en klik met de rechtermuisknop.
    2. Selecteer Importeren op naam.

  1. Een pop-up voor Importeren op naam zal verschijnen zoals hieronder:
    1. Selecteer Type als tabel.
    2. Voer Naam in als KNA1.
    3. Eigenaar wordt weergegeven als Hanauser.
    4. Klik op de knop Importeren.

De tabel wordt geïmporteerd in de gegevensopslag "DS_BOD_HANA", volg de onderstaande stappen om de gegevens in de tabel te bekijken -

  1. Klik op tabel "KNA1" in datastore "DS_BODS_HANA".
  2. De gegevens worden IN TABULAIR formaat weergegeven.

Stap 6) Definieer Project: Projectgroep en organiseer gerelateerde objecten. Het project kan een willekeurig aantal taken, werkstroom en gegevensstroom bevatten.

  1. Ga naar het Designer Project-menu.
  2. Selecteer een nieuwe optie.
  3. Selecteer de optie Project.

Een POP-UP voor het maken van een nieuw project verschijnt zoals hieronder. Voer de projectnaam in en klik op de knop Maken. Het zal een projectmap aanmaken in ons geval BODS_DHK.

Stap 7) Job definiëren: een job is een herbruikbaar object. Het bevat workflows en gegevensstroom. Taken kunnen handmatig of volgens een schema worden uitgevoerd. Om het BODS-proces uit te voeren, moeten we de taak definiëren.

We creëren een vacature als JOB_Customer.

  1. Selecteer Project (BODS_DHK) aangemaakt in stap 1, klik met de rechtermuisknop en selecteer "New Batch Job".

  2. Hernoem het naar "JOB_Customer".

Stap 8) Definieer de workflow:

  1. Selecteer Job "JOB_Customer" in projectgebied,
  2. Klik op de workflow-knop op het toolpalet. Klik op het gebied Black Workspace. Er verschijnt een werkstroompictogram in de werkruimte.
  3. Verander de naam van de workflow in "WF_Customer".

Klik op de naam van de workflow, een lege weergave voor de workflow verschijnt in de werkruimte.

Stap 9) Definieer Dataflow:

  1. Klik op Workflow "WF_Customer".
  2. Klik op de Dataflow-knop in het toolpalet. Klik op het gebied Black Workspace. Er verschijnt een Dataflow-pictogram in de werkruimte.
  3. Verander de naam van de Dataflow in "DF_Customer".
  4. De Dataflow verschijnt ook in het projectgebied aan de linkerkant onder taaknaam.

Stap 10) Object toevoegen in gegevensstroom:

Binnen de gegevensstroom kunnen we instructies geven om brongegevens om te zetten in de gewenste vorm voor de doeltabel.

We zullen hieronder object zien -

  • Een object voor de bron.
  • Een object voor de doeltafel.
  • Een object voor query-transformatie. (Query-transformatie wijst de kolommen van bron naar doel toe.)

    Klik op de gegevensstroom DF_Customer. Een lege werkruimte verschijnt zoals hieronder -

  1. Specificeer object van Bron - Ga naar Data store "ds_ecc" en selecteer tabel KNA1 en sleep en zet neer naar datastroom leeg scherm zoals onder scherm-
  2. Specificeer object voor Target- Selecteer Data store "DS_BODS_HANA" uit de repository en selecteer tabel KNA1.
  3. Versleep naar de werkruimte en selecteer de optie "Doel maken". Er zullen twee tabellen zijn voor bron en doel. Hier zullen we de tabel definiëren als bron en doel.

  1. Query-transformatie - Dit is een tool die wordt gebruikt om gegevens op te halen op basis van een invoerschema voor gebruikersspecifieke omstandigheden en voor het transporteren van gegevens van bron naar doel.
    1. Selecteer het pictogram Querytransformatie in het toolpalet en sleep het tussen het bron- en doelobject in de werkruimte, zoals hieronder -
    2. Koppel Query-object aan Bron.
    3. Koppel Query-object aan de doeltabel.

    1. Dubbelklik op het pictogram Query. Hiermee brengen we een kolom in kaart van invoerschema naar uitvoerschema.

Wanneer we op het Query-pictogram klikken, verschijnt een volgend venster voor mapping, waarin we de volgende stappen uitvoeren -

  1. Brontabel KNA1 is geselecteerd.
  2. Selecteer alle kolommen uit de brontabel en klik met de rechtermuisknop en selecteer een kaart om uit te voeren.
  3. Doeluitvoer geselecteerd als Query, en kolom wordt toegewezen.

5. Bewaar en valideer het project.

1. Klik op het pictogram valideren.

2. Er verschijnt een pop-up voor een geslaagde validatie.

Stap 11) Job uitvoeren - Volg het onderstaande pad om de taak uit te voeren.

  1. Selecteer het pictogram Projectgebied om het project te openen en selecteer het gemaakte project.
  2. Selecteer Job en klik met de rechtermuisknop.
  3. Selecteer de optie Uitvoeren om de taak uit te voeren.

    1. Na het uitvoeren van een taak wordt een venster met het takenlogboek weergegeven, waarin alle berichten met betrekking tot de taak worden weergegeven.
    2. Het laatste bericht is dat Job <> succesvol is voltooid.

    Stap 12) - Valideer / controleer gegevens in SAP HANA-database.

    1. Meld u aan bij de SAP HANA-database via SAP HANA Studio en selecteer HANAUSER-schema.
    2. Selecteer de KNA1-tabel in het tabelknooppunt.
    3. Klik met de rechtermuisknop op tabel KNA1 en selecteer Open Data Preview.
    4. Tabel (KNA1) Gegevens die zijn geladen door BODS-processen zoals hierboven, worden weergegeven in het gegevensvoorbeeldscherm.