#14537 | 2019-08-26 Virum, Denmark

Data Engineer

For a client in the energy sector, we are looking for a data engineer.

Scope to be covered by the consultant:

POC
  • Transform the delivered CSV files into Azure DW load format (Azure PolyBase based)
  • Simple SQL modelling.
  • Create model for handling documents connected to the SQL data model (assumed to be based on Data Lake storage gen. 2 BLOB to be accessed via http).
  • Create simple model for user access to data (assumed to be based to a simple Azure Power BI Dashboard).
  • Support the POC process to a stage where accepted by the stakeholders.
  • Build authorisations to restrict access to critical data (GDPS)

Data migration
  • Finalise the POC into production maturity.
  • Support the ongoing load process.
  • Adapt data type deviation as the occur during the data migration process.

Build/enhance user interface / reports.
  • Based on the developed data model.


General qualifications to solve the task:

General profile:
  • General understanding of DW/BI in an Azure Cloud technology environment
  • Experienced in Azure technology
  • SQL and data modeling
  • Data transformation in relation to loading data into the * Azure data containers
  • Experience with DataBricks (Python/SQL mapping) is an advantage

Data containers:
  • Azure DW
  • Azure SQL DB
  • Azure Data Lake storage gen 2 and BLOB storage

Data transformation:
  • Polybase (transformation and load data into Azure DW)
  • Python (data transformation)
  • Blob storage to handle documents/pictures etc. (incl. mime handling)

Data access:
  • Experienced with utilise Azure AD to protect access to data (authentication/authorisation)
  • Simple dashboards to support guided access to data.
  • SQL based access to support super users.


Start: ASAP
Duration: 30. Maj 2020
Work location: Virum, Denmark
Requirements: Min. 5 years of professional IT experience.
Job type: Freelance

Project gesloten

Helaas, voor dit project zoeken wij geen kandidaten meer.

Klik op "Beschikbare projecten" om de lijst van actuele projecten te bekijken.

Bent u een klant die op zoek is naar dit profiel, gebruik dan het formulier "Bekijk het cv van een IT professional" op onze andere website.

Vacature alert aanmaken?

Popupagent

Wil jij graag op de hoogte gehouden worden van onze nieuwe vacatures? Meld je dan aan voor onze (gratis) job agent.

ProData Consult slaat gegevens in uw browser / apparaat op met behulp van cookies ten behoeve van statistieken en optimalisatie van onze websites en optioneel voor gerichte reclame. Door dit te accepteren, geeft u ons toestemming voor dit gebruik van cookies. Lees ons Privacybeleid voor meer informatie. U kunt hier altijd uw toestemming intrekken: Privacybeleid & cookies

De website vereist het gebruik van "Noodzakelijke cookies". Onze noodzakelijke cookies worden alleen gebruikt voor het leveren van een functionerende website en webservice.

Geselecteerde diensten van derden kunnen cookies opslaan om relevante advertenties op websites van derden te plaatsen.