Tilgå Center Denmarks portal her

På Portalen kan du gratis oprette dig som bruger ved at følge vejledningen i ovenstående link.

Hvis du som interesseret Data Engineer vil udforske data yderligere, så har vi en række åbne datasæt til rådighed, som kan udforskes på Portalen og du kan interagere med vores API i forhold til at hente disse data med din foretrukne metode.

Her anbefaler vi, at du logger ind, og vha. forsiden fremsøger en række offentlige datasæt - fx "Live Frequency DK2 V.1" som er netfrekvensen på hele el-nettet på Sjælland eller "Heat Consumption - Sector-Coupled Clustered Data" som er anonymiseret fjernvarmedata.

Portalen er Center Denmarks digitale knudepunkt, hvor vi forbinder aktører, data og teknologi for at fremme innovation og bæredygtige løsninger. Den fungerer som en platform for dataudveksling, hvor brugere kan tilgå og dele omfattende energi- og forsyningsdata gennem intuitive værktøjer og åbne API’er.

Data faciliteres til en lang række aktører - fx forsyningsselskaber, offentlige institutioner, universiteter og private virksomheder. Datasæt på Portalen er enten åbne og frit tilgængelige, eller fortrolige, hvor adgang kun er givet til specifikke brugere, overholder visse krav.

Center Denmarks teknologier: Fremtidens Data Engineering

Hos Center Denmark arbejder vi med en avanceret og skalerbar teknologistak, der er designet til at håndtere store og komplekse datamængder. Med fokus på at accelerere den grønne omstilling giver vores infrastruktur dig som Data Engineer muligheden for at arbejde med nogle af de mest moderne værktøjer og teknologier inden for Big Data og cloud-løsninger.

Inputkilder:

Vores datainfrastruktur er bygget til at håndtere data fra mange forskellige kilder, herunder:

- Real-time data streams via RabbitMQ, Flink, og Kafka

- Data via REST API'er, SFTP, og Apache NiFi, som sikrer pålidelig og effektiv dataoverførsel

Data Lake og S3-baseret lagring

Vi anvender en S3-kompatibel objektlagring gennem Ceph, som gør det muligt at gemme, tilgå og arbejde med store mængder struktureret og ustruktureret data i en skalerbar arkitektur.

Data lagres i forskellige niveauer og vi anvender Apache Spark som motor til databehandling og analyse, hvilket gør det muligt at håndtere store datamængder hurtigt og effektivt. Dette sikrer, at data flyder gennem systemet fra rådata til analyserbare outputs.

Outputkilder

Den forarbejdede data deles via forskellige kanaler:

- REST API'er til integration med eksterne systemer

- Portalen, hvor data er tilgængelig for aktører på tværs af sektorer

- Dashboards, der visualiserer data og giver indsigt til beslutningstagere