Data Engineer képzés

Python alapú adatmérnöki tanfolyam felhőkörnyezetben: Pandas, SQL és AWS technológiák gyakorlati projekteken, az adatbetöltéstől a feldolgozó folyamatokig.

Folyamatos mentoráció

Vezetett kódolás

Korlátozott létszám

Élő konzultációk

100% pénzvisszafizetési garancia Kamatmentes részletfizetés

Jelentkezem most

Mit fogsz tanulni?

12 hét alatt a python alapoktól a felhőalapú ETL pipeline-ok építéséig vezet végig.

pythonsqlpandasaws cloudetlweb scrapingadatmodellezésaws lambda

1 Python alapjai A fejlesztői környezet beállítása és a Python nyelv alapjai.

Az Anaconda Navigator telepítése
A Jupyter Notebook fejlesztői környezet elindítása
Beviteli (input) módok
A Python nyelv helyesírása
Adatok kiíratása, megjelenítése
Mappák, elérési utak helyesírása
Mappák tartalmának elérése - az OS modul
Osztás, maradék, hatványozás, gyökvonás
A változók főbb adattípusai

2 Szöveges karakterláncok tisztítása és átalakítása Stringműveletek és szövegfeldolgozási technikák.

Nagybetű, kisbetű átalakítások
Felesleges szóközök törlése
Szövegek lecserélése
Szöveg keresése egy másik szövegen belül
Szövegek szeletelése (slicing)
Szövegek szétbontása
Szövegek összefűzése
Szövegek formázása
A backslash használata

3 Adattranszformáció és adattisztítás Pandas segítségével I. A Pandas könyvtár alapjai, CSV beolvasás és oszlopkezelés.

A Pandas könyvtár
CSV fájlok beolvasása DataFrame-be
Adatok a DataFrame-ről
Minden szó nagy kezdőbetűvel oszlopban
Felesleges szóközök levágása
Szövegek lecserélése az oszlopban
DataFrame oszlopok szétdarabolása
Oszlopok összefűzése, egyesítése
Oszlopok adattípusának megváltoztatása
Oszlopok, sorok törlése és átnevezése
Új oszlopok hozzáadása
Sorok rendezése
Adatok exportálása CSV-be és Excelbe
Adatok importálása SQL adatbázisból
Slicing és szűrések a DataFrame-ben
Ismétlődések eltávolítása

4 Hasznos Python hatékonysági technikák Produktivitási eszközök és hibakezelés.

Hasznos billentyűparancsok
Dátumok kezelése
A hibák elfogása (TRY - EXCEPT)
Adatok bekérése a felhasználótól (INPUT)
Mappák és fájlok létrehozása, törlése a fájlrendszerben
Notebook-ok másolása

5 Egyéni függvények létrehozása Saját és lambda függvények definiálása.

Egyéni, saját függvények definiálása (def)
A futási idő mérése
A lambda egyéni függvények
Számok kerekítése

6 Feltételkezelés (IF) és ciklusok A vezérlési szerkezetek és fájlok feldolgozása ciklussal.

Feltételek (IF)
Szövegek keresése az IF segítségével
Bináris változók (igaz vagy hamis)
Ciklus (FOR)
Ciklus (WHILE)
Végigfutás ciklussal egy mappa fájljain
Több fájl összefűzése egy DataFrame-ben
Dimenziótáblák létrehozása több fájlból

7 Listák használata A lista adatszerkezet kezelése.

Listák létrehozása
Listaelemek hozzáadása, módosítása, törlése
Végigfutás ciklussal a lista elemein
Adott elemek elérése egy listában
Szövegek felosztása listába
Szövegek összefűzése listából
Nem numerikus elemek eltávolítása a listából
A listák közötti különbség megtalálása

8 Adattranszformáció és adattisztítás Pandas segítségével II. Excel forrásból olvasás és haladó szűrés.

Kódunk egyszerűsítése listákkal
Adatok beolvasása Excel-fájlokból DataFrame-be
Az üres értékekkel rendelkező sorok vagy oszlopok törlése
Azonos fejlécű oszlopok kezelése
DataFrame oszlopok szűrése szöveg alapján
DataFrame oszlopok szűrése listával
Két DataFrame egyesítése az értékek kikereséséhez
CSV-fájlok importálása speciális paraméterekkel
Nagy méretű (több millió soros) CSV-fájlok importálása

9 Szótárak használata A dictionary adatszerkezet alkalmazása.

Szótár (Dictionary) készítése
Végigfutás ciklussal a szótár elemein
Listák összepárosítása szótárba
Listákban ismétlődések eltávolítása szótárral

10 Adattranszformáció és adattisztítás Pandas segítségével III. Aggregációk, pivot táblák és diagramok.

DataFrame oszlopok átnevezése szótárral
Végigfutás ciklussal oszlopokon és sorokon
Sablon programok készítése
Számítások oszlop értékekkel
Hiányzó (üres) értékek az oszlopokban
Oszlop és sor értékek összesítése
Tartományok megadása az értékek alapján
Csoportonkénti összesítés - Pivot tábla
Diagramok készítése
Táblázatok közötti különbségek keresése
Írás az Excel-fájlok adott celláiba

11 AWS bevezető, VSCode, JSON és Web Scraping A felhőkörnyezet beállítása és adatgyűjtés API-okból.

AWS bevezető
AWS ingyenes szintek és költségek
AWS fiók és IAM User létrehozása
AWS költségvetés
VSCode telepítése
Virtuális környezet létrehozása
Chicago data portal regisztrálás
Python JSON - JSON elérése
Web Scraping
GitHub regisztráció és VSCode integráció
README és gitignore

12 Adatok kinyerése API-okból, transzformációk és ellenőrzések Valós adatforrások feldolgozása és adatminőség ellenőrzés.

Taxi trips lekérése egy útra és egy napra
Időjárás adatok lekérése egy napra
Dátum dimenzió elkészítése
Ismerkedés a taxi adattal
Transzformációk
Az időjárási adatok tesztelése
Adattípus konverziók, memóriakezelés
Adatminőség ellenőrzés
Adatmodellezés alapok

13 Data modeling, AWS S3 és AWS Lambda - Extract, Transform Dimenziótáblák és Lambda alapú ETL function-ök építése.

Payment Type és Company dimenzió táblák
Dátum dimenzió segédoszlop hozzáadása
Payment Type és Company update logika
S3 bucket létrehozása
Extract Lambda létrehozása és API call tesztelése
Extract Lambda időjárás API call, S3 feltöltés
Extract Lambda refaktorálás és trigger beállítás
Transform Load Lambda tervezés
Transform Load Lambda taxi transzformációk
Company és payment type transzformáció egyesítése
fact_taxi_trips feltöltése id-kal
dim_weather transzformáció

14 AWS Lambda - Transform Load A teljes Transform Load folyamat felépítése és tesztelése.

File beolvasása S3-ból
A kód átszervezése
Weather, taxi, company és payment type transzformáció
Dimenziós adatok kezelése S3-on
Az archiváló függvény elkészítése és tesztelése
A főfüggvény átszervezése
End-to-end test
A trigger beállítása

15 AWS Glue, AWS Athena és SQL Crawlerek, lekérdezések és adatmodell létrehozása.

AWS Glue bevezetés
Crawlerek létrehozása és policy beállítás
AWS Athena bevezető
SQL alap parancsok
SQL aggregáció
SQL having
SQL join
Adatmodell létrehozása előkészületek
File-ok beolvasása S3-ból
Adatmodell készítése

Előnyök

Miért érdemes belevágnod?

Az adatok mennyisége és sokfélesége évről évre nő, a vállalatok pedig egyre inkább az adatokra épülő, megalapozott döntésekre építik a működésüket. Az IoT-eszközök terjedése és a big data technológiák térnyerése közben újabb és újabb forrásokból árasztja az adatot, amit valakinek rendszerbe kell szerveznie és értelmeznie kell.

Ezzel párhuzamosan az adatkezelésre és -elemzésre szolgáló eszközök és platformok is egyre fejlettebbek és könnyebben elérhetők, ami tovább gyorsítja a terület növekedését. Nem véletlen, hogy az adatmérnöki szakma az egyik legjobban fizető és legkeresettebb út lett az IT-n belül: a Glassdoor adatai szerint egy Data Engineer átlagfizetése Budapesten meghaladja az 1.300.000 forintot.

Munka mellett végezheted, rugalmas időbeosztással
Gyakorlati projekteken keresztül, oktatói mentorálással
LinkedIn profilodba beágyazható tanúsítvány

Ismerd meg oktatóidat

Balogh Balázs

Data Engineer, Zeiss Digital Innovation Hungary

Data Engineerként adatvezérelt megoldások fejlesztésével foglalkozom, jelenleg egy nemzetközi vállalat adatminőségi csapatában dolgozom. Python, PySpark, SQL és Azure technológiákkal építek adatmegoldásokat: ETL folyamatokat fejlesztek, rendszerek közötti integrációkat biztosítok, és Power BI dashboardokat készítek, hogy a döntéshozók valós időben lássák az adatokat.

A szakmai munkám mellett a közösségépítésben is aktív vagyok: én szervezem a Budapest.py meetup csoportot. Hiszek az élethosszig tartó tanulásban, és célom, hogy az adatok mellett a tudást is hatékonyan adjam át.
Jobbágy Szabolcs

MS Excel/Visual Basic/Power BI szakértő

2001-ben kezdtem el Excel táblázatokkal dolgozni munkahelyi környezetben, 2005-től pedig a főállásom mellett tréningeket kezdtem tartani. Az elmúlt közel 20 évben több mint 120 céggel dolgoztam együtt, és több mint 10 000 résztvevőt képeztem több mint 1000 tréningen.

Oktatási portfólióm az időhatékonysági tréningektől az adatelemzésen és automatizáláson át a Python programozásig és a webfejlesztésig terjed. Olyan vállalatok bízták rám munkatársaik képzését, mint a Bosch, a Coca-Cola, a LEGO, a Telekom, az Allianz, a Nestlé, a Vodafone és az Oracle.

A Cubix Institute of Technology képzésein a legtöbb 5 csillagos értékeléssel rendelkező oktató vagyok.

Kinek ajánlott?

Azoknak, akik még nem vagy csak most kezdtek el data-val foglalkozni
Akik karriert vagy állást szeretnének váltani
Akik hajlandóak sokat tanulni a céljaik érdekében

Kinek nem ajánlott?

Akiknek semmilyen IT-alapjuk nincs, és nem is szánnának időt a felzárkózásra
Akik már tapasztalt data engineerek, nekik a középhaladó Azure/Spark képzést ajánljuk
Akik kizárólag elemzői (dashboard, riport) irányba fejlődnének
Akik gyors eredményt várnak intenzív tanulás nélkül

Mik a képzés előkövetelményei?

Ehhez a képzéshez nincs valódi kötelező elofeltétel, kezdo szintrol indul, így nyugodtan belevághatsz elozetes programozói vagy adatelemzoi tapasztalat nélkül is. A táblázatkezelok, például az Excel középhaladó ismerete elony, de nem feltétel. Ha van már valamennyi IT-alapod és hajlandó vagy sokat gyakorolni, gyorsabban haladsz majd, ez azonban szintén csak elony, nem belépési követelmény.

Jelentkezem a képzésre

Hogyan fogsz tanulni?

Amit otthon, távolról, rugalmasan tanulhatsz, miért kellene egy (virtuális) oktatóteremben hallgatnod?

Learn by doing megközelítés

Minden héten gyakorlófeladatokat oldasz meg, hogy a friss tudást azonnal alkalmazd.

Interaktív digitális tananyag

A tudást digitális tananyagok és vezetett kódolások formájában adjuk át egy több mint 300.000 hallgató által használt platformon.

Folyamatos mentorálás

Visszajelzést kapsz az oktatótól a feltöltött projektjeidre, és bármikor kérdezhetsz írásban.

Kiscsoportos Discord közösség

Saját Discord csoport, ahol megoszthatod tapasztalataidat és partnereket találhatsz a gyakorláshoz.

Rugalmas időbeosztás

A tanfolyamot munka mellett is végezheted, saját időbeosztásod szerint.

Visszanézhető LIVE alkalmak

Az élő konzultációk visszanézhetők; kérdéseid előre is elküldheted.

Minőségbiztosított képzések

Képzéseink szakmai minőségbiztosítását az iparági vezető technológiai vállalatok és a Budapesti Műszaki és Gazdaságtudományi Egyetem végzi.

Tanúsítványt kapsz, amelyet önéletrajzodhoz és LinkedIn profilodhoz csatolhatsz
Bizonyítja, hogy elsajátítottad az adott ismereteket
Segíti a szakmai előmeneteledet és karriered fejlődését

Tanúsítvány minta – Data Engineer alapképzés AWS-ben Python Pandas segítségével

Jó társaságban leszel!

Már több mint 150 hazai és nemzetközi cég munkatársa képezte magát tovább nálunk.

Tudtad?

A munkáltatók 83%-a finanszírozza a munkatársak képzését, ne felejtsd el megkérdezni a tiédet!

Elvégzett képzés: Data Engineer alapképzés AWS-ben Python Pandas segítségével

„Megfelelően előkészített oktatói anyagot és szemléletmódot tartalmaz. Maga az oktatás ténylegesen erős alapokkal enged a Data világába. Az oktatók segítőkészsége és tudása, illetve a live alkalmak átbeszélése teszi az egészet még érthetőbbé és hozza emberközelivé ezt. világot. Pont emiatt is lehet teljesen az alapoktól elsajátítani a gondolkodásmódot és az alapokat. Köszönöm ezt a féléves oktatói segítséget!"

Dunavölgyi Gergely DG

Hallgatói közösség

A több mint 9100 tagot számláló hallgatói közösségünket főként olyan, az iparágban vezető IT-cégek és szoftverfejlesztő cégek munkatársai alkotják, akik folyamatosan fejleszteni szeretnék meglévő készségeiket.

Légy Te is tagja közösségünknek!