Big Data technológiák Databricks használatával
Szerezz átfogó data engineering tudást Microsoft Azure környezetben: Apache Spark (PySpark), Databricks, adatmodellezés és SQL, 12 hét alatt.
Mit fogsz tanulni?
12 hét alatt a Spark alapjaitól a PySpark-os adatfeldolgozáson, a haladó SQL-en és a data engineering alapokon át az Azure-ös és Databricks-es pipeline-okig, egy teljes capstone projekttel megkoronázva.
1 Bevezetés a Spark-ba A Spark ökoszisztémájának, architektúrájának és alapfogalmainak megismerése, valamint a fejlesztői környezet (Colab, VSCode, GitHub) felállítása.
- Bevezetés az első héthez
- Bevezetés a Sparkba és főbb előnyei
- A Spark ökoszisztémája és architektúrája
- SparkSession, RDD és SparkSQL
- Parquet file formátum
- Kódolás és Delta formátum
- Adattípusok és partícionálás
- Lazy Evaluation
- Spark UI
- Szűk és széles transzformációk
- Adaptive Query Execution (AQE)
- A Spark telepítése
- A Google Colab használata
- Workspace létrehozása
- Workspace létrehozása 2. (VSCODE)
- Hogyan használjuk a GitHub-ot: GitHub Regisztráció és VSCode integráció
- Hogyan használjuk a GitHub-ot: README és gitignore
2 PySpark használata A legfontosabb PySpark DataFrame-műveletek, joinok, cachelés és a Delta-műveletek gyakorlati elsajátítása.
- SparkSession létrehozása és adatok beolvasása
- Select és Palantir Style Guide
- Filter, withColumn, withColumnRenamed
- Drop és Group By
- Joinok
- SparkSQL
- Cachelés (gyorsítótárazás)
- Broadcast join
- Delta CRUD műveletek
- Delta merge
- Delta vacuum
3 SQL Haladó SQL lekérdezési technikák az alapparancsok ismétlésétől az ablakozó függvényekig, indexekig és nézetekig.
- Ismétlés - alapvető SQL parancsok
- Dátumok és timestamp-ek kezelése
- UNION és UNION ALL
- CASE WHEN
- COALESCE
- Subquery-k és CTE
- Ablakozó függvények
- SQLite
- Indexek és DBeaver
- Nézetek (view)
4 Data Engineering alapok Az adattárházak, adatarchitektúrák és az adatmodellezés alapfogalmainak (csillag- és hópehelyséma, SCD, kulcsok, batch és stream) áttekintése.
- Bevezetés
- Adattárház alapok
- Inmon és Kimball megközelítés
- Adattárház, Data Lake, és Data Lakehouse
- ETL és ELT
- OLTP és OLAP
- Az adattárház rétegei
- Csillag és Hópehely Séma
- Tény- és Dimenziótáblák
- Lassan Változó Dimenziók (SCD)
- Természetes és Helyettesítő kulcsok
- Elsődleges és Külső kulcsok
- Batch és Stream feldolgozás
5 Azure Az Azure felhőszolgáltatások (Key Vault, Data Lake, Synapse, Databricks) gyakorlati használata notebookokkal és pipeline-építéssel.
- Bevezetés, regisztráció és költségelemzés
- Resource Group létrehozása és Key Vault
- Data Lake létrehozása
- Synapse bevezető
- Synapse első Lépések
- Synapse notebook
- Synapse első pipeline
- Synapse SQL külső táblák
- Synapse pipeline paraméterek
- Databricks döntési pont
- Databricks bevezető és notebook beállítása (Pro)
- Kapcsolódás a Data Lake-hez (Pro)
- Notebook létrehozása (Pro)
- Pipeline létrehozása (Pro)
- Databricks bevezető (Free)
- Databricks csomagok (Free)
- Unity Catalog (Free)
- Notebookok és pipelineok (Free)
- Notebook Widgetek (Free / Pro)
- Databricks Asset Bundles bemutató (Free / Pro)
- Databricks Asset Bundles demo (Free / Pro)
6 Gyakorló hét Önálló gyakorlásra szánt hét a tanultak elmélyítésére.
- Önálló gyakorlás
7 Capstone project 1. A capstone projekt elindítása: projekt- és Git-inicializálás, Azure-kapcsolódás, valamint a fájlolvasó és -író funkciók elkészítése.
- Capstone project bevezetés (Free / Pro)
- Projekt létrehozása (Free / Pro)
- Git inicializálás (Free / Pro)
- Azure beállítása (Pro)
- Azure Data Lake és Databricks kapcsolódás (Pro)
- Unity Catalog táblák elkészítése (Free)
- Data Lakeből fileolvasó funkció elkészítése (Pro)
- Fájlolvasás tesztelése a Data Lake-ből Databricks-en (kódból) (Pro)
- Fileolvasás tesztelése Data Lakeből Databricksben (package-ből) (Pro)
- Fájlolvasás Volumeból (Free)
- Write File to Data Lake függvény létrehozása (Pro)
- Write File to Data Lake függvény tesztelése Databricksen (Pro)
- Fájlírás Volume-ra (Free)
- Flake8 és Git commit (Free / Pro)
8 Capstone project 2. Autentikáció és pre-commit beállítása, a Bronze réteg elkészítése, valamint a Silver réteg első transzformációi unit tesztekkel.
- Autentikáló függvény létrehozása (Pro)
- Autentikáció tesztelése (Pro)
- Pre-Commit bemutató (Free / Pro)
- Bronze réteg kódjának létrehozása (Pro)
- Bronze réteg kódjának tesztelése (Pro)
- Bronze réted kód elkészítése és tesztelése (Free)
- (Opcionális) Package készítés gyorsítása (Pro)
- Silver réteg: Calendar transzformáció létrehozása (Free / Pro)
- Silver réteg: Unit teszt készítése a Calendarhoz (Free / Pro)
- Silver réteg: Unit teszt beállítása és futtatása (Free / Pro)
9 Capstone project 3. A Silver réteg további transzformációinak (Sales, Customers, Products, Product Subcategory) elkészítése unit tesztekkel.
- Silver réteg: Sales transzformáció létrehozása (Free / Pro)
- Silver réteg: Unit teszt létrehozása a Saleshez (Free / Pro)
- Silver réteg: Customers transzformáció létrehozása (Free / Pro)
- Silver réteg: Unit teszt létrehozása a Customers-hez (Free / Pro)
- Silver réteg: Products transzformációjának létrehozása (Free / Pro)
- Silver réteg: Unit teszt létrehozása a Products-hoz (Free / Pro)
- Silver réteg: Product Subcategory transzformációjának létrehozása (Free / Pro)
- Silver réteg: Unit teszt létrehozása a Product Subcategory-hoz (Free / Pro)
10 Capstone project 4. Lassan változó dimenziók (SCD) megvalósítása a Silver rétegben, CI/CD kitekintés és a Gold réteg első táblái unit tesztekkel.
- Silver réteg: SCD előkészületek (Pro)
- Silver réteg: SCD előkészületek (Free)
- Silver réteg: SCD elkészítése (Pro)
- Silver réteg: SCD elkészítése (Free)
- (Opcionális) GitHub Actions CI/CD: bemutató (Free / Pro)
- Gold réteg: előkészületek (Pro)
- Gold réteg: előkészületek (Free)
- Gold réteg: Wide Sales tábla elkészítése (Free / Pro)
- Gold réteg: Unit teszt a Wide Sales-hez 1. (Free / Pro)
- Gold réteg: Unit teszt a Wide Sales-hez 2. (Free / Pro)
11 Capstone project 5. A Gold réteg metrikáinak elkészítése, adatminőség-ellenőrzés a Great Expectations-szel, valamint a teljes pipeline összerakása és ellenőrzése.
- Gold réteg: Daily Sales metrics elkészítése (Free / Pro)
- Gold réteg: Unit teszt a Daily Sales metrics-hez (Free / Pro)
- Gold réteg: apróbb változtatások (Pro)
- Gold réteg: Wide Sales tábla vizsgálata (Free)
- Gold réteg: Az elkészült táblák átnézése (Pro)
- Adatminőség a Great Expectations-szel (Free / Pro)
- A pipeline összerakása (Free)
- A pipeline összerakása (Pro)
- A pipeline eredményeinek ellenőrzése (Free)
- A pipeline eredményeinek ellenőrzése (Pro)
- Resource Group törlése és Cost Analysis (Pro)
12 Házi feladat megoldások A heti házi feladatok mintamegoldásainak bemutatása.
- Házi Feladat 1: Notebook készítése
- Házi Feladat 2: Pipeline és external table készítése
- Házi Feladat 3: Product Category transformáció és unit teszt
- Házi Feladat 4: Product Category Metrics transzformáció és unit teszt
Kinek ajánlott?
- Azoknak, akik korábban már foglalkoztak adatokkal például Data Analyst, Business Analyst pozícióban, és most elmélyednének az adatok világának „backend” oldalában: hogyan lehet előállítani, összegyűjteni és rendszerezni az adatokat
- Azoknak, akik már Data Engineer / ETL fejlesztő pozícióban vagy hasonló munkakörben dolgoznak, de Azure és PySpark technológiákkal még nem dolgoztak
- Azoknak, akik Data Engineerként helyezkednének el, de még nem foglalkoztak mélyebben adatkezeléssel, a Data Engineer képzésünket ajánljuk, ahol az SQL és Python alapokat is elsajátíthatják
Miért érdemes belevágnod?
Az adatmennyiség exponenciális növekedése és az adatalapú döntéshozatal egyre nagyobb hangsúlyt kap az üzleti világban. A vállalatok számára létfontosságú, hogy hatékonyan tudják kezelni, feldolgozni és elemezni adataikat — ezek megfelelő tárolása, transzformációja és integrációja azonban komoly kihívást jelent nagy mennyiségű adat esetén. A képzés során megismert modern eszközök és technológiák megoldást nyújtanak ezekre a kihívásokra, lehetővé téve az adatok gyors és hatékony kezelését és az automatizált adatfeldolgozási folyamatok kialakítását.
A tanultakat egy valós életből vett projekten keresztül gyakorlod be, melynek végén, ha sikeres vizsgát teszel, LinkedIn-profilodba is beágyazható, névre szóló tanúsítványt szerzel.
- Munka mellett végezheted, rugalmas időbeosztással
- Gyakorlati projekteken keresztül, oktatói mentorálással
- LinkedIn profilodba beágyazható tanúsítvány
Ismerd meg oktatódat
Balogh Balázs
Data Engineer, Zeiss Digital Innovation Hungary
Data Engineerként adatvezérelt megoldások fejlesztésével foglalkozom, jelenleg egy nemzetközi vállalat adatminőségi csapatában dolgozom. Python, PySpark, SQL és Azure technológiákkal építek adatmegoldásokat: ETL folyamatokat fejlesztek, rendszerek közötti integrációkat biztosítok, és Power BI dashboardokat készítek, hogy a döntéshozók valós időben lássák az adatokat.
A szakmai munkám mellett a közösségépítésben is aktív vagyok: én szervezem a Budapest.py meetup csoportot. Hiszek az élethosszig tartó tanulásban, és célom, hogy az adatok mellett a tudást is hatékonyan adjam át.
Mik a képzés előkövetelményei?
SQL adatbázis lekérdezések és a Python programozási nyelv ismerete szükséges, melyeket a Python programozás alapok és az SQL adatbázis lekérdezések képzéseinken sajátíthatsz el, ha még nem ismered őket.
Hogyan fogsz tanulni?
Amit otthon, távolról, rugalmasan tanulhatsz, miért kellene egy (virtuális) oktatóteremben hallgatnod?
Learn by doing megközelítés
Minden héten gyakorlófeladatokat oldasz meg, hogy a friss tudást azonnal alkalmazd.
Interaktív digitális tananyag
A tudást digitális tananyagok és vezetett kódolások formájában adjuk át egy több mint 300.000 hallgató által használt platformon.
Folyamatos mentorálás
Visszajelzést kapsz az oktatótól a feltöltött projektjeidre, és bármikor kérdezhetsz írásban.
Kiscsoportos Discord közösség
Saját Discord csoport, ahol megoszthatod tapasztalataidat és partnereket találhatsz a gyakorláshoz.
Rugalmas időbeosztás
A tanfolyamot munka mellett is végezheted, saját időbeosztásod szerint.
Visszanézhető LIVE alkalmak
Az élő konzultációk visszanézhetők; kérdéseid előre is elküldheted.
Minőségbiztosított képzések
Képzéseink szakmai minőségbiztosítását az iparági vezető technológiai vállalatok és a Budapesti Műszaki és Gazdaságtudományi Egyetem végzi.
- Tanúsítványt kapsz, amelyet önéletrajzodhoz és LinkedIn profilodhoz csatolhatsz
- Bizonyítja, hogy elsajátítottad az adott ismereteket
- Segíti a szakmai előmeneteledet és karriered fejlődését
Jó társaságban leszel!
Már több mint 150 hazai és nemzetközi cég munkatársa képezte magát tovább nálunk.
Tudtad?
A munkáltatók 83%-a finanszírozza a munkatársak képzését, ne felejtsd el megkérdezni a tiédet!
Elvégzett képzés: Big Data technológiák Databricks használatával
„Remek kurzus. Naprakész, hasznos gyakorlati tudást ad. Csak ajánlani tudom."
Hallgatói közösség
A több mint 9100 tagot számláló hallgatói közösségünket főként olyan, az iparágban vezető IT-cégek és szoftverfejlesztő cégek munkatársai alkotják, akik folyamatosan fejleszteni szeretnék meglévő készségeiket.
Légy Te is tagja közösségünknek!
Következő indulási dátum
Más időpont érdekel?
Add meg az e-mail címed, és szólunk, ha új időpontot hirdetünk meg.
Fizetési lehetőségek
Többféle fizetési lehetőséget biztosítunk, hogy a legmegfelelőbb opciót válaszd.
Online fizetés bankkártyával
Az OTP SimplePay az egyik legelterjedtebb online fizetési megoldás — gyors és biztonságos fizetési folyamatáról ismert.
Kamatmentes részletfizetés
Nem szeretnénk, ha a fizetési nehézségek akadályoznák a szakmai fejlődésedet, ezért a részvételi díjat több részletben, teljesen kamatmentesen is kifizetheted.
Fizetés banki átutalással, egy összegben
Ha online kártyás fizetés helyett banki átutalással szeretnél fizetni, az sem probléma — írj nekünk, és ebben is segítünk.
Készen állsz a jelentkezésre?
Jelentkezz most, és kezdd el a fejlődést!