Cubix Institute of TechnologyCubix Institute of Technology aims to gather the most important skill set building blocks for IT professionals by organizing cohort-based online IT&TECH trainings with the help of industry-leading mentors, tech companies and higher education institutions.
Our constantly expanding portfolio currently consists of 35+ courses, including topics, e.g.: Frontend and Backend development (Java, Python, C++, JavaScript, Angular, React, Node.js, C#, .NET, stb), Mobile and Cross-Platform Development (iOS, Android, Flutter), IT Project and Product Management, Software Testing, DevOps, and Cloud Solutions, Data Science, AI/ML/DL, UI/UX, IT security, Video Game-, AR/VR/XR Development, IoT and Embedded System Development, Blockchain, etc.
Become a member of our community!
Online IT academy
|
|
Középhaladó Data Engineer képzés MS Azure-ben Apache Spark segítségével
Szerezz átfogó ismereteket a data engineering területén, ezen belül a Microsoft Azure, Apache Spark (PySpark), adatmodellezés és SQL használatában.
Résztvevőként megtanulhatod, hogyan építs és kezelj hatékony adatfeldolgozási pipeline-okat, hogyan használd az Azure különböző cloud szolgáltatásait az adatok kezelésére, valamint azt is elsajátíthatod, hogyan alkalmazd a legjobb gyakorlatokat az adatmodellezés terén.
Milyen tudásra teszel szert a képzés során?
- Hatékony adatfeldolgozási pipeline-ok építése és kezelése: Megtanulod, hogyan tervezz és valósíts meg hatékony adatfeldolgozási pipeline-okat, amelyek biztosítják az adatok folyamatos és megbízható áramlását és feldolgozását.
- Microsoft Azure cloud szolgáltatások használata: Megismerkedsz az Azure különböző szolgáltatásaival, mint például a Synapse, Databricks, Storage Account és DevOps. Kiemelt hangsúlyt kap az adattárolás, adattranszformációk és ütemezés optimalizálása.
- Apache Spark és PySpark használata: Elsajátítod az Apache Spark és a PySpark alapjait, beleértve a DataFrame-ek kezelését, elosztott rendszerek működését, és a Spark optimalizálási technikáit (shuffling, bucketing, partitioning).
- Data modeling legjobb gyakorlatai: Bemutatjuk a data modeling alapjait, elmélyedsz különböző adatarchitektúrákban (Data Warehouse, Data Lake, Data Mart), valamint az OLTP és OLAP rendszerek közötti különbségeket is megismered. Külön figyelmet kapnak a starschema és snowflake modellek, valamint a Kimball, Inmon és OBT trendek.
- SQL haladó technikák: haladóbb lekérdezési technikákat is megtanulsz majd, melyek segítenek az adatok hatékony lekérdezésében és kezelésében.
- Gyakorlati tapasztalat projektmunkán keresztül: Résztvevőként egy projekt keretében valós adatfeldolgozási feladatokat kell majd megoldanod, így biztosítva a gyakorlati tapasztalat megszerzését és a tanultak mély megértését. Ez a projektmunka természetesen referenciaként is szolgálhat majd a portfóliódban.
Miért érdemes belevágnod?
Az adatmennyiség exponenciális növekedése és az adatalapú döntéshozatal egyre nagyobb hangsúlyt kap az üzleti világban. A vállalatok számára létfontosságú, hogy hatékonyan tudják kezelni, feldolgozni és elemezni adataikat. Ezek megfelelő tárolása, transzformációja és integrációja azonban komoly kihívást jelent nagy mennyiségű adat esetén.
A képzés során megismert modern eszközök és technológiák megoldást nyújtanak ezekre a kihívásokra, lehetővé téve az adatok gyors és hatékony kezelését és az automatizált adatfeldolgozási folyamatok kialakítását.
Ráadásul a tanultakat egy valós életből vett projekten keresztül fogod begyakorolni a data engineer képzés során, melynek végén, ha sikeres vizsgát teszel, Linkedin profilodba is beágyazható, névre szóló tanúsítványt szerzel.
Kinek ajánlott?
1) Azoknak, akik korábban már foglalkoztak adatokkal például Data Analyst, Business Analyst pozícióban és most elmélyednének az adatok világának “backend” oldalában, tehát abban, hogyan lehet előállítani, összegyűjteni és rendszerezni az adatokat, hogy azokat később például adatelemzők felhasználhassák.
2) Azoknak is ajánljuk akár, akik már Data Engineer / ETL fejlesztő pozícióban vagy hasonló munkakörben dolgoznak, de Azure és PySpark technológiákkal még nem dolgoztak.
3) Azoknak, akik szeretnének Data Engineer-ként elhelyezkedni, de még korábban nem foglalkoztak mélyebben adatok kezelésével, nekik a Data Engineer Alapképzésünket ajánljuk, ahol elsajátíthatják az SQL lekérdezések és a Python programozási nyelv alapjait, mely szükséges előfeltétele ennek a képzésnek.
Ki lesz mindebben oktatód és mentorod?
Balogh Balázs - Data Engineer @Zeiss Digital Innovation Hungary
2018 óta foglalkozik adatokkal különböző szerepekben: ETL fejlesztőként, Data Analyst-ként és Data Engineer-ként. A Budapest.py Python workshop sorozat szervezője.
Mik a képzés előkövetelményei?
SQL adatbázis lekérdezések és Python programozási nyelv ismerete, melyeket ha nem ismersz itt sajátíthatsz el:
- Data Engineer alapképzés >>
- vagy a Python programozás alapok >> + SQL adatbázis lekérdezések >> képzéseken.
Hogyan fogsz tanulni?
- Gyakorlatorientált oktatás: minden héten izgalmas gyakorló feladatokat kapsz majd, amelyek keretében már menetközben is konkrét projekteket fogsz megvalósítani.
- Interaktív digitális tananyag: a gyakorlati feladatok elvégzéséhez és a tanfolyam sikeres teljesítéséhez szükséges tudást digitális tananyagok és vezetett kódolások formájában adjuk át
- Rugalmas időbeosztás: a tanfolyamot munka mellett is végezheted, hiszen a tananyag elsajátítása heti 8-12 óra elfoglaltságot igényel összesen, melyet saját időbeosztás szerint dolgozhatsz fel.
- Oktatói mentoring: a képzés ideje alatt az oktató folyamatosan a rendelkezésedre áll, bármikor kérdezhetsz tőle, ha elakadtál, és rendszeresen visszajelzést ad a feladataidra, fejlődésedet végigkíséri.
- Konzultációk: valamennyi tanegység végén egy-egy élő konzultációs alkalmat is szervezünk este 18:00 órától, amikor élőben is felteheted kérdéseidet, közösen kiértékelhetitek és átbeszélhetitek a gyakorlás során elkészített projekteket, és tanulhattok egymás elakadásaiból is.
- Limitált férőhely: a fent említett interakciók miatt képzéseinket korlátozott létszámmal indítjuk csak el, hogy biztosan jusson mindenkire ideje az oktatóknak.
Mikor indul a képzés és mennyibe kerül?
Képzés indulásának tervezett időpontja: 2025. február 12.
Részvételi díj: 325.000 Ft
Mit érdemes tudnod a fizetéssel kapcsolatban?
- Pénzvisszafizetési garancia: Biztosak vagyunk a képzés tartalmát és minőségét illetően, ezért a képzés indulásától 8 napig 100%-os pénzvisszafizetési garanciát vállalunk.
- Kamatmentes részletfizetés: Nem szeretnénk, ha fizetési nehézségek akadályoznák a szakmai fejlődésedet, ezért a részvételi díjat akár több részletben is fizetheted, teljesen kamatmentesen.
- Céges számla igénylése: erre is van lehetőség ha a beiratkozom gombra kattintás után elérhető jelentkezési űrlapon kipipálod az “Áfás számla igénylés”-t.
Ha érdekel a képzés két lehetőséged is van
1. Ingyenesen előregisztrálsz a képzésre
Ha eldöntötted, hogy érdekel a képzés és szeretnéd biztosítani helyedet, nincs más teendőd, mint az ‘ingyenes előjelentkezés’ gombra kattintva kitölteni a jelentkezési formot.
2. Kérdezel még a képzésről
Ha szívesen jelentkeznél, de úgy érzed még van néhány kérdés, amire nem találtad meg a választ, kattints az ‘Érdekel, de kérdeznék’ gombra, add meg elérhetőségedet és 48 órán belül felvesszük veled a kapcsolatot vagy írhatsz is nekünk közvetlenül az info@cubixedu.com e-mail címre!
===============
A változtatás jogát fenntartjuk.
-
0.Hasznos információk a kurzushoz
-
1. lecke
Hogyan használd a felületet?
-
2. lecke
Képzés használati útmutató
-
1.SPARK
-
3. lecke
Spark - intro / népszerűségének oka
-
4. lecke
Spark - architektúra / distributed computing
-
5. lecke
Spark - Data processing - RDD, DataSet
-
6. lecke
Spark - Data processing - DataFrame
-
7. lecke
Spark - Data processing - Spark SQL
-
8. lecke
Spark - Data types
-
9. lecke
Spark - Parquet file format
-
10. lecke
Spark - Partitions
-
11. lecke
Spark - Lazy evaluation
-
12. lecke
Spark - Query planner
-
13. lecke
Spark - UI
-
14. lecke
Spark - SparkSession
-
15. lecke
Spark - Jobs / Tasks
-
16. lecke
Spark - TBA
-
17. lecke
Összefoglaló
-
18. lecke
Teszt
-
19. lecke
[Házi Feladat]
-
2.Pyspark
-
20. lecke
Pyspark - intro / python + spark = pyspark
-
21. lecke
Pyspark - pandas similarities
-
22. lecke
Pyspark - installation (python + poetry install)
-
23. lecke
Pyspark - read / write data (partitioning)
-
24. lecke
Pyspark - transformations - select
-
25. lecke
Pyspark - transformations - col
-
26. lecke
Pyspark - transformations - filter / where
-
27. lecke
Pyspark - transformations - WithColumn / WithColumnRenamed
-
28. lecke
Pyspark - transformations - drop
-
29. lecke
Pyspark - transformations - drop_duplicates
-
30. lecke
Pyspark - transformations - replace
-
31. lecke
Pyspark - transformations - coalesce
-
32. lecke
Pyspark - transformations - cache
-
33. lecke
Pyspark - transformations - distinct
-
34. lecke
Pyspark - transformations - sort
-
35. lecke
Pyspark - Joins (broadcast, shuffling, bucket - according to data size)
-
36. lecke
Pyspark - Optimization (partitioning, sharding, shuffling)
-
37. lecke
Összefoglaló
-
38. lecke
Teszt
-
39. lecke
[Házi Feladat]
-
3.Advanced SQL
-
40. lecke
SQL - data preparation, install DBeaver (decide if it's pyspark or dbeaver, and AdventureWorks or TCPH, UPDATE: maybe azure sql? but we are not learni
-
41. lecke
SQL - recap - select * from
-
42. lecke
SQL - recap - where (in, not in, and, or, like, >, <, <=, =>)
-
43. lecke
SQL - recap - distinct
-
44. lecke
SQL - recap - order by
-
45. lecke
SQL - recap - group by (működik a GROUP BY ALL?)
-
46. lecke
SQL - recap - join
-
47. lecke
SQL - recap - having
-
48. lecke
SQL - recap - NULL
-
49. lecke
SQL - advanced - Handling dates (GETDATE, YEAR, MONTH, DAY, DATEDIFF, DATEPART, DATEADD)
-
50. lecke
SQL - advanced - CASE WHEN
-
51. lecke
SQL - advanced - CAST
-
52. lecke
SQL - advanced - COALESCE
-
53. lecke
SQL - advanced - Subqueries
-
54. lecke
SQL - advanced - CTE
-
55. lecke
SQL - advanced - Window Functions - SUM (AVG, COUNT) / OVER / PARTITION BY
-
56. lecke
SQL - advanced - Window Functions - ROW NUMBER
-
57. lecke
SQL - advanced - Window Functions - RANK / DENSE RANK
-
58. lecke
SQL - advanced - Window Functions - LEAD / LAG / FIRST VALUE / LAST VALUE
-
59. lecke
SQL - advanced - Indexes
-
60. lecke
SQL - advanced - Explain
-
61. lecke
Összefoglaló
-
62. lecke
Teszt
-
63. lecke
[Házi Feladat]
-
4.Data Engineering Fundamentals
-
64. lecke
Data Warehouse / Data Lake / Data Lakehouse
-
65. lecke
Data Warehouse Layers (Bronze, Silver, Gold)
-
66. lecke
Data generation and storage (Darshil DW. 3: Key Storage Solution, Additional Considerations)
-
67. lecke
OLAP / OLTP
-
68. lecke
ETL / ELT
-
69. lecke
Dimensional modeling (starschema vs snowflake schema)
-
70. lecke
Fact tables
-
71. lecke
Dimension tables (SCD 1-6)
-
72. lecke
Kimball / Inmon Data Warehouses
-
73. lecke
Natural / Surrogate keys
-
74. lecke
Összefoglaló
-
75. lecke
Teszt
-
76. lecke
[Házi Feladat]
-
5.Azure
-
77. lecke
What is Azure?
-
78. lecke
Free tiers
-
79. lecke
Registration
-
80. lecke
Data Lake Gen 2
-
81. lecke
Azure Synapse - purpose
-
82. lecke
Azure Synapse - create
-
83. lecke
Azure Synapse - Data menu
-
84. lecke
Azure Synapse - Develop menu
-
85. lecke
Azure Synapse - Integrate menu
-
86. lecke
Azure Synapse - Monitor menu
-
87. lecke
Azure Synapse - Manage menu
-
88. lecke
Azure Synapse - Data - create DB
-
89. lecke
Azure Synapse - Data - add data lake as a linked service
-
90. lecke
Azure Synapse - Develop - Create a SQL script
-
91. lecke
Azure Synapse - Develop - Create a Spark pool
-
92. lecke
Azure Synapse - Develop - Create a notebook (read from data lake)
-
93. lecke
Azure Synapse - Integrate - Activities
-
94. lecke
Azure Synapse - Integrate - Sample pipeline
-
95. lecke
Azure Synapse - Integrate - Run the pipeline
-
96. lecke
Azure Synapse - Monitor - Check pipeline run
-
97. lecke
Azure Synapse - Manage - Workspace packages
-
98. lecke
Azure Synapse - Manage - Key Vault
-
99. lecke
Azure Databricks - What is it, how it differs from Synapse
-
100. lecke
Azure Databricks - Create a premium tier service (premium?)
-
101. lecke
Azure Databricks - Navigation, workspace
-
102. lecke
Azure Databricks - Compute
-
103. lecke
Azure Databricks - Create a notebook
-
104. lecke
Azure Databricks - Delta Lake
-
105. lecke
Azure Databricks - SQL Editor
-
106. lecke
Azure Databricks - Workflows / Job Runs
-
107. lecke
Összefoglaló
-
108. lecke
Teszt
-
109. lecke
[Házi Feladat]
-
6.Capstone project
-
110. lecke
What is the task? What are the tools?
-
111. lecke
Poetry intro / telepítés
-
112. lecke
VSCode beállítása
-
113. lecke
Azure adminisztrációs feladatok
-
114. lecke
Azure Data Lake elkészítése
-
115. lecke
Azure Databricks elkészítése, és beállítása
-
116. lecke
Kódolás - Utility function-ök: file beolvasás, file írás
-
117. lecke
Kódolás - Databricks authentikáció
-
118. lecke
Kódolás - Bronze réteg kialakítása
-
119. lecke
Kódolás - Silver réteg: (transzformációs réteg) kialakítása
-
120. lecke
Kódolás - Silver réteg: Slowly Changing Dimension Delta táblákkal
-
121. lecke
Kódolás - Unit testek
-
122. lecke
Kódolás - Gold réteg kialakítása (metrikák)
-
123. lecke
GitHub Actions - CICD pipeline kialakítása
-
124. lecke
Kódolás - Package készítése
-
125. lecke
Databricks - package futtatása, tesztelés
-
126. lecke
Data Quality - Great Expectations használatával adatminőség mérés