ETL / ELT Pipelines (SQL, Python, Apache Airflow)

التصنيف الرئيسي: تقنية المعلومات والتحول الرقمي | التخصص: مركز البيانات

الوصف العام: يركز هذا المحور على تمكين المشاركين من تصميم وبناء وإدارة خطوط معالجة البيانات (ETL/ELT Pipelines) باستخدام أدوات وتقنيات حديثة تشمل SQL وPython ومنصة Apache Airflow حيث يتم استعراض...

معلومات البرنامج:

• مركز البيانات
• تقنية المعلومات والتحول الرقمي

أهداف الدورة

• فهم الفرق بين ETL وELT واختيار النهج المناسب
• تصميم Data Pipelines فعالة وقابلة للتوسع
• استخدام SQL لمعالجة وتحويل البيانات
• توظيف Python في عمليات معالجة البيانات
• بناء وجدولة workflows باستخدام Apache Airflow
• مراقبة الأداء ومعالجة الأخطاء في خطوط البيانات

الخطة التدريبية التفصيلية

مقدمة في ETL وELT

• مفهوم ETL (Extract, Transform, Load)
• مفهوم ELT (Extract, Load, Transform)
• الفروقات الأساسية بين ETL وELT
• متى نستخدم كل نموذج
• التحديات في بناء Data Pipelines

استخدام SQL في معالجة البيانات

• أساسيات SQL للتحليل
• عمليات التحويل (JOIN, Aggregation)
• تحسين أداء الاستعلامات
• التعامل مع البيانات الكبيرة
• بناء Views وStored Procedures

استخدام Python في ETL

• مقدمة في Python لمعالجة البيانات
• استخدام مكتبة Pandas
• تنظيف البيانات (Data Cleaning)
• تحويل البيانات (Transformation Logic)
• التكامل مع قواعد البيانات

بناء Data Pipelines

• تصميم Pipeline Architecture
• التعامل مع مصادر بيانات متعددة
• Data Ingestion Techniques
• إدارة تدفق البيانات
• اختبار الـ Pipelines

أتمتة العمليات باستخدام Apache Airflow

• مفهوم Workflow Orchestration
• بناء DAGs في Airflow
• جدولة المهام (Scheduling)
• مراقبة الأداء والتنبيهات
• إدارة الأخطاء وإعادة التشغيل