5 min att läsa

Den ultimata guiden till Apache Airflow

Stora data

Datateknik

Hantering av uppgifter

Python

Dmitry Nazarevich

CTO

Datum: Aug 12, 2022

Uppdatering.: Aug 12, 2022

Vad är Apache Airflow?

Apache Airflow är ett verktyg för att visuellt skapa, organisera och övervaka arbetsflöden och starta uppgiftskedjor (pipelines) för att bearbeta, lagra och visualisera data. Apache Software Foundation äger plattformen som fortfarande går igenom inkubatorstadiet med 1000 bidragsgivare på GitHub och 13 000 stjärnor.

Introduktion till Apache Airflow

Apache Airflow är en robust, öppen källkod, Pythonskriven tjänst som används av Data Engineers för att orkestrera arbetsflöden och pipelines genom att lyfta fram pipelines beroenden, kod, loggar, utlösande uppgifter, framsteg och framgångsstatus för att vid behov kunna felsöka problem.

Om uppgiften slutförs eller misslyckas kan den här flexibla, skalbara och kompatibla lösningen med externa data skicka varningar och meddelanden via Slack eller e-post. Apache inför inga restriktioner för hur arbetsflödet ska se ut och har ett användarvänligt gränssnitt för att spåra och köra om jobb.

Hur fungerar Apache Airflow?

Pipelines beskrivs med hjälp av kärnelement i Apache:

DAG

Teknikens hörnsten beskrivs av riktade acykliska grafer (DAG). Denna modell är en graf som inte har cykler men som har parallella banor som kommer från samma parti. Med enkla ord är DAG en enhet som kombinerar uppgifter beroende på datapipeline där beroendet mellan tillämpningar är tydligt manifesterat.

Uppgift E är den sista uppgiften i DAG som är beroende av att de föregående uppgifterna till vänster har genomförts med framgång.

Operatör

En operatör är ett separat element i uppgiftskedjan (pipeline). Med hjälp av dessa element beskriver utvecklarna vilken uppgift som ska utföras. Apache Airflow har en lista med fördefinierade operatörer som inkluderar:

PythonOperator utför Python-kod
BashOperator utför bash-skript/kommandon
PostgresOperator anropar SQL-förfrågningar i PostgreSQL
RedshiftToS3Transfer kör UNLOAD-kommandon från Redshift till S3
EmailOperator skickar e-postmeddelanden

Uppgifter och operatörer används ibland omväxlande, men vi antar att det rör sig om olika begrepp där operatörerna fungerar som mönster för att generera uppgifter.

Sensor

Sensorn är en variant av en operatör som används i händelsestyrda pipelines. Exempel:

PythonSensor väntar på att funktionen ska återge True.
S3Sensor kontrollerar objektets tillgänglighet med hjälp av nyckeln i S3-hinken.

Krok

Hooks är tredjepartstjänster som interagerar med externa plattformar (databaser och API-resurser). Hooks bör inte innehålla sårbar information för att förhindra dataläckage.

Schemaläggare

Den övervakar alla DAGs, hanterar arbetsflöden och skickar jobb till Executor.

Webbserver

Webbservern spelar rollen som användargränssnitt för Apache Airflow. Den hjälper till att följa uppgifternas status och framsteg samt logga data från fjärrdepåer.

Databas

Där lagras all relevant information (uppgifter, schemaperioder, statistik från varje sprint osv.).

Verkställare

Executor kör uppgifter och skickar dem till arbetare.

Slutligen ska vi visa hur Apache fungerar med ett enkelt exempel. För det första reviderar Apache alla DAG:er i bakgrunden. Brådskande uppgifter som måste slutföras får markeringen SCHEDULED i databasen. Schemaläggaren hämtar uppgifter från databasen och distribuerar dem till utförare. Därefter får uppgifterna statusen QUEUED, och när arbetarna börjar utföra dem tilldelas jobbet statusen RUNNING. När uppgiften är slutförd anger arbetaren den som avslutad/felaktig beroende på slutresultatets framgång, och schemaläggaren uppdaterar statusen i databasen.

Funktioner för Apache Airflow

Nedan listar vi de mest spännande funktionerna i Apache Airflow.

Lätt att använda

Grundläggande kunskaper i Python är det enda kravet för att bygga lösningar på plattformen.

Öppen källkod

Tjänsten är gratis och har många aktiva användare över hela världen.

Enkel integrering

Du kan smidigt arbeta med kompletterande produkter från Microsoft Azure, Google Cloud Platform, Amazon AWS osv.

Vänligt användargränssnitt

Du kan följa statusen för schemalagda och pågående uppgifter i realtid.

Principer för Apache Airflow

Lär dig mer om de grundläggande principerna för Apache Airflow nedan.

Dynamisk

Luftflödesledningar konfigureras som Python-kod att göra genereringen av rörledningar dynamisk.

Utökningsbar

Användarna kan skapa definierade operatörer, exekutorer och bibliotek som passar deras specifika affärsmiljö.

Skalbar

Tjänsten kraschar inte eftersom den har en modulär arkitektur och kan skalas i oändlighet.

Vilka är fördelarna med Apache Airflow?

De omfattar automatisering, gemenskap, visualisering av affärsprocesser samt korrekt övervakning och kontroll. Vi kommer kortfattat att gå igenom dem alla.

Gemenskapen

Det finns mer än 1 000 bidragsgivare till tjänsten med öppen källkod. De deltar regelbundet i uppgraderingen av tjänsten.

Visualisering av affärsprocesser

Apache är ett perfekt verktyg för att skapa en "helhetsbild" av ens arbetsflödeshanteringssystem.

Automatisering

Automatisering gör dataingenjörernas arbete smidigare och förbättrar den totala prestandan.

Övervakning och kontroll

Det inbyggda systemet för varningar och meddelanden gör det möjligt att fastställa ansvar och genomföra korrigeringar.

Användningsområden för Apache Airflow

Tjänstens praktiska effektivitet kan visas i följande användningsfall:

Batchjobb;
Schemaläggning och orkestrering av arbetsflöden för datapipelines med Airflow för ett visst tidsintervall;
ETL/ELT-pipelines som arbetar med batchdata;
Pipelines som tar emot data från externa källor eller genomför datatransformationer;
Apache Airflow för träningsmodeller för maskininlärning och för att utlösa jobb i SageMaker;
Skapa rapporter;
Säkerhetskopior från DevOps-jobb och sparande av resultaten i ett Hadoop-kluster efter att ha utfört ett Spark-jobb.

Apache Airflow som en tjänst

Många datatekniska plattformar som är utrustade med Airflow använder tjänstens grundläggande logik och fördelar och lägger till nya funktioner för att lösa specifika utmaningar. De kan kallas Apache Airflow-alternativ eftersom de har ganska liknande funktioner:

Astro - en plattform för dataorkestrering för att skapa, köra och observera pipelines.
Google Cloud Composer - en plattform för dataorkestrering för att bygga, schemalägga och styra pipelines.
Qubole - en öppen plattform för data lake för maskininlärning, streaming och ad hoc-analyser.

Amazon Managed Workflows for Apache Airflow - en orkestreringstjänst för Airflow-arbetsflöden för att skapa och driva datapipelines på Amazon Web Services (AWS).

Slutsats

Apache är ett kraftfullt verktyg för datateknik som är kompatibelt med tjänster och plattformar från tredje part. Migreringen till Airflow är smidig och problemfri oavsett företagets storlek och specifikationer.

Innowise Group levererar djupgående Apache-expertis oavsett komplexitet och omfattning. Apache Airflow är ett perfekt val för att skapa ordning och reda om en kund lider av dålig kommunikation mellan avdelningar och söker större öppenhet i arbetsflödena.

Våra skickliga utvecklare kommer att implementera ett högt anpassat modulsystem som förbättrar driften med stora data och gör Airflow-processerna helt och hållet hanterade och kan anpassas till din affärsmiljöns särdrag.

Tack för ditt betyg!

Tack för din kommentar!

Betygsätt den här artikeln:

★★★★★ 4/5

4,8/5 (45 recensioner)

Relaterat innehåll

Blogg

Framtiden för stora datamängder - Förutsägelser och forskning | Dataanalys och dess inverkan på affärsverksamheten

Blogg

Fördelar och nackdelar med Java

Har du gett oss en utmaning?

Vad händer härnäst?

När vi har tagit emot och behandlat din begäran kommer vi att kontakta dig. för att beskriva dina projektbehov i detalj och underteckna ett NDA för att säkerställa att för att garantera konfidentialitet för informationen.

Efter att ha undersökt kraven utarbetar våra analytiker och utvecklare en projektförslag med arbetets omfattning, lagets storlek, tid och kostnad. uppskattningar.

Vi ordnar ett möte med dig för att diskutera erbjudandet och komma fram till en överenskommelse.

Vi undertecknar ett kontrakt och börjar arbeta med ditt projekt så snabbt som möjligt. möjligt.

Den ultimata guiden till Apache Airflow

Vad är Apache Airflow?

Introduktion till Apache Airflow

Hur fungerar Apache Airflow?