5 min lezen

De ultieme gids voor Apache Airflow

Grote gegevens

Datatechniek

Gegevensbeheer

Python

Dmitry Nazarevich

CTO

Datum: 12 augustus 2022

Bijwerken: 12 aug 2022

Wat is Apache Airflow?

Apache Airflow is een hulpmiddel om visueel workflows te creëren, organiseren en controleren en taakketens (pipelines) te starten om gegevens te verwerken, op te slaan en te visualiseren. Apache Software Foundation is eigenaar van het platform dat nog steeds de incubatorfase doorloopt met 1000 medewerkers op GitHub en 13 000 sterren.

Apache Airflow introductie

Apache Airflow is een robuuste, open-source, in Python geschreven service die wordt gebruikt door Data Engineers om workflows en pipelines te orkestreren door de afhankelijkheden van pipelines, code, logs, triggertaken, voortgang en successtatus te markeren om zo nodig problemen op te lossen.

Als de taak is voltooid of mislukt, kan deze flexibele, schaalbare en compatibele oplossing met externe gegevens waarschuwingen en berichten sturen via Slack of e-mail. Apache legt geen beperkingen op aan hoe de workflow eruit moet zien en heeft een gebruiksvriendelijke interface om taken te volgen en opnieuw uit te voeren.

Hoe werkt Apache Airflow?

Pipelines worden beschreven aan de hand van kernelementen in Apache:

DAG

De hoeksteen van de technologie wordt beschreven door directed acyclic graphs (DAG's). Dit model is een grafiek die geen cycli kent, maar parallelle paden die uit dezelfde partij komen. In eenvoudige woorden, DAG is een entiteit die taken combineert afhankelijk van de datapijplijn waar de afhankelijkheid tussen toepassingen duidelijk tot uiting komt.

Taak E is de laatste taak in de DAG die afhankelijk is van de succesvolle uitvoering van de voorgaande taken links daarvan.

Operator

Een operator is een afzonderlijk element in de taakketen (pijplijn). Met behulp van deze elementen beschrijven ontwikkelaars welke taak moet worden uitgevoerd. Apache Airflow heeft een lijst van voorgedefinieerde operatoren, waaronder:

PythonOperator voert Python-code uit
BashOperator voert bash scripts/commando's uit
PostgresOperator roept SQL-queries aan in PostgreSQL
RedshiftToS3Transfer voert UNLOAD commando's uit van Redshift naar S3
EmailOperator verstuurt e-mails

Taken en operatoren worden soms door elkaar gebruikt, maar wij gaan ervan uit dat het verschillende concepten zijn, waarbij operatoren dienen als patronen voor het genereren van taken.

Sensor

De sensor is een variant van een operator die toepassing vindt in gebeurtenisgestuurde pijplijnen. Voorbeelden:

PythonSensor wacht tot de functie True teruggeeft.
S3Sensor controleert de beschikbaarheid van het object door de sleutel in de S3 emmer

Haak

Hooks zijn diensten van derden die interageren met externe platforms (databases en API-bronnen). Hooks mogen geen kwetsbare informatie bezitten om gegevenslekken te voorkomen.

Scheduler

Het bewaakt alle DAG's, handelt workflows af, en dient opdrachten in bij Executor.

Webserver

De webserver speelt de rol van Apache Airflow gebruikersinterface. Hij helpt de status en voortgang van de taken te volgen en gegevens van externe depots te loggen.

Database

Alle relevante informatie wordt daar opgeslagen (taken, planningstermijnen, statistieken van elke sprint, enz.)

Executeur

De Executor voert taken uit en pusht ze naar werkers.

Laten we tot slot demonstreren hoe Apache werkt aan de hand van een eenvoudig voorbeeld. Eerst herziet Apache alle DAG's op de achtergrond. Dringende taken die voltooid moeten worden krijgen het merkteken SCHEDULED in de database. De Scheduler haalt taken uit de database en verdeelt ze over Executors. Daarna krijgen de taken de status QUEUED, en zodra de werkers ze gaan uitvoeren, wordt de status RUNNING aan de taak toegekend. Wanneer de taak is voltooid, geeft de werker deze aan als voltooid/gefaald, afhankelijk van het eindresultaat, en de Scheduler werkt de status in de database bij.

Apache Airflow kenmerken

Hieronder zetten we de spannendste kenmerken van Apache Airflow op een rij.

Gemakkelijk te bedienen

Basiskennis van Python is de enige vereiste om oplossingen op het platform te bouwen.

Open bron

De dienst is gratis, met vele actieve gebruikers wereldwijd.

Eenvoudige integratie

Men kan naadloos samenwerken met aanvullende producten van Microsoft Azure, Google Cloud Platform, Amazon AWS, enz.

Vriendelijke gebruikersinterface

U kunt de status van geplande en lopende taken in real-time volgen.

Apache Luchtstroom Principes

Hieronder vindt u meer informatie over de basisprincipes van Apache Airflow.

Dynamisch

De luchtstroomleidingen worden geconfigureerd als Python code om het genereren van pijpleidingen dynamisch te maken.

Uitbreidbaar

Gebruikers kunnen gedefinieerde operatoren, uitvoerders en bibliotheken creëren die geschikt zijn voor hun specifieke bedrijfsomgeving.

Schaalbaar

De dienst crasht niet omdat hij een modulaire architectuur heeft en tot in het oneindige kan worden opgeschaald.

Wat zijn de voordelen van Apache Airflow?

Ze omvatten automatisering, gemeenschap, visualisatie van bedrijfsprocessen, en een goede bewaking en controle. We zullen ze allemaal kort bespreken.

Gemeenschap

Er zijn meer dan 1000 bijdragers aan de open-source dienst. Zij werken regelmatig mee aan de upgrade ervan.

Visualisatie van bedrijfsprocessen

Apache is een perfect hulpmiddel om een "groter beeld" van iemands workflow management systeem te genereren.

Automatisering

Automatisering maakt het werk van Data Engineers soepeler en verbetert de algemene prestaties.

Toezicht en controle

Het ingebouwde waarschuwings- en meldingssysteem maakt het mogelijk verantwoordelijkheden vast te stellen en correcties door te voeren.

Apache Airflow gebruikscases

De praktische doeltreffendheid van de dienst blijkt uit de volgende use cases:

Batch opdrachten;
Het plannen en orkestreren van data pipelines workflows met Airflow voor een specifiek tijdsinterval;
ETL/ELT pipelines die werken op batch gegevens;
Pipelines die gegevens uit externe bronnen ontvangen of gegevens transformeren;
Apache Airflow voor machine learning trainingsmodellen en het triggeren van jobs in SageMaker;
Rapporten genereren;
Back-ups van DevOps jobs en het opslaan van de resultaten in een Hadoop cluster na het uitvoeren van een Spark job.

Apache Airflow als dienst

Plenty of data engineering platforms empowered by Airflow utilize the basic logic and benefits of the service and add new features to solve specific challenges. They can be called Apache Airflow alternatives since they have pretty similar functionality:

Astro - een data-orkestratieplatform om pipelines te creëren, uit te voeren en te observeren.
Google Cloud Composer - een data-orkestratieplatform om pipelines te bouwen, te plannen en te controleren.
Qubole - een open data lake platform voor machine learning, streaming en ad-hoc analyses.

Amazon Managed Workflows voor Apache Airflow - een beheerde Airflow workflow orkestratiedienst voor het opzetten en beheren van datapijplijnen op Amazon Web Services (AWS).

Conclusie

Apache is een krachtig hulpmiddel voor data engineering dat compatibel is met diensten en platforms van derden. Migratie naar Airflow verloopt soepel en probleemloos, ongeacht de omvang en specificaties van het bedrijf.

Innowise Group levert diepgaande Apache expertise van elke complexiteit en omvang. Apache Airflow is een perfecte keuze om orde op zaken te stellen als een klant last heeft van slechte communicatie tussen afdelingen en op zoek is naar meer transparantie in workflows.

Onze deskundige ontwikkelaars zullen een modulair systeem op maat implementeren dat de werking met big data verbetert en Airflow-processen volledig beheert en aanpasbaar aan de bijzonderheden van uw bedrijfsomgeving.

Bedankt voor de beoordeling!

Bedankt voor het commentaar!

Beoordeel dit artikel:

★★★★★ 4/5

4.8/5 (45 beoordelingen)

Gerelateerde inhoud

Blog

De toekomst van big data - Voorspellingen en onderzoeken | Data analytics, en de gevolgen ervan voor het bedrijfsleven

Blog

Voordelen en nadelen van Java

Bracht ons een uitdaging?

Wat gebeurt er nu?

Na ontvangst en verwerking van uw aanvraag, nemen wij binnenkort contact met u op om uw projectbehoeften in detail te beschrijven en een NDA te ondertekenen om de vertrouwelijkheid van informatie te garanderen.

Na het bestuderen van de vereisten, stellen onze analisten en ontwikkelaars een projectvoorstel met de omvang van de werkzaamheden, teamgrootte, tijd en kosten schattingen.

Wij regelen een ontmoeting met u om het aanbod te bespreken en tot een overeenkomst.

We tekenen een contract en beginnen zo snel mogelijk aan uw project te werken. mogelijk.

De ultieme gids voor Apache Airflow

Wat is Apache Airflow?

Apache Airflow introductie

Hoe werkt Apache Airflow?