5 minuti di lettura

La guida definitiva ad Apache Airflow

Grandi dati

Ingegneria dei dati

Gestione dei dati

Python

Dmitry Nazarevich

CTO

Data: 12 agosto 2022

Aggiornato: 12 agosto 2022

Che cos'è il flusso d'aria Apache?

Apache Airflow è uno strumento per creare, organizzare e monitorare visivamente i flussi di lavoro e lanciare catene di attività (pipeline) per elaborare, archiviare e visualizzare i dati. La Apache Software Foundation è proprietaria della piattaforma, che è ancora in fase di incubazione con 1000 collaboratori su GitHub e 13 000 stelle.

Introduzione ad Apache Airflow

Apache Airflowè un servizio robusto, open-source e scritto in Python utilizzato da Data Engineers per orchestrare flussi di lavoro e pipeline evidenziando le dipendenze, il codice, i registri, le attività di trigger, l'avanzamento e lo stato di successo delle pipeline per risolvere i problemi quando necessario. .

Se l'attività viene completata o fallisce, questa soluzione flessibile, scalabile e compatibile con i dati esterni è in grado di inviare avvisi e messaggi via Slack o e-mail. Apache non impone restrizioni sull'aspetto del flusso di lavoro e dispone di un'interfaccia facile da usare per monitorare e rilanciare i lavori.

Come funziona Apache Airflow?

Le pipeline sono descritte con l'uso di elementi fondamentali di Apache:

DAG

La pietra angolare della tecnologia è descritta dai grafi aciclici diretti (DAG). Questo modello è un grafo che non presenta cicli, ma percorsi paralleli provenienti dallo stesso batch. In parole povere, il DAG è un'entità che combina le attività a seconda della pipeline di dati, dove la dipendenza tra le applicazioni si manifesta chiaramente.

Il compito E è il lavoro finale del DAG che dipende dal successo dei compiti precedenti a sinistra.

Operatore

Un operatore è un elemento separato della catena di task (pipeline). Utilizzando questi elementi, gli sviluppatori descrivono quale compito deve essere eseguito. Apache Airflow ha un elenco di operatori predefiniti che includono:

PythonOperator esegue il codice Python
BashOperator esegue gli script/comandi di bash
PostgresOperator chiama le query SQL in PostgreSQL
RedshiftToS3Transfer esegue comandi di UNLOAD da Redshift a S3
EmailOperator invia le e-mail

I compiti e gli operatori vengono talvolta utilizzati in modo intercambiabile, ma si presume che si tratti di concetti diversi, in cui gli operatori servono come modelli per generare i compiti.

Sensore

Il sensore è una variante di un operatore che trova applicazione nelle pipeline event-driven. Esempi:

PythonSensor attende che la funzione restituisca Vero
S3Sensor verifica la disponibilità dell'oggetto in base alla chiave nel bucket S3.

Gancio

Gli hook sono servizi di terze parti che interagiscono con piattaforme esterne (database e risorse API). Gli hook non devono possedere informazioni vulnerabili per evitare la fuga di dati.

Programmatore

Monitora tutti i DAG, gestisce i flussi di lavoro e invia i lavori a Executor.

Server web

Il server web svolge il ruolo di interfaccia utente di Apache Airflow. Aiuta a monitorare lo stato e l'avanzamento dei compiti e a registrare i dati dai depositi remoti.

Database

Tutte le informazioni pertinenti sono memorizzate lì (attività, periodi di pianificazione, statistiche di ogni sprint, ecc.)

Esecutore

L'Executor esegue i compiti e li invia ai lavoratori.

Infine, dimostriamo come funziona Apache con un semplice esempio. Innanzitutto, Apache rivede tutti i DAG in background. Le attività urgenti che devono essere completate ricevono il marchio SCHEDULED nel database. Lo Scheduler recupera i task dal database e li distribuisce agli Executor. Successivamente, i compiti ricevono lo stato QUEUED e, una volta che i lavoratori iniziano a eseguirli, viene assegnato lo stato RUNNING al lavoro. Quando l'attività è completata, il lavoratore la indica come conclusa/fallita, a seconda del successo del risultato finale, e lo Scheduler aggiorna lo stato nel database.

Caratteristiche di Apache Airflow

Di seguito elenchiamo le caratteristiche più interessanti di Apache Airflow.

Facile da usare

La conoscenza di base di Python è l'unico requisito per costruire soluzioni sulla piattaforma.

Fonte aperta

Il servizio è gratuito, con molti utenti attivi in tutto il mondo.

Facile integrazione

Si può lavorare senza problemi con i prodotti complementari di Microsoft Azure, Google Cloud Platform, Amazon AWS, ecc.

Interfaccia utente amichevole

È possibile monitorare lo stato delle attività pianificate e in corso in tempo reale.

Principi del flusso d'aria Apache

Di seguito vengono illustrati i principi di base di Apache Airflow.

Dinamico

Le condutture del flusso d'aria sono configurate come Codice Python per rendere dinamica la generazione delle condotte.

Estensibile

Gli utenti possono creare operatori, esecutori e librerie definiti e adatti al loro specifico ambiente aziendale.

Scalabili

Il servizio non si blocca perché ha un'architettura modulare e può essere scalato all'infinito.

Quali sono i vantaggi di Apache Airflow?

Tra questi vi sono l'automazione, la comunità, la visualizzazione dei processi aziendali, nonché il monitoraggio e il controllo adeguati. Li analizzeremo brevemente tutti.

Comunità

Ci sono più di 1000 collaboratori al servizio open-source. Partecipano regolarmente al suo aggiornamento.

Visualizzazione dei processi aziendali

Apache è uno strumento perfetto per generare un "quadro generale" del proprio sistema di gestione del flusso di lavoro.

Automazione

L'automazione rende più agevole il lavoro dei Data Engineer e migliora le prestazioni complessive.

Monitoraggio e controllo

Il sistema di avvisi e notifiche integrato consente di definire le responsabilità e di attuare le correzioni.

Casi d'uso di Apache Airflow

L'efficacia pratica del servizio può essere dimostrata nei seguenti casi d'uso:

Lavori in batch;
Pianificazione e orchestrazione dei flussi di lavoro delle pipeline di dati con Airflow per un intervallo di tempo specifico;
Pipeline ETL/ELT che lavorano su dati batch;
Pipeline che ricevono dati da fonti esterne o che effettuano trasformazioni di dati;
Apache Airflow per la formazione di modelli di apprendimento automatico e l'attivazione di lavori in SageMaker;
Generazione di rapporti;
Backup di lavori DevOps e salvataggio dei risultati in un cluster Hadoop dopo l'esecuzione di un lavoro Spark.

Apache Airflow come servizio

Plenty of data engineering platforms empowered by Airflow utilize the basic logic and benefits of the service and add new features to solve specific challenges. They can be called Apache Airflow alternatives since they have pretty similar functionality:

Astro - una piattaforma di orchestrazione dei dati per creare, eseguire e osservare pipeline.
Google Cloud Composer - una piattaforma di orchestrazione dei dati per costruire, programmare e controllare le pipeline.
Qubole - una piattaforma di data lake aperta per l'apprendimento automatico, lo streaming e l'analisi ad hoc.

Flussi di lavoro gestiti da Amazon per Apache Airflow - un servizio gestito di orchestrazione del flusso di lavoro Airflow per impostare e gestire pipeline di dati su Amazon Web Services (AWS).

Conclusione

Apache è un potente strumento per l'ingegneria dei dati compatibile con servizi e piattaforme di terze parti. La migrazione ad Airflow avviene senza problemi, indipendentemente dalle dimensioni e dalle specifiche dell'azienda.

Innowise Group offre una profonda esperienza Apache di qualsiasi complessità e portata. Apache Airflow è la scelta perfetta per portare ordine se un cliente soffre di scarsa comunicazione tra i reparti e cerca maggiore trasparenza nei flussi di lavoro.

I nostri sviluppatori specializzati implementeranno un sistema modulare altamente personalizzato che migliora l'operatività con i big data e rende i processi di Airflow completamente gestiti e adattabile alle peculiarità del vostro ambiente aziendale.

Grazie per la valutazione!

Grazie per il commento!

Valuta questo articolo:

★★★★★ 4/5

4.8/5 (45 recensioni)

Contenuti correlati

Blog

Il futuro dei big data - Previsioni e ricerche | L'analisi dei dati e i suoi impatti sul business

Blog

Vantaggi e svantaggi di Java

Ci ha portato una sfida?

Cosa succede dopo?

Dopo aver ricevuto ed elaborato la vostra richiesta, vi ricontatteremo a breve per illustrare le esigenze del progetto e firmare un NDA per garantire la riservatezza delle informazioni.

Dopo aver esaminato i requisiti, i nostri analisti e sviluppatori elaborano una proposta di progetto con progetto con l'ambito di lavoro, le dimensioni del team, i tempi e i costi stimati.

Organizziamo un incontro con voi per discutere l'offerta e giungere a un accordo.

Firmiamo un contratto e iniziamo a lavorare sul vostro progetto il prima possibile.

La guida definitiva ad Apache Airflow

Che cos'è il flusso d'aria Apache?

Introduzione ad Apache Airflow

Come funziona Apache Airflow?