Sistema de recogida de datos de usuario para tienda en línea

AUTOMATIZACIÓN DE LA GESTIÓN DE DATOS

AWS es una plataforma en la nube de Amazon que permite a los proveedores de aplicaciones, ISV y vendedores alojar sus soluciones de forma rápida y segura, tanto si se trata de una aplicación existente como de una nueva aplicación basada en SaaS. AWS Systems Manager Parameter Store garantiza un repositorio seguro para administrar datos de configuración y contraseñas. Nuestra tarea consistía en automatizar la adición de configuraciones nuevas o el cambio de configuraciones obsoletas o contraseñas o datos confidenciales para que el usuario no tuviera que hacerlo manualmente a través de la interfaz gráfica.

AJUSTE DEL FLUJO DE AIRE

En Airflow, los flujos de trabajo se diseñan y expresan como DAGs, donde cada paso del DAG se define como una tarea específica. Se ha diseñado con el conocimiento de que todos los procesos de extracción, transformación, carga y manipulación de datos se expresan mejor como código y, como tal, es una plataforma basada en código que permite iterar flujos de trabajo de forma rápida y eficiente. Dado que Airflow es muy eficaz a la hora de organizar y programar flujos de trabajo de canalización de datos, lo utilizamos para configurar los eventos preprogramados. El DAG puede ejecutarse cada hora o, por ejemplo, cada 3 horas y 30 minutos, y así sucesivamente. Si todas las tareas del DAG se completaron con éxito, entonces se considera que el DAG se ha completado con éxito. Es conveniente porque los DAG se ejecutan en todo momento sin necesidad de acciones manuales.