Erfassung von Benutzerdaten für einen Online-Shop

Eine Python-basierte Lösung zur automatisierten Erfassung von Benutzerdaten und einer verbesserten Benutzeranalyse.

Kunde

Branche
E-Commerce
Region
USA
Kunde seit
2019

Unser Kunde ist Betreiber eines großen Online-Shops in den USA, dessen Sortiment Kleidung verschiedener Marken für Männer, Frauen und Kinder umfasst.

Detaillierte Informationen über den Kunden können aufgrund der NDA-Bestimmungen nicht offengelegt werden.

Situation

Die Aufgabe bestand darin, eine bestehende Online-Plattform zu erweitern, die zum Verkauf von Kleidung und Accessoires verschiedener Marken eingesetzt wird.

Unser Kunde verfügte über ein sich dynamisch entwickelndes Empfehlungssystem, das für Datenanalysen und das Erfassen von Nutzeraktivitäten genutzt wurde.

Lösung

Unser Ziel war es, ein System zur Datenerfassung und -verarbeitung zu entwickeln, das sowohl den Käufern Empfehlungen für relevante Waren als auch dem Kunden relevantere Informationen über die Aktivitäten des Käufers bietet.

Data user analytics
Wir haben die Plattform nicht neu entwickelt, sondern im Rahmen der Anforderungen des Kunden angepasst. Die Lösung basiert auf Cloud-Technologien, deren moderne Dienste den Einsatz von DevOps überflüssig machen.Die erhobenen Daten umfassen die Käufe der Kunden, die Artikel in ihren Warenkörben, ihre Klicks und Mausbewegungen usw. Außerdem erstellt das System Modelle, die den Käufern potenziell gewünschte Waren anbieten. Wir waren für die genaue Datenerfassung verantwortlich.

OPTIMIERUNG VON ABFRAGEN ZUM HOCHLADEN VON METRIKEN IN SNOWFLAKE

Der Kunde stellte uns SQL-Abfragen und und eine enorme Datenmenge zur Verfügung, die in vielen Tabellen gesammelt und zur Berechnung verschiedener Metriken genutzt wurden. Wir fanden viele sich wiederholende Codeabschnitte, in denen identische Abfragen ausgeführt wurden, sodass wir einen Abfragegenerator erstellt haben, der auf Grundlage von Code-Templates nur die Eingabewerte ändert, um die Abfragen auszuführen. Auf diese Weise haben wir ein praktisches, flexibles und skalierbares Tool erstellt, mit dem schnell und dynamisch Abfragen zur Berechnung neuer Metriken hinzugefügt werden können.
Data user analytics

AUTOMATISIERUNG DER DATENVERWALTUNG

AWS ist eine Cloud-Plattform von Amazon, die es App-Anbietern, ISVs und Verkäufern ermöglicht, ihre Lösungen komfortabel und sicher zu hosten - unabhängig davon, ob es sich um eine bestehende App oder eine neue SaaS-basierte App handelt. Der Parameter-Store des AWS Systems Manager stellt ein sicheres Repository für die Verwaltung von Konfigurationsdaten und Passwörtern zur Verfügung. Wir haben die Verwaltung der Konfigurationen und sensiblen Passwörter oder Daten automatisiert, damit ein Benutzer diese Operationen nicht manuell über die grafische Oberfläche ausführen muss.

EINRICHTEN VON AIRFLOW

In Airflow werden Workflows als gerichtete azyklische Graphen (DAG) entworfen und dargestellt, wobei jeder DAG als spezifische Aufgabe definiert ist. Airflow ist eine codebasierte Plattform, die mit dem Wissen entwickelt wurde, dass die Prozesse der Datenextraktion, -transformation, -ladung und -manipulation am besten in Codeform beschrieben werden können, und ermöglicht eine schnelle und effiziente Iteration von Workflows. Da Airflow bei der Organisation und Planung von Datenpipeline-Workflows sehr effektiv ist, haben wir es für die Einrichtung der im Voraus geplanten Ereignisse verwendet. Ein DAG kann in regelmäßigen Intervallen (z.B. stündlich, alle 3 Stunden, alle 30 Minuten usw.) ausgeführt werden. Wenn alle Aufgaben des DAG erfolgreich beendet sind, wird der DAG als abgeschlossen betrachtet. Das ist praktisch, weil DAGs jederzeit ablaufen können, ohne dass manuelle Eingriffe erforderlich sind.  
Erfassung von Benutzerdaten für einen Online-Shop

VERWALTUNG MIT DATABRICKS

Wir haben neue Jobs erstellt, die Daten aus dem S3-Bucket des Kunden lesen, ihre Verarbeitung erledigen und die Daten in DynamoDB übertragen. Diese Aufgaben wurden als Teil der Airflow-DAGs hinzugefügt, um diesen Prozess zu automatisieren.

REALISIERUNG VON СI/CD

Während der Arbeit am Projekt haben wir CI/CD eingeführt, eine der DevOps-Praktiken, die es den Entwicklern ermöglicht, Softwareänderungen häufiger und zuverlässiger bereitzustellen, Fehler zu minimieren, die Entwicklungsgeschwindigkeit zu erhöhen und die Qualität des Endprodukts zu verbessern. Wir haben es zwischen GitHub und Databricks aktiviert. Bei jeder Änderung in GitHub wird die Änderung in Databricks angezeigt.

Technologien

Backend
Python, Scala, Java, SQL
Datenanalyse
Scala, Python, Tableau
Cloud-Dienste
AWS (EC2, MWAA, Lambda, S3, SSM, CloudWatch, IAM, CloudFormation, CodeBuild, EMR), DataDog
Datenbanken
Snowflake, Databricks, Kafka, DynamoDB
Frameworks
Hadoop, Spark

Entwicklung

Unter Berücksichtigung der Anforderungen des Kunden und der Besonderheiten des Projekts haben wir Scrum als Methodik für den Lebenszyklus der Softwareentwicklung unter Verwendung von Jira und Confluence vorgeschlagen. Als Kommunikationstool wollte der Kunde Microsoft Teams verwenden.

Auf der Grundlage unserer umfassenden Erfahrung in der Entwicklung von Webanwendungen und Systemen zur Datenverwaltung hat unser Team einen geeigneten Technologie-Stack ausgewählt.

Während des gesamten Projekts haben wir tägliche und wöchentliche Besprechungen, technische Reviews, Sprint-Reviews, Nachbesprechungen, Planungen abgehalten und zu offenen Fragen und Bedenken Einzelgespräche mit dem Teamleiter geführt.

Dank des gut geplanten Arbeitsablaufs und der fristgerechten und transparenten Kommunikationsprozesse haben wir die Ergebnisse schnell und effizient geliefert.

Team

4
Dateningenieure
6
Datenanalysten
1
Projektleiter
1
Produktmanager
1
QS-Ingenieur

Ergebnisse

Nach Abschluss der aktiven Projektphase, die sich auf die Aktualisierung der Datenanalyse und des Empfehlungssystems konzentrierte, hat die Online-Einkaufsplattform an Leistung, Stabilität und Benutzerfreundlichkeit gewonnen und dadurch ihre Marketingmöglichkeiten und den Umsatz gesteigert.

Das Projektteam wurde aufgrund seines umfassenden technischen Hintergrunds und seiner guten Kommunikationsfähigkeiten als professionell eingestuft. Durch die erfolgreiche Zusammenarbeit unserer IT-Experten mit dem Kunden in der aktiven Projektphase arbeiten wir weiterhin mit dem Kunden zusammen und leisten langfristig Unterstützung.

Projektdauer
  • Seit 2022
  • Das Projekt ist noch nicht abgeschlossen, momentan leisten wir Support für die Plattform und implementieren neue Funktionen

Sie brauchen eine technische Lösung? Kontaktieren Sie uns!

Wählen Sie das Thema Ihrer Anfrage

Bitte beachten Sie, wenn Sie auf die Schaltfläche Senden klicken, dass Innowise Group Ihre Datenschutzrichtlinie um Ihnen die gewünschten Informationen zukommen zu lassen.

Wie geht es weiter?

1

Sobald wir Ihre Anfrage erhalten und bearbeitet haben, werden wir uns mit Ihnen in Verbindung setzen, um Ihre Projektanforderungen zu besprechen und eine NDA zu unterzeichnen, um die Vertraulichkeit der Informationen zu gewährleisten.

2

Nach Prüfung der Anforderungen erstellen unsere Analysten und Entwickler einen Projektvorschlag, der Arbeitsumfang, Teamgröße, Zeit- und Kostenschätzung enthält.

3

Wir vereinbaren einen Termin mit Ihnen, um das Angebot zu besprechen und eine Vereinbarung zu treffen.

4

Wir unterzeichnen einen Vertrag und beginnen umgehend mit der Arbeit an Ihrem Projekt.