System för insamling av användardata för nätbutik

AWS

Affärsinformation

Den Python-baserade lösningen syftar till att automatisera systemet för insamling av användardata och förbättra användaranalysen.

Kund

Bransch

E-handel

Region

USA

Kund sedan

2019

Vår kund är en stor nätbutik i USA. Butikens huvudområde är varierande kläder av olika märken för män, kvinnor och barn.

Detaljerad information om klienten kan inte avslöjas enligt bestämmelserna i NDA.

Utmaning

Vi har arbetat med en onlineplattform som ger möjlighet att köpa kläder och accessoarer från olika märken.

Vår kund gav oss en arkitektur för ett rekommendationssystem som aktivt utvecklas för analys och insamling av data om användarnas aktivitet.

Lösning

Vårt mål var att skapa ett system för datainsamling och bearbetning för att ge både shoppare rekommendationer om relevanta varor och kunden mer relevant information om shopparens aktivitet på ett och samma ställe.

Plattformen utvecklades inte från grunden, utan vi modifierade den inom ramen för kundens uppgifter. Lösningen är byggd på molnteknik, en modern utvecklingsmetod som gör det möjligt att spara på DevOps, eftersom molntjänster erbjuder allt som behövs i ett moln.

Uppgifterna samlas in baserat på vad kunderna köper eller lägger till i kundvagnen, deras klick, musrörelser osv. Vidare skapar systemet modeller som erbjuder kunderna potentiellt önskade varor. Vi har ansvarat för att ordna korrekt datainsamling.

OPTIMERING AV FRÅGOR FÖR ATT LADDA UPP MÄTVÄRDEN TILL SNOWFLAKE.

Vi fick en stor fil med flera rader (ett par tusen) med olika SQL-förfrågningar. Kunden samlade in data från olika tabeller och beräknade olika mätvärden. Det fanns många repetitiva delar av koden och vi behövde skapa en frågegenerator som, baserat på flera kodmallar, ändrade inmatningsvärdena för frågorna och utförde dem istället för att utföra samma flera frågor. Detta gjorde det möjligt att skapa ett bekvämt, flexibelt och skalbart verktyg för att snabbt och dynamiskt lägga till frågor för att beräkna nya mätvärden.

AUTOMATISERING AV DATAHANTERINGEN.

AWS är en molnplattform från Amazon som gör det möjligt för appleverantörer, ISV:er och säljare att snabbt och säkert lägga upp sina lösningar - oavsett om det är en befintlig app eller en ny SaaS-baserad app. AWS Systems Manager Parameter Store säkerställer ett säkert arkiv för hantering av konfigurationsdata och lösenord. Vår uppgift var att automatisera tillägg av nya eller ändring av föråldrade konfigurationer eller känsliga lösenord eller data så att en användare inte behöver göra det manuellt via det grafiska gränssnittet.

INSTÄLLNING AV LUFTFLÖDET

I Airflow utformas och uttrycks arbetsflöden som DAGs, där varje DAG-steg definieras som en specifik uppgift. Den är utformad med vetskapen att alla processer för datautvinning, omvandling, laddning och hantering av data bäst uttrycks som kod, och därför är det en kodbaserad plattform som gör det möjligt att iterera arbetsflöden snabbt och effektivt. Eftersom Airflow är mycket effektivt när det gäller att organisera och schemalägga datapipelinearbetsflöden använder vi det för att ställa in de förplanerade händelserna. DAG kan köras varje timme eller till exempel var 3:e timme och 30:e minut och så vidare. Om alla uppgifter i DAG slutfördes framgångsrikt anses DAG vara framgångsrikt genomförd. Det är praktiskt eftersom DAG:er körs hela tiden utan att det behövs några manuella åtgärder.

HANTERING AV DATABRICKS

Vi skapade nya jobb som läste data från klientens S3-hink, utförde viss bearbetning och laddade upp data direkt till oss i DynamoDB. Dessa uppgifter lades till som en del av Airflow DAGs för att automatisera den här processen.

GENOMFÖRANDE AV CI/CD

När vi arbetade med projektet inrättade vi CI/CD, en av DevOps-praktikerna som gör det möjligt för utvecklare att distribuera programvaruändringar oftare och mer tillförlitligt, minimera fel, öka utvecklingshastigheten och förbättra kvaliteten på slutprodukten. Vi aktiverade det mellan GitHub och Databricks. När något har ändrats i GitHub visas det alltså automatiskt i våra Databricks. Och som ett resultat får kunden en lösning av högre kvalitet med ett minimum av påsar.

Teknik och verktyg

De viktigaste programmeringsspråken

Python, Scala, Java, SQL

Analys av uppgifter

Scala, Python, Tableau

Molntjänster

AWS (EC2, MWAA, Lambda, S3, SSM, CloudWatch, IAM, CloudFormation, CodeBuild, EMR), DataDog

Databaser

Snowflake, Databricks, Kafka, DynamoDB

Ramar

Hadoop, Spark

Process

Med hänsyn till alla kundens krav och projektets särdrag föreslog vi Scrum som metod för livscykelutveckling av programvara med hjälp av Jira och Confluence. När det gäller kommunikationsverktyget föreslog kunden att vi skulle använda Microsoft Teams.

Baserat på vår rika erfarenhet av att utveckla olika webbapplikationer och datahanteringssystem har vårt team föreslagit den mest lämpliga tekniken.

Under hela projektet håller vi dagliga och veckovisa möten, tekniska granskningar, sprintgranskningar, retro, planering och ständiga enskilda möten med teamledaren om eventuella frågor eller problem.

Tack vare det välplanerade arbetsflödet och de snabba och öppna kommunikationsprocesserna kan vi leverera resultat snabbare och effektivare.

Team

Dataingenjörer

Dataanalytiker

Projektledare

Produktchef

QA-ingenjör

Resultat

Efter att ha avslutat projektets aktiva fas, som avser uppdatering av dataanalys- och rekommendationssystemet, har online shoppingplattformen fått bättre prestanda, stabilitet och användbarhet, vilket ökar dess marknadsföringsmöjligheter och ökar försäljningen.

Projektteamet erkändes som professionella för sin omfattande tekniska bakgrund och höga kommunikationsförmåga. Eftersom vi lyckades ordna ett framgångsrikt samarbete med kunden i projektets aktiva fas fortsatte våra IT-experter att samarbeta med kunden och ge långsiktigt stöd för lösningen.

Projektets varaktighet

Sedan 2022
Projektet pågår fortfarande, i detta skede stöder vi plattformen och implementerar ny funktionalitet.

Relaterade fall

Behöver du en teknisk lösning? Kontakta oss!

Vad händer härnäst?

När vi har tagit emot och behandlat din begäran kommer vi att kontakta dig. för att beskriva dina projektbehov i detalj och underteckna ett NDA för att säkerställa att för att garantera konfidentialitet för informationen.

Efter att ha undersökt kraven utarbetar våra analytiker och utvecklare en projektförslag med arbetets omfattning, lagets storlek, tid och kostnad. uppskattningar.

Vi ordnar ett möte med dig för att diskutera erbjudandet och komma fram till en överenskommelse.

Vi undertecknar ett kontrakt och börjar arbeta med ditt projekt så snabbt som möjligt. möjligt.

System för insamling av användardata för nätbutik

Kund

Utmaning

Lösning

Vårt mål var att skapa ett system för datainsamling och bearbetning för att ge både shoppare rekommendationer om relevanta varor och kunden mer relevant information om shopparens aktivitet på ett och samma ställe.

Teknik och verktyg

Process

Team

Resultat

Relaterade fall

Behöver du en teknisk lösning? Kontakta oss!

Vad händer härnäst?

Låt^●s utvecklas.
programvara tillsammans!

Den här webbplatsen använder cookies

Stäng

System för insamling av användardata för nätbutik

Kund

Utmaning

Lösning

Vårt mål var att skapa ett system för datainsamling och bearbetning för att ge både shoppare rekommendationer om relevanta varor och kunden mer relevant information om shopparens aktivitet på ett och samma ställe.

Teknik och verktyg

Process

Team

Resultat

Relaterade fall

Behöver du en teknisk lösning? Kontakta oss!

Vad händer härnäst?

Låt●s utvecklas. programvara tillsammans!

Den här webbplatsen använder cookies

Stäng

Låt^●s utvecklas.
programvara tillsammans!