Jak jsme pro automotive klienta postavili platformu zpracovávající 35M+ inzerátů měsíčně.

Dodali jsme end-to-end datovou platformu od ingestion vrstvy po analytické rozhraní. Backend tvoří Java aplikace ve Spring Bootu, která řídí scrapování zdrojů, normalizaci dat a zápis do Elasticsearch indexu — v něm dnes leží desítky milionů inzerátů s parametry, které jsou plně filtrovatelné a agregovatelné. Datový model jsme navrhli tak, aby pokrýval stovky modelů a značek napříč ČR i EU, včetně detailního breakdown výbavy. Pipeline pokrývá multiple daily updates pro každý zdroj, deduplikaci napříč inzertními portály a historizaci cen pro trendovou analýzu. Frontend je React aplikace, kterou interní analytici klienta používají pro filtrování, exporty a dashboardy nad živým indexem. Infrastruktura běží v kontejnerech na Dockeru s Nginx jako reverse proxy a load balancerem, monitoring pokrývá latenci ingestion i Elasticsearch cluster health. Bezpečnost a compliance řešíme dle ISO 9001 a ISO 27001 procesů, klient má kromě NDA podepsanou i DPA pro zpracování dat. Prediktivní modely sedí nad Elasticsearch indexem a klient si je iteruje sám, my držíme platformu jako stabilní datový základ. Tým na naší straně je tech lead a backend vývojáři pro datovou vrstvu plus frontend developer pro analytické UI, na straně klienta projekt řídí Head of Data spolu s analytickým týmem. Předávací protokoly zahrnují provozní runbooky pro Elasticsearch a Docker stack, dokumentaci datového modelu a release notes při každé větší změně schématu.

Spolupráce začala v roce 2021 první fází zaměřenou výhradně na český trh s ojetými vozy a multiple daily updates klíčových inzertních portálů. Po roce ostrého provozu klient požádal o expanzi na evropský trh, což znamenalo přepracovat datový model pro vícejazyčné názvy modelů a výbavy a navýšit Elasticsearch cluster pro řádově větší objem dat. Reálnou překážkou byla normalizace parametrů napříč portály — různé inzertní portály používají odlišné taxonomie pro výbavu a stav vozu, takže jsme museli postavit mapping vrstvu a iterativně ji ladit s analytiky klienta na vzorcích reálných dat. V průběhu roku 2022 jsme se dostali k objemu okolo 3,5 milionu inzerátů měsíčně, což byl mezikrok před plnou EU expanzí, a postupně jsme se dostali na současných 35 000 000+ inzerátů měsíčně. Latence reakce na novou nabídku jsme díky úpravám ingestion pipeline a indexačních pravidel stáhli na jednotky minut. Platforma je v kontinuálním vývoji od roku 2021 a klient ji aktivně rozšiřuje o nové datové zdroje a analytické pohledy. Hand-off probíhá průběžně formou dokumentovaných release notes a runbooků, kontinuální podporu držíme v rámci nasmlouvaných SLA s reakcí pod 4 hodiny v pracovní době.