Datanamo
Wszystkie systemy

Stały klient Datanamo. od 2018.

Baza danych o nieruchomościach w USA

Zaplecze danych amerykańskiej firmy, która sprzedaje informacje o nieruchomościach. Około 200 automatycznych scraperów urzędów hrabstw i czterech dostawców danych zasila jedną uporządkowaną bazę: blisko 800 tys. aukcji i zaległości podatkowych, które klient sprzedaje przez własną platformę i API. Prowadzę ją w całości od ośmiu lat, od wymagań po utrzymanie, a każdą zmianę wdrażam na działającym systemie.

~500 tys.
śledzonych aukcji
300 tys.
śledzonych zaległości podatkowych
~200
scraperów, 8 lat codziennej pracy

Przepływ danych

ŹródłaZbieranieBazaOdbiorcyAukcje hrabstw~500 tys. śledzonych, ~200 scraperówRejestry zaległości podatkowych300 tys. śledzonychDostawcy danych nieruchomościzewnętrzni, płatność za rekordDziałki i ubezpieczeniadostawcy zewnętrzniScraperyproxy, ponowieniaDane od dostawcówlimit wydatków w kodzieWalidacja i naprawaadresy, działkiBaza nieruchomości~800 tys. rekordów, 8 lat produkcjiPlatforma klientaPubliczne APIDzienne eksportybezpieczne ponowieniaPomiar przy każdym uruchomieniuPokrycie źródełmilczące hrabstwo to alertStan dostawcówbłędy, limity, wydatkiZawieszone zadaniaautomatyczne sprzątanie i limity czasualerty, zanim zauważy klient

Dla kogo

Twoim produktem są dane z wielu źródeł, które zmieniają się bez ostrzeżenia, płacisz dostawcom za każdy rekord i potrzebujesz systemu, który będzie działał latami pod opieką jednego odpowiedzialnego inżyniera, a nie całego działu.

Efekt

Klient sprzedaje dane, które zbiera automat, a nie zespół analityków. Limit wydatków na dostawców jest zapisany w kodzie, więc budżet nigdy nie zostaje przekroczony, a o zepsutym źródle alert informuje wcześniej niż klient.

Jak to działa

  • Około 200 scraperów zbiera z urzędów hrabstw aukcje (blisko 500 tys.) i zaległości podatkowe (300 tys.), a czterech dostawców uzupełnia je do jednego modelu nieruchomości. Warstwa czyszcząca poprawia adresy i zatrzymuje błędne rekordy, zanim nadpiszą poprawne.
  • Uzupełnianie danych działa jako zadania w kolejce, z limitami u dostawców i ponowieniami, więc awaria dostawcy ani gorsza noc nie zatrzymują systemu i nie rozbijają budżetu.
  • Alert uruchamia się, gdy źródło milknie albo jakość u dostawcy spada, a wolne strony naprawiam na poziomie zapytań do bazy. Dzięki temu platforma jest tak samo szybka jak osiem lat temu, choć danych jest wielokrotnie więcej.