276fb4c24d
`_pairs_exact_phash` laczylo scene_fingerprints po wartosci BEZ zadnego ograniczenia. Do tej pory uchodzilo, bo zdegenerowanych wartosci bylo malo i blacklista je kasowala. Zmienia to backfill: dokladamy ~240 tys. odciskow z xvideos/xnxx/epornera, a te serwuja zaslepki przy usunietych filmach. Dwa problemy naraz: 1. Blacklista odswieza sie RAZ NA DOBE, wiec swiezo powstala zaslepka ma pelna dobe okna na wpuszczenie do potoku tysiecy niepowiazanych scen. 2. Samozlaczenie jest KWADRATOWE po liczbie scen dzielacych wartosc: zaslepka przy 5 tys. scen to 12,5 mln par i job pada na pamieci, zanim cokolwiek zdazy ja zablacklistowac. Teraz zapytanie samo odsiewa wartosci dzielone przez >=10 scen (ten sam prog co phash_blacklist) ORAZ te juz zablacklistowane, wiec dziala natychmiast, nie po dobie. NIE jest to atrapa: 4% w backfill jedna taka wartosc juz istnieje (12 scen) i blacklista jej jeszcze nie widziala. Po zmianie samozlaczenie daje 23 555 par w 8,3 s. |
||
|---|---|---|
| .. | ||
| api | ||
| connectors | ||
| enrich | ||
| extractors | ||
| models | ||
| normalize | ||
| resolve | ||
| scheduler | ||
| templates | ||
| __init__.py | ||
| auth.py | ||
| config.py | ||
| db.py | ||
| ingest.py | ||
| main.py | ||
| verticals.py | ||