276fb4c24d
`_pairs_exact_phash` laczylo scene_fingerprints po wartosci BEZ zadnego ograniczenia. Do tej pory uchodzilo, bo zdegenerowanych wartosci bylo malo i blacklista je kasowala. Zmienia to backfill: dokladamy ~240 tys. odciskow z xvideos/xnxx/epornera, a te serwuja zaslepki przy usunietych filmach. Dwa problemy naraz: 1. Blacklista odswieza sie RAZ NA DOBE, wiec swiezo powstala zaslepka ma pelna dobe okna na wpuszczenie do potoku tysiecy niepowiazanych scen. 2. Samozlaczenie jest KWADRATOWE po liczbie scen dzielacych wartosc: zaslepka przy 5 tys. scen to 12,5 mln par i job pada na pamieci, zanim cokolwiek zdazy ja zablacklistowac. Teraz zapytanie samo odsiewa wartosci dzielone przez >=10 scen (ten sam prog co phash_blacklist) ORAZ te juz zablacklistowane, wiec dziala natychmiast, nie po dobie. NIE jest to atrapa: 4% w backfill jedna taka wartosc juz istnieje (12 scen) i blacklista jej jeszcze nie widziala. Po zmianie samozlaczenie daje 23 555 par w 8,3 s. |
||
|---|---|---|
| .. | ||
| __init__.py | ||
| browse_latest.py | ||
| bulk_dedup.py | ||
| deep_crawl.py | ||
| hetzner_monitor.py | ||
| ingest_watchdog.py | ||
| jobs.py | ||
| junk_performers.py | ||
| performer_driven.py | ||
| phash_backfill.py | ||
| phash_blacklist.py | ||
| source_stats.py | ||
| taxonomy_counts.py | ||
| thumb_dedup.py | ||
| title_duration_dedup.py | ||
| worker.py | ||