Pierwszy backfill po niszach przy ~3 zapytaniach/s po ~65 zapytaniach wpadl w trwale 429 (cialo: delay 1167 s, subject per IP i endpoint) i przemielil 40 kolejnych nisz w bledach. Teraz: 1/s, odstep z Retry-After albo error.delay, powyzej 5 min RateLimited i koniec przebiegu (wznowienie --skip). |
||
|---|---|---|
| .. | ||
| clips | ||
| direct_scrapers | ||
| __init__.py | ||
| base.py | ||
| dooplay.py | ||
| freeomovie.py | ||
| paradisehill.py | ||
| stashdb.py | ||
| tpdb.py | ||
| yourdailypornmovies.py | ||