37f8eb1762
Some checks are pending
Backend tests / test (push) Waiting to run
Mangoporn, streamporn.li i pandamovies przeszly w pazdzierniku na nowy motyw: obsada tylko w JSON-LD, studio, rok i gatunki w chipach bez rel="tag" (czasem bez koncowego ukosnika). Parser po cichu przestal czytac obsade i studio, a mangoporn dostawal jedynie tag "Porn Movies". Pandamovies dziala znowu pod pandamovies.org, wiec wraca do ingestu. Skrypty: pelne zaciagniecie zrodla po przerwie i uzupelnienie metadanych filmow z pazdziernika. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
20 lines
912 B
Python
20 lines
912 B
Python
"""Pelne zaciagniecie filmow z jednego zrodla (bez delty), np. po przerwie w ingescie.
|
|
|
|
Codzienny _job_movie_ingest idzie w trybie przyrostowym (dooplay: 3 strony listy), wiec
|
|
po kilku tygodniach przestoju zrodla zaleglosci same sie nie nadrobia. Pelny tryb dooplay
|
|
czyta do 50 stron. Uzycie (z pliku, w osobnym kontenerze):
|
|
docker compose run -d --name X worker python3 /srv/scripts/ingest_movies_backfill.py pandamovies [limit]
|
|
"""
|
|
import logging
|
|
import sys
|
|
|
|
from app.connectors import get_movie_connectors
|
|
from app.ingest import ingest_movies_from_connector
|
|
|
|
logging.basicConfig(level=logging.INFO)
|
|
name = sys.argv[1]
|
|
limit = int(sys.argv[2]) if len(sys.argv) > 2 else None
|
|
connectors = dict(get_movie_connectors())
|
|
if name not in connectors:
|
|
sys.exit(f"nie ma konektora filmow {name!r}, sa: {sorted(connectors)}")
|
|
print(ingest_movies_from_connector(connectors[name](), limit=limit, use_delta=False))
|