"""Pelne zaciagniecie filmow z jednego zrodla (bez delty), np. po przerwie w ingescie. Codzienny _job_movie_ingest idzie w trybie przyrostowym (dooplay: 3 strony listy), wiec po kilku tygodniach przestoju zrodla zaleglosci same sie nie nadrobia. Pelny tryb dooplay czyta do 50 stron. Uzycie (z pliku, w osobnym kontenerze): docker compose run -d --name X worker python3 /srv/scripts/ingest_movies_backfill.py pandamovies [limit] """ import logging import sys from app.connectors import get_movie_connectors from app.ingest import ingest_movies_from_connector logging.basicConfig(level=logging.INFO) name = sys.argv[1] limit = int(sys.argv[2]) if len(sys.argv) > 2 else None connectors = dict(get_movie_connectors()) if name not in connectors: sys.exit(f"nie ma konektora filmow {name!r}, sa: {sorted(connectors)}") print(ingest_movies_from_connector(connectors[name](), limit=limit, use_delta=False))