05c0f6ef93
Bug-report 2026-05-30 "ingest znów się zawiesił". streamporn/pandamovies wieszały się intermittentnie mid-run (zależnie od live-contentu danego dnia), blokując sekwencyjny _job_movie_ingest → mangoporn (jedyny mirror z realnym new-content: 72 nowych 05-28) nigdy nie startował. try/except chronił przed wyjątkiem, NIE przed hangiem. Fix: - _job_movie_ingest: każdy connector w ThreadPoolExecutor z future.result (timeout=360s). Hang jednego źródła → log + shutdown(wait=False) + kolejka leci dalej. Healthy run ~50s, cap 6min = zapas. - get_movie_connectors: reorder paradisehill, MANGOPORN, streamporn, pandamovies — mangoporn zaraz po canonical primary, przed wolniejszymi/wieszającymi się. Zweryfikowane: pełny _job_movie_ingest przeszedł wszystkie 4 success w nowej kolejności (mangoporn 2nd, 23s). 33 osierocone "running" rows (worker ubity mid-run przy deployach) wyczyszczone osobno. Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
54 lines
2.4 KiB
Python
54 lines
2.4 KiB
Python
"""Connector registry helpers.
|
|
|
|
Lazy factories — importy connectorów wykonują się dopiero w `get_movie_connectors()`
|
|
żeby uniknąć circular imports (modeles/db). Każdy entry: `(name, class)` w porządku
|
|
ingestu (primary FIRST, mirrory potem — `resolve_movie` wtedy ma do czego dokleić
|
|
mirror playback sources).
|
|
|
|
## Jak dodać nowe movie site
|
|
|
|
1. Napisz subclass `DooplayConnector` w `app/connectors/dooplay.py` (jeśli site używa
|
|
dooplay/PsyPlay WP theme) — wystarczy `name` + `base_url`. Jeśli inny theme,
|
|
napisz osobny connector implementujący `BaseMovieConnector.fetch_movies()`.
|
|
2. Dodaj entry do `_MOVIE_CONNECTORS` poniżej.
|
|
3. Backend job `_job_movie_ingest` w `app/scheduler/jobs.py` automatycznie weźmie
|
|
nowy connector przy następnym tick (24h domyślnie).
|
|
4. Do ad-hoc backfillu: `python -m app.scheduler.worker --once --strategy=movies
|
|
--performers=<nowa_nazwa>`.
|
|
|
|
## Czemu paradisehill first
|
|
|
|
Paradisehill jest jedynym sourcem z chapter markerami i pełnym metadata (director,
|
|
rating, country) → idealnie kanoniczny. Dooplay mirrory rzadko mają chaptery i
|
|
release_year zwykle pusty. Resolver `resolve_movie` po title-similarity matchuje
|
|
mirror → primary paradisehill, dodając tylko playback sources (mangoporn:luluvid,
|
|
:voe, …) które rozpakowują się na bezpośredni stream URL przez
|
|
`extract_stream_from_hoster`.
|
|
"""
|
|
from __future__ import annotations
|
|
|
|
|
|
def get_movie_connectors() -> list[tuple[str, type]]:
|
|
"""Zwraca listę (name, ConnectorCls) tuples w kolejności ingestu.
|
|
|
|
Lazy import — uniknięcie circular import bo connectory zaczepiają db/models.
|
|
"""
|
|
from app.connectors.dooplay import (
|
|
MangopornConnector,
|
|
PandamoviesConnector,
|
|
StreampornConnector,
|
|
)
|
|
from app.connectors.paradisehill import ParadisehillConnector
|
|
|
|
# Kolejność ingestu: paradisehill FIRST (canonical primary, mirrory się do
|
|
# niego przyklejają), potem mangoporn (jedyny mirror z realnym new-content —
|
|
# 72 nowych 2026-05-28; streamporn/pandamovies zwracają stale 0 new), na końcu
|
|
# streamporn + pandamovies. Powód reorderu (2026-05-30): gdy streamporn wiesza
|
|
# się intermittentnie, mangoporn musi zdążyć przed nim — patrz per-connector
|
|
# timeout w _job_movie_ingest.
|
|
return [
|
|
("paradisehill", ParadisehillConnector),
|
|
("mangoporn", MangopornConnector),
|
|
("streamporn", StreampornConnector),
|
|
("pandamovies", PandamoviesConnector),
|
|
]
|