goon/app/connectors/direct_scrapers/hqporner.py

"""HQPornerScraper, direct HTML scrape hqporner search page.

Search URL: `https://hqporner.com/?q=<query>&p=<page>`. Static HTML zwraca ~50
linków `/hdporn/<id>-<slug>.html` per strona. Tytuł deducimy ze slug'a (porn-app
data API zwraca dokładniejszy ale wymaga round-trip, dla MVP slug-derived OK,
resolver i tak je sciagnie z TPDB merge).

Search fuzzy: hqporner zwraca "Lola Noir" gdy szukamy "Noir" itp. Dlatego
filtrujemy wyniki po tym czy slug zawiera query (lub jego token), analogicznie
jak `fetch_scenes_for_search` w pornapp connectorze.
"""
from __future__ import annotations

import logging
import re
import urllib.parse
from collections.abc import Iterator

from app.connectors.base import RawPerformer, RawPlaybackSource, RawScene
from app.connectors.direct_scrapers._search_base import BaseSearchScraper
from app.connectors.direct_scrapers.base import BaseDirectTubeScraper
from app.extractors import browser_get

log = logging.getLogger(__name__)


_SCENE_HREF_RE = re.compile(r'/hdporn/(\d+)-([^"\.]+)\.html')


class HQPornerScraper(BaseDirectTubeScraper):
    sitetag = "hqpornercom"

    def search(
        self,
        query: str,
        *,
        page: int = 1,
        limit: int | None = None,
    ) -> Iterator[RawScene]:
        q = urllib.parse.quote_plus(query.strip())
        url = f"https://hqporner.com/?q={q}&p={page}"
        try:
            r = browser_get(url, timeout=30)
        except Exception as e:
            log.warning("hqporner search fetch failed: %s", e)
            return
        if r.status_code != 200:
            log.debug("hqporner search %s status=%d", url, r.status_code)
            return

        # Filtr: slug musi zawierać WSZYSTKIE słowa query (≥3 znaki), case-insensitive.
        # Wcześniej `any` (≥1 token) → przy 2-słownych nazwach match na jednym pospolitym
        # tokenie (np. "anna"/"mia") atrybutował scenę do KAŻDEGO performera dzielącego ten
        # token → sceny z setkami błędnych aktorek (do 503; hqporner = 5659/5897 takich scen,
        # bug-report 2026-06-07). `all` wymaga pełnego dopasowania nazwy → precyzja.
        # Pojedyncze nazwy ("Belladonna") nadal działają (jeden token musi być).
        query_tokens = {tok for tok in query.lower().split() if len(tok) >= 3}
        # Człon <3 znaki ("Lady Vi", "Mia Li", "Ai Uehara") wypada z `query_tokens`, więc
        # zostaje sam pospolity człon i `all` degeneruje się do „slug zawiera 'lady'",
        # czyli KAŻDA scena z tym słowem (audit 2026-07-28: Lady Vi miała 116 przypisań
        # z tube, z czego 115 tylko przez „lady", realnie o niej 1). Gdy nazwa ma taki
        # człon, wymagamy dodatkowo CAŁEJ nazwy sklejonej bez separatorów (slug
        # „lady-vi-…" → „ladyvi…"), co przywraca precyzję bez gubienia trafień.
        _compact = re.sub(r"[^a-z0-9]", "", query.lower())
        _needs_compact = any(len(tok) < 3 for tok in query.lower().split()) and len(_compact) >= 4

        seen_urls: set[str] = set()
        yielded = 0
        for m in _SCENE_HREF_RE.finditer(r.text):
            scene_id = m.group(1)
            slug_part = m.group(2)
            scene_url = f"https://hqporner.com/hdporn/{scene_id}-{slug_part}.html"
            if scene_url in seen_urls:
                continue
            seen_urls.add(scene_url)

            # Nazwa musi być w slugu SPÓJNĄ FRAZĄ, nie luźnymi tokenami. Wspólna
            # implementacja z `BaseSearchScraper`, żeby ta bramka nie rozjeżdżała się
            # między scraperami (tu była własna kopia i przez to własny zestaw dziur:
            # `all(tok in slug)` przepuszczał „tiffany" w „s-tiffany-love" i „time"
            # w „first-time" — zgłoszenie 2026-08-13, strona Tiffani Time).
            slug_lower = slug_part.lower()
            if query_tokens and not BaseSearchScraper._slug_matches_query(slug_lower, query):
                continue
            if _needs_compact and _compact not in re.sub(r"[^a-z0-9]", "", slug_lower):
                continue

            title = slug_part.replace("_", " ").replace("-", " ").strip()

            yield RawScene(
                external_id=f"hqpornercom:{scene_url}",
                title=title,
                url=scene_url,
                playback_sources=[
                    RawPlaybackSource(
                        origin="tube:hqpornercom",
                        page_url=scene_url,
                    )
                ],
                # Wymuszamy hint performera = query, search per performer name znaczy
                # że scena prawie na pewno o nim. Resolver dorobi ScenePerformer link.
                performers=[RawPerformer(name=query.strip())],
                raw={
                    "source": "direct_scraper:hqporner",
                    "query": query,
                    "page": page,
                    "scene_id": scene_id,
                    "url": scene_url,
                },
            )
            yielded += 1
            if limit is not None and yielded >= limit:
                return