b64ddfd742
Strona filmu hqporner nie ma wlasnej okladki, a pierwszy _main.jpg na niej to kafelek polecanego filmu. Scraper go bral, wiec ~90% zrodel dostalo cudze miniatury (62 tys. zrodel, 5,4 tys. roznych miniatur). Okladka jest tylko w kafelku listingu (cover_<id>): browse zbiera je z listingu, wyszukiwarka z wynikow wyszukiwania. scripts/hqporner_fix_thumbs.py poprawia zapisane miniatury przechodzac listing. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
116 lines
5.1 KiB
Python
116 lines
5.1 KiB
Python
"""HQPornerScraper, direct HTML scrape hqporner search page.
|
|
|
|
Search URL: `https://hqporner.com/?q=<query>&p=<page>`. Static HTML zwraca ~50
|
|
linków `/hdporn/<id>-<slug>.html` per strona. Tytuł deducimy ze slug'a (porn-app
|
|
data API zwraca dokładniejszy ale wymaga round-trip, dla MVP slug-derived OK,
|
|
resolver i tak je sciagnie z TPDB merge).
|
|
|
|
Search fuzzy: hqporner zwraca "Lola Noir" gdy szukamy "Noir" itp. Dlatego
|
|
filtrujemy wyniki po tym czy slug zawiera query (lub jego token), analogicznie
|
|
jak `fetch_scenes_for_search` w pornapp connectorze.
|
|
"""
|
|
from __future__ import annotations
|
|
|
|
import logging
|
|
import re
|
|
import urllib.parse
|
|
from collections.abc import Iterator
|
|
|
|
from app.connectors.base import RawPerformer, RawPlaybackSource, RawScene
|
|
from app.connectors.direct_scrapers._search_base import BaseSearchScraper
|
|
from app.connectors.direct_scrapers.base import BaseDirectTubeScraper
|
|
from app.connectors.direct_scrapers.hqporner_browse import listing_covers
|
|
from app.extractors import browser_get
|
|
|
|
log = logging.getLogger(__name__)
|
|
|
|
|
|
_SCENE_HREF_RE = re.compile(r'/hdporn/(\d+)-([^"\.]+)\.html')
|
|
|
|
|
|
class HQPornerScraper(BaseDirectTubeScraper):
|
|
sitetag = "hqpornercom"
|
|
|
|
def search(
|
|
self,
|
|
query: str,
|
|
*,
|
|
page: int = 1,
|
|
limit: int | None = None,
|
|
) -> Iterator[RawScene]:
|
|
q = urllib.parse.quote_plus(query.strip())
|
|
url = f"https://hqporner.com/?q={q}&p={page}"
|
|
try:
|
|
r = browser_get(url, timeout=30)
|
|
except Exception as e:
|
|
log.warning("hqporner search fetch failed: %s", e)
|
|
return
|
|
if r.status_code != 200:
|
|
log.debug("hqporner search %s status=%d", url, r.status_code)
|
|
return
|
|
|
|
# Filtr: slug musi zawierać WSZYSTKIE słowa query (≥3 znaki), case-insensitive.
|
|
# Wcześniej `any` (≥1 token) → przy 2-słownych nazwach match na jednym pospolitym
|
|
# tokenie (np. "anna"/"mia") atrybutował scenę do KAŻDEGO performera dzielącego ten
|
|
# token → sceny z setkami błędnych aktorek (do 503; hqporner = 5659/5897 takich scen,
|
|
# bug-report 2026-06-07). `all` wymaga pełnego dopasowania nazwy → precyzja.
|
|
# Pojedyncze nazwy ("Belladonna") nadal działają (jeden token musi być).
|
|
query_tokens = {tok for tok in query.lower().split() if len(tok) >= 3}
|
|
# Człon <3 znaki ("Lady Vi", "Mia Li", "Ai Uehara") wypada z `query_tokens`, więc
|
|
# zostaje sam pospolity człon i `all` degeneruje się do „slug zawiera 'lady'",
|
|
# czyli KAŻDA scena z tym słowem (audit 2026-07-28: Lady Vi miała 116 przypisań
|
|
# z tube, z czego 115 tylko przez „lady", realnie o niej 1). Gdy nazwa ma taki
|
|
# człon, wymagamy dodatkowo CAŁEJ nazwy sklejonej bez separatorów (slug
|
|
# „lady-vi-…" → „ladyvi…"), co przywraca precyzję bez gubienia trafień.
|
|
_compact = re.sub(r"[^a-z0-9]", "", query.lower())
|
|
_needs_compact = any(len(tok) < 3 for tok in query.lower().split()) and len(_compact) >= 4
|
|
|
|
seen_urls: set[str] = set()
|
|
yielded = 0
|
|
covers = listing_covers(r.text)
|
|
for m in _SCENE_HREF_RE.finditer(r.text):
|
|
scene_id = m.group(1)
|
|
slug_part = m.group(2)
|
|
scene_url = f"https://hqporner.com/hdporn/{scene_id}-{slug_part}.html"
|
|
if scene_url in seen_urls:
|
|
continue
|
|
seen_urls.add(scene_url)
|
|
|
|
# Nazwa musi być w slugu SPÓJNĄ FRAZĄ, nie luźnymi tokenami. Wspólna
|
|
# implementacja z `BaseSearchScraper`, żeby ta bramka nie rozjeżdżała się
|
|
# między scraperami (tu była własna kopia i przez to własny zestaw dziur:
|
|
# `all(tok in slug)` przepuszczał „tiffany" w „s-tiffany-love" i „time"
|
|
# w „first-time" — zgłoszenie 2026-08-13, strona Tiffani Time).
|
|
slug_lower = slug_part.lower()
|
|
if query_tokens and not BaseSearchScraper._slug_matches_query(slug_lower, query):
|
|
continue
|
|
if _needs_compact and _compact not in re.sub(r"[^a-z0-9]", "", slug_lower):
|
|
continue
|
|
|
|
title = slug_part.replace("_", " ").replace("-", " ").strip()
|
|
|
|
yield RawScene(
|
|
external_id=f"hqpornercom:{scene_url}",
|
|
title=title,
|
|
url=scene_url,
|
|
playback_sources=[
|
|
RawPlaybackSource(
|
|
origin="tube:hqpornercom",
|
|
page_url=scene_url,
|
|
thumbnail_url=covers.get(scene_id),
|
|
)
|
|
],
|
|
# Wymuszamy hint performera = query, search per performer name znaczy
|
|
# że scena prawie na pewno o nim. Resolver dorobi ScenePerformer link.
|
|
performers=[RawPerformer(name=query.strip())],
|
|
raw={
|
|
"source": "direct_scraper:hqporner",
|
|
"query": query,
|
|
"page": page,
|
|
"scene_id": scene_id,
|
|
"url": scene_url,
|
|
},
|
|
)
|
|
yielded += 1
|
|
if limit is not None and yielded >= limit:
|
|
return
|