goon/app/models/scene.py
goon-foss 0fed952c5c feat(filtr): minimalna jakosc w filtrze scen (720p/1080p/4K)
Prosba uzytkownika (zgloszenie 17376139). Backend mial juz parametr `min_quality_p`,
ale w praktyce byl NIEUZYWALNY i to zajelo wiekszosc pracy.

Wydajnosc, mierzona na produkcji przez EXPLAIN ANALYZE, prog 1080p:

  EXISTS na playback_sources (stan zastany)   32 s   3 556 612 odwiedzonych scen
  + indeks funkcyjny per-scena                24 s
  JOIN z DISTINCT po jakosci                   1,1 s W IZOLACJI
  ten sam JOIN + reszta filtrow feedu         52 s   planer wraca do skanu po dacie
  kolumna scenes.max_quality_p (0029)          2,0-2,6 s
  + indeksy czesciowe pod progi (0030)         0,09-0,11 s

Wniosek, ktory kosztowal najwiecej: ksztaltem zapytania sie tego NIE dalo zalatwic.
Koszt to LICZBA odwiedzonych scen, nie pojedynczy test, a przy `ORDER BY created_at
DESC LIMIT 24` planer i tak wracal do przechodzenia scen po dacie, gdy tylko doszly
pozostale filtry (bramka wertykalow, heurystyka szkieletow, prog dlugosci). Stad
denormalizacja + indeksy czesciowe z predykatem progu, ktore daja gotowe sortowanie.

Semantyka SUROWA, swiadomie: `quality` zapisujemy oportunistycznie, zna ja 6,5% scen
(210 302 z 3 236 368), najlepsze zrodlo ma 26% pokrycia. Wariant lagodny, przepuszczajacy
sceny o nieznanej jakosci, odrzucony po zmierzeniu: odsiewalby 88 647 z 3,2 mln, czyli
nie realizowalby intencji "nie chce ogladac ziemniaka". Filtr pokazuje wiec tylko jakosc
POTWIERDZONA, a UI mowi to wprost podpisem pod przelacznikiem, bo inaczej gwaltowny
spadek liczby wynikow wyglada na zepsuta aplikacje.

Warianty tekstowe 4K/UHD usuniete z warunku: 0 wystapien na 238 452 zywe zrodla,
a `OR ilike` blokowal uzycie indeksu.

Odswiezanie w taxonomy_counts (co 3h), z czyszczeniem do NULL gdy scena traci zrodlo
z jakoscia. Backfill: 210 302 sceny w 2m56s.

Zweryfikowane na emulatorze: sekcja MIN QUALITY renderuje sie z podpisem ostrzegawczym.
Lista wyszla pusta, ale to build debugowy dostajacy 403 (podpis debug spoza allowlisty),
nie blad filtra: ten sam URL z poprawnym podpisem oddaje 50 wynikow w 0,12 s.

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
2026-08-18 11:06:34 +02:00

136 lines
5.6 KiB
Python

import enum
import uuid
from datetime import date, datetime
from sqlalchemy import (
Boolean,
Date,
DateTime,
Enum,
Float,
ForeignKey,
Integer,
SmallInteger,
String,
Text,
UniqueConstraint,
func,
)
from sqlalchemy.dialects.postgresql import UUID
from sqlalchemy.orm import Mapped, mapped_column
from app.models.base import Base, TimestampMixin, UUIDPKMixin
class FingerprintKind(str, enum.Enum):
phash = "phash"
oshash = "oshash"
md5 = "md5"
class Scene(UUIDPKMixin, TimestampMixin, Base):
__tablename__ = "scenes"
title: Mapped[str] = mapped_column(String, nullable=False)
title_normalized: Mapped[str] = mapped_column(String, nullable=False, index=True)
slug: Mapped[str | None] = mapped_column(String, index=True)
release_date: Mapped[date | None] = mapped_column(Date, index=True)
studio_id: Mapped[uuid.UUID | None] = mapped_column(
UUID(as_uuid=True), ForeignKey("studios.id", ondelete="SET NULL"), index=True
)
duration_sec: Mapped[int | None] = mapped_column(Integer)
description: Mapped[str | None] = mapped_column(Text)
code: Mapped[str | None] = mapped_column(String(128), index=True)
director: Mapped[str | None] = mapped_column(String(256))
# True = scena wpadła masowym backfillem katalogu (deep-crawl, głębokie strony), NIE
# świeży ingest. Tube podają datę importu jako release_date, więc stary backfill
# udaje "nowość" (licznik +N w ulubionych). Ten flag pozwala go wykluczyć z "nowych"
# bez chowania sceny. Ustawiany przy TWORZENIU (deep_crawl page > próg); świeży
# latest-crawl + delta TPDB/StashDB → False. Patrz app/scheduler/deep_crawl.py.
backfill: Mapped[bool] = mapped_column(
Boolean, nullable=False, server_default="false", index=True
)
# Najwyzsza ZNANA jakosc sposrod zywych zrodel sceny (720, 1080, 2160...).
# NULL = zadne zywe zrodlo nie podalo jakosci, czyli 93,5% katalogu; filtr jakosci
# takie sceny odsiewa. Odswiezane w `app/scheduler/taxonomy_counts.py`.
# Denormalizacja jest tu KONIECZNA, nie wygodna: uzasadnienie i pomiary w migracji
# 0029_scenes_max_quality.
max_quality_p: Mapped[int | None] = mapped_column(SmallInteger)
class SceneExternalRef(Base):
__tablename__ = "scene_external_refs"
source_id: Mapped[uuid.UUID] = mapped_column(
UUID(as_uuid=True), ForeignKey("sources.id", ondelete="CASCADE"), primary_key=True
)
external_id: Mapped[str] = mapped_column(String, primary_key=True)
scene_id: Mapped[uuid.UUID] = mapped_column(
UUID(as_uuid=True), ForeignKey("scenes.id", ondelete="CASCADE"), nullable=False, index=True
)
confidence: Mapped[float] = mapped_column(Float, nullable=False, default=1.0, server_default="1.0")
url: Mapped[str | None] = mapped_column(String(1024))
first_seen: Mapped[datetime] = mapped_column(
DateTime(timezone=True), server_default=func.now(), nullable=False
)
last_seen: Mapped[datetime] = mapped_column(
DateTime(timezone=True), server_default=func.now(), nullable=False
)
class SceneFingerprint(Base):
"""Fingerprinty zaciągnięte ze źródeł (TPDB/StashDB), nie liczone lokalnie."""
__tablename__ = "scene_fingerprints"
__table_args__ = (UniqueConstraint("scene_id", "kind", "value"),)
id: Mapped[uuid.UUID] = mapped_column(
UUID(as_uuid=True), primary_key=True, server_default=func.gen_random_uuid()
)
scene_id: Mapped[uuid.UUID] = mapped_column(
UUID(as_uuid=True), ForeignKey("scenes.id", ondelete="CASCADE"), nullable=False, index=True
)
kind: Mapped[FingerprintKind] = mapped_column(Enum(FingerprintKind, name="fingerprint_kind"))
value: Mapped[str] = mapped_column(String(128), nullable=False, index=True)
source_id: Mapped[uuid.UUID | None] = mapped_column(
UUID(as_uuid=True), ForeignKey("sources.id", ondelete="SET NULL")
)
class ScenePerformer(Base):
__tablename__ = "scene_performers"
scene_id: Mapped[uuid.UUID] = mapped_column(
UUID(as_uuid=True), ForeignKey("scenes.id", ondelete="CASCADE"), primary_key=True
)
performer_id: Mapped[uuid.UUID] = mapped_column(
UUID(as_uuid=True), ForeignKey("performers.id", ondelete="CASCADE"), primary_key=True
)
role: Mapped[str | None] = mapped_column(String(64))
position: Mapped[int | None] = mapped_column(Integer)
as_alias: Mapped[str | None] = mapped_column(String(256))
#: Skąd wzięło się TO przypisanie. Bez tego nie da się odróżnić obsady z kanonu od
#: performera doklejonego przez luźny tube-search (ten dopasowuje wynik po JEDNYM
#: tokenie zapytania, więc „Rapture" łapała każdą scenę ze słowem „rapture",
#: 30 z 72 jej scen było fałszywych i trzeba je było przeglądać ręcznie).
#: Trzymamy NAJBARDZIEJ wiarygodne źródło, jakie przypisało: kanoniczne
#: (tpdb/stashdb) nadpisuje scraperowe, nigdy odwrotnie. NULL = wiersz sprzed
#: migracji 0026, źródła nie da się odtworzyć wstecz.
source_id: Mapped[uuid.UUID | None] = mapped_column(
UUID(as_uuid=True), ForeignKey("sources.id", ondelete="SET NULL"), index=True
)
class SceneTag(Base):
__tablename__ = "scene_tags"
scene_id: Mapped[uuid.UUID] = mapped_column(
UUID(as_uuid=True), ForeignKey("scenes.id", ondelete="CASCADE"), primary_key=True
)
tag_id: Mapped[uuid.UUID] = mapped_column(
UUID(as_uuid=True), ForeignKey("tags.id", ondelete="CASCADE"), primary_key=True
)
source_id: Mapped[uuid.UUID | None] = mapped_column(
UUID(as_uuid=True), ForeignKey("sources.id", ondelete="SET NULL")
)