perf: scoring de calidad en lote + fuentes YouTube/Reddit opcionales
Build & Deploy ResearchOwl / build-and-push (push) Successful in 6s
Build & Deploy ResearchOwl / build-and-push (push) Successful in 6s
#1 batch scoring (processor): - _score_quality_batch puntúa hasta 25 chunks por llamada a Claude en vez de una por chunk (una fuente de 19 chunks pasaba de 19 llamadas a 1) - parser robusto (último número por línea, padding neutro si faltan) - fallback por-chunk con Ollama si el batch falla #2 fuentes opcionales (config + scraper): - ENABLE_YOUTUBE / ENABLE_REDDIT, default False: la IP del homelab está bloqueada por Reddit (403) y YouTube (transcripts vacíos), eran peso muerto - se saltan también las URLs de yt/reddit descubiertas dentro de webs, sin gastar petición de red Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
co-authored by
Claude Opus 4.8
parent
972bd2f883
commit
2ffad8aad3
@@ -32,6 +32,11 @@ class Settings(BaseSettings):
|
||||
request_delay: float = Field(1.0, env="REQUEST_DELAY") # seconds between requests
|
||||
min_content_length: int = Field(200, env="MIN_CONTENT_LENGTH") # chars
|
||||
|
||||
# Fuentes opcionales — desactivadas por defecto: la IP del homelab está
|
||||
# bloqueada por Reddit (403) y YouTube (transcripts vacíos), eran peso muerto.
|
||||
enable_youtube: bool = Field(False, env="ENABLE_YOUTUBE")
|
||||
enable_reddit: bool = Field(False, env="ENABLE_REDDIT")
|
||||
|
||||
# Processing
|
||||
chunk_size: int = Field(800, env="CHUNK_SIZE") # tokens per chunk
|
||||
chunk_overlap: int = Field(100, env="CHUNK_OVERLAP")
|
||||
|
||||
Reference in New Issue
Block a user