fix(scraper): F3 — el cap del RSS aplica a entries añadidas, no escaneadas
Build & Deploy ResearchOwl / build-and-push (push) Successful in 7s

entries[:20] antes del filtro de relevancia perdía las entries
relevantes que no caen entre las 20 más recientes del feed (verificado
con thedebrief.org: 0 relevantes en las primeras 20, 3 en las 100
totales). Ahora se escanean todas y el cap corta al añadir 20.

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
This commit is contained in:
ChemaVX
2026-07-03 15:46:09 +00:00
co-authored by Claude Fable 5
parent f210b34e5f
commit 0ce9933aaa
+6 -1
View File
@@ -693,7 +693,12 @@ class ExhaustiveScraper:
entries = parsed.entries or [] entries = parsed.entries or []
added = 0 added = 0
if depth < settings.max_depth: if depth < settings.max_depth:
for e in entries[:20]: # cap, como los 30 links/página de web # Se escanean TODAS las entries y el cap aplica a las añadidas:
# capar antes de filtrar perdía las relevantes que no caen entre
# las 20 más recientes (verificado con thedebrief: 0/20 vs 3/100).
for e in entries:
if added >= 20: # cap, como los 30 links/página de web
break
link = normalize_url(getattr(e, "link", "") or "") link = normalize_url(getattr(e, "link", "") or "")
title = getattr(e, "title", "") or "" title = getattr(e, "title", "") or ""
if (not link.startswith("http") or is_blacklisted(link) if (not link.startswith("http") or is_blacklisted(link)