fix(scraper): F3 — el cap del RSS aplica a entries añadidas, no escaneadas
Build & Deploy ResearchOwl / build-and-push (push) Successful in 7s
Build & Deploy ResearchOwl / build-and-push (push) Successful in 7s
entries[:20] antes del filtro de relevancia perdía las entries relevantes que no caen entre las 20 más recientes del feed (verificado con thedebrief.org: 0 relevantes en las primeras 20, 3 en las 100 totales). Ahora se escanean todas y el cap corta al añadir 20. Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
This commit is contained in:
co-authored by
Claude Fable 5
parent
f210b34e5f
commit
0ce9933aaa
@@ -693,7 +693,12 @@ class ExhaustiveScraper:
|
||||
entries = parsed.entries or []
|
||||
added = 0
|
||||
if depth < settings.max_depth:
|
||||
for e in entries[:20]: # cap, como los 30 links/página de web
|
||||
# Se escanean TODAS las entries y el cap aplica a las añadidas:
|
||||
# capar antes de filtrar perdía las relevantes que no caen entre
|
||||
# las 20 más recientes (verificado con thedebrief: 0/20 vs 3/100).
|
||||
for e in entries:
|
||||
if added >= 20: # cap, como los 30 links/página de web
|
||||
break
|
||||
link = normalize_url(getattr(e, "link", "") or "")
|
||||
title = getattr(e, "title", "") or ""
|
||||
if (not link.startswith("http") or is_blacklisted(link)
|
||||
|
||||
Reference in New Issue
Block a user