fix(scraper): F3 — el cap del RSS aplica a entries añadidas, no escaneadas
Build & Deploy ResearchOwl / build-and-push (push) Successful in 7s
Build & Deploy ResearchOwl / build-and-push (push) Successful in 7s
entries[:20] antes del filtro de relevancia perdía las entries relevantes que no caen entre las 20 más recientes del feed (verificado con thedebrief.org: 0 relevantes en las primeras 20, 3 en las 100 totales). Ahora se escanean todas y el cap corta al añadir 20. Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
This commit is contained in:
co-authored by
Claude Fable 5
parent
f210b34e5f
commit
0ce9933aaa
@@ -693,7 +693,12 @@ class ExhaustiveScraper:
|
|||||||
entries = parsed.entries or []
|
entries = parsed.entries or []
|
||||||
added = 0
|
added = 0
|
||||||
if depth < settings.max_depth:
|
if depth < settings.max_depth:
|
||||||
for e in entries[:20]: # cap, como los 30 links/página de web
|
# Se escanean TODAS las entries y el cap aplica a las añadidas:
|
||||||
|
# capar antes de filtrar perdía las relevantes que no caen entre
|
||||||
|
# las 20 más recientes (verificado con thedebrief: 0/20 vs 3/100).
|
||||||
|
for e in entries:
|
||||||
|
if added >= 20: # cap, como los 30 links/página de web
|
||||||
|
break
|
||||||
link = normalize_url(getattr(e, "link", "") or "")
|
link = normalize_url(getattr(e, "link", "") or "")
|
||||||
title = getattr(e, "title", "") or ""
|
title = getattr(e, "title", "") or ""
|
||||||
if (not link.startswith("http") or is_blacklisted(link)
|
if (not link.startswith("http") or is_blacklisted(link)
|
||||||
|
|||||||
Reference in New Issue
Block a user