feat(scraper): seed de noticias Bing News RSS tras ENABLE_NEWS_SEED (off)
Build & Deploy ResearchOwl / build-and-push (push) Successful in 7s
Build & Deploy ResearchOwl / build-and-push (push) Successful in 7s
Nuevo _seed_news: registra el feed de Bing News como fuente rss y _extract_rss (F3) siembra sus entries — sin lógica de parseo duplicada. _unwrap_news_link extrae la URL real del publisher del ?url= de apiclick.aspx. Bing y no Google News como pedía el plan: verificado en vivo que los links de news.google.com/rss/articles/ acaban en muro de consent (UE) y el id AU_yqL solo se resuelve vía batchexecute interno — habría sembrado URLs muertas. Los de Bing llevan la URL real en texto plano. Flag off por defecto: se activará deliberadamente vía deployment. Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
This commit is contained in:
co-authored by
Claude Fable 5
parent
8dfd0116b2
commit
a23810b9cc
@@ -45,6 +45,8 @@ class Settings(BaseSettings):
|
||||
# bloqueada por Reddit (403) y YouTube (transcripts vacíos), eran peso muerto.
|
||||
enable_youtube: bool = Field(False)
|
||||
enable_reddit: bool = Field(False)
|
||||
# Bing News RSS como semilla de actualidad — off hasta activarlo a propósito
|
||||
enable_news_seed: bool = Field(False)
|
||||
|
||||
# Processing
|
||||
chunk_size: int = Field(800) # tokens per chunk
|
||||
|
||||
Reference in New Issue
Block a user