4 Commits

Include renames

Author	SHA1	Message	Date
ChemaVXandClaude Fable 5	fbe8ae1885	fix(scraper): _unwrap_news_link normaliza //url y descarta apiclick sin URL usable ... Un ?url= protocol-relative (//publisher.com/...) caía por el startswith('http') y devolvía el link apiclick.aspx crudo, que pasaba blacklist y relevancia y acababa raspado como página de redirect/consent de Bing. Ahora se antepone https: a los protocol-relative y, si no se puede extraer URL válida de un apiclick, se devuelve '' para que el caller lo salte. Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>	2026-07-05 15:58:40 +00:00
ChemaVXandClaude Fable 5	a23810b9cc	feat(scraper): seed de noticias Bing News RSS tras ENABLE_NEWS_SEED (off) ... Nuevo _seed_news: registra el feed de Bing News como fuente rss y _extract_rss (F3) siembra sus entries — sin lógica de parseo duplicada. _unwrap_news_link extrae la URL real del publisher del ?url= de apiclick.aspx. Bing y no Google News como pedía el plan: verificado en vivo que los links de news.google.com/rss/articles/ acaban en muro de consent (UE) y el id AU_yqL solo se resuelve vía batchexecute interno — habría sembrado URLs muertas. Los de Bing llevan la URL real en texto plano. Flag off por defecto: se activará deliberadamente vía deployment. Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>	2026-07-04 10:59:00 +00:00
ChemaVXandClaude Fable 5	f210b34e5f	feat(scraper): F3 — extractor RSS + detección de feeds con word-boundary ... detect_source_type ya clasificaba 'rss' pero no había rama en _process_source: los feeds caían a _extract_web y trafilatura no saca nada del XML (se descartaban por cortos). Ahora _extract_rss parsea el feed (feedparser en hilo, como el monitor de noticias) y siembra sus entries como fuentes nuevas: filtro de relevancia por título/URL, blacklist, dedupe, cap de 20 y respeto de max_depth. El feed en sí se marca skipped — es puro descubrimiento, no tiene contenido que trocear. De paso, la detección pasa de substring puro (clasificaba /feedback y /atomic como rss) a RSS_RE con límites de palabra. Tests de ambos. Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>	2026-07-03 15:43:50 +00:00
ChemaVX	ba08536337	feat: initial ResearchOwl	2026-04-27 13:49:07 +00:00