feat(scraper): F1 — lista de motores SearXNG ampliada y configurable
Build & Deploy ResearchOwl / build-and-push (push) Successful in 7s
Build & Deploy ResearchOwl / build-and-push (push) Successful in 7s
_search_searxng hardcodeaba engines=duckduckgo,google,bing,brave, lo que ignoraba cualquier motor extra de la instancia (y dejaba la búsqueda coja cuando brave cae en rate limit y DDG en CAPTCHA, ambos observados en vivo). Ahora la lista vive en settings.searxng_engines (env SEARXNG_ENGINES, tunable por GitOps sin rebuild). Default ampliado con motores verificados contra la instancia el 2026-07-03: +startpage +mojeek +presearch +google news +bing news +internet archive scholar. Medido con queries reales: ~2x resultados y ~2x dominios únicos por ~+2s/query. Excluidos qwant (denied), yahoo (roto), wikidata (0 en texto) y wayback machine (duplicados). Sin cambios en k8s-manifests: use_default_settings:true ya trae todos estos motores configurados. El fallback a DDG queda intacto. Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
This commit is contained in:
co-authored by
Claude Fable 5
parent
228ea5c601
commit
200de018e4
@@ -229,7 +229,7 @@ class ExhaustiveScraper:
|
||||
params = {
|
||||
"q": query,
|
||||
"format": "json",
|
||||
"engines": "duckduckgo,google,bing,brave",
|
||||
"engines": settings.searxng_engines,
|
||||
"language": "all",
|
||||
}
|
||||
headers = {
|
||||
|
||||
Reference in New Issue
Block a user