fix(scraper): instala Brotli — se perdían fuentes br en silencio
Build & Deploy ResearchOwl / build-and-push (push) Successful in 55s

HEADERS anuncia 'Accept-Encoding: gzip, deflate, br' pero aiohttp no
tenía backend brotli: cualquier web que respondiera br fallaba con
'Can not decode content-encoding: brotli' tras 3 reintentos (vistos
washingtontimes, defensescoop, disclosure.org en sesión de prueba).
Verificado local: con Brotli==1.1.0 ambos decodifican (200, encoding=br).

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
This commit is contained in:
ChemaVX
2026-07-04 11:16:00 +00:00
co-authored by Claude Fable 5
parent a23810b9cc
commit becc43f770
+4
View File
@@ -2,6 +2,10 @@
python-telegram-bot==22.8 python-telegram-bot==22.8
httpx==0.28.1 httpx==0.28.1
aiohttp==3.14.1 aiohttp==3.14.1
# aiohttp lo necesita para decodificar respuestas brotli: HEADERS anuncia
# "Accept-Encoding: ...br" y sin él toda web que responda br falla con
# "Can not decode content-encoding: brotli" (fuentes perdidas en silencio)
Brotli==1.1.0
# Scraping # Scraping
beautifulsoup4==4.15.0 beautifulsoup4==4.15.0