fix(scraper): instala Brotli — se perdían fuentes br en silencio
Build & Deploy ResearchOwl / build-and-push (push) Successful in 55s
Build & Deploy ResearchOwl / build-and-push (push) Successful in 55s
HEADERS anuncia 'Accept-Encoding: gzip, deflate, br' pero aiohttp no tenía backend brotli: cualquier web que respondiera br fallaba con 'Can not decode content-encoding: brotli' tras 3 reintentos (vistos washingtontimes, defensescoop, disclosure.org en sesión de prueba). Verificado local: con Brotli==1.1.0 ambos decodifican (200, encoding=br). Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
This commit is contained in:
co-authored by
Claude Fable 5
parent
a23810b9cc
commit
becc43f770
@@ -2,6 +2,10 @@
|
|||||||
python-telegram-bot==22.8
|
python-telegram-bot==22.8
|
||||||
httpx==0.28.1
|
httpx==0.28.1
|
||||||
aiohttp==3.14.1
|
aiohttp==3.14.1
|
||||||
|
# aiohttp lo necesita para decodificar respuestas brotli: HEADERS anuncia
|
||||||
|
# "Accept-Encoding: ...br" y sin él toda web que responda br falla con
|
||||||
|
# "Can not decode content-encoding: brotli" (fuentes perdidas en silencio)
|
||||||
|
Brotli==1.1.0
|
||||||
|
|
||||||
# Scraping
|
# Scraping
|
||||||
beautifulsoup4==4.15.0
|
beautifulsoup4==4.15.0
|
||||||
|
|||||||
Reference in New Issue
Block a user