chemavx/researchowl
1
0
Fork 0
Code Issues Pull Requests 10 Actions Packages Projects Releases Wiki Activity

fix(scraper): brotlicffi en vez de Brotli — aiohttp 3.14 falla en streams br troceados
Build & Deploy ResearchOwl / build-and-push (push) Successful in 54s
Details

Browse Source 
Con Brotli puro, aiohttp 3.14.1 seguía sin decodificar algunos streams
br (disclosure.org, todaywhy.com: 'Can not decode content-encoding: br'
en 3/3 intentos, mientras httpx los decodifica bien). Con brotlicffi
(que aiohttp prefiere sobre Brotli) los mismos sitios decodifican al
primer intento — verificado en el pod con install efímero.

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
This commit is contained in:
ChemaVX
2026-07-04 11:20:04 +00:00
co-authored by Claude Fable 5
parent becc43f770
commit 6c807212a0
1 changed files with 5 additions and 2 deletions
Download Patch File Download Diff File Expand all files Collapse all files
requirements.txt
+5 -2
View File
@@ -4,8 +4,11 @@ httpx==0.28.1
aiohttp==3.14.1 aiohttp==3.14.1
# aiohttp lo necesita para decodificar respuestas brotli: HEADERS anuncia # aiohttp lo necesita para decodificar respuestas brotli: HEADERS anuncia
# "Accept-Encoding: ...br" y sin él toda web que responda br falla con # "Accept-Encoding: ...br" y sin él toda web que responda br falla con
# "Can not decode content-encoding: brotli" (fuentes perdidas en silencio) # "Can not decode content-encoding: brotli" (fuentes perdidas en silencio).
Brotli==1.1.0 # brotlicffi y NO Brotli puro: aiohttp 3.14 + Brotli falla en streams
# troceados (disclosure.org, todaywhy.com); con brotlicffi (que aiohttp
# prefiere) decodifican todos — verificado en el pod 2026-07-04.
brotlicffi==1.1.0.0
# Scraping # Scraping
beautifulsoup4==4.15.0 beautifulsoup4==4.15.0