monitoring: alertar sobre la cuota y la papelera de MEGA
El incidente del 2026-07-25 (MEGA lleno -> dos CronJobs de backup caídos) solo se detectó por el síntoma. La causa llevaba meses creciendo sin que nada la mirase. - backup-system/mega-quota-exporter: Deployment que sondea `rclone about` y `rclone size` cada 15 min y los sirve a Prometheus vía ServiceMonitor. mega_trash_bytes (usado - visible) es la métrica que habría cazado esto. - monitoring: dos reglas de Grafana, cuota > 80% y papelera > 2GB. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
Claude Opus 5
@@ -0,0 +1,221 @@
|
|||||||
|
# Exporter de la cuota de MEGA.
|
||||||
|
#
|
||||||
|
# Contexto: el 2026-07-25 la papelera de MEGA (que cuenta cuota) llenó los 20GB
|
||||||
|
# de la cuenta y tumbó rclone-mega-backup y reddit-intel-backup con "Request
|
||||||
|
# over quota". El aviso llegó del síntoma (jobs fallidos), no de la causa, que
|
||||||
|
# llevaba meses engordando en silencio. Esto expone la cuota a Prometheus para
|
||||||
|
# poder alertar con días de margen.
|
||||||
|
#
|
||||||
|
# mega_trash_bytes = usado - visible: es la métrica que habría cazado aquello.
|
||||||
|
# Con --mega-hard-delete en las rotaciones debería quedarse cerca de 0; si
|
||||||
|
# vuelve a crecer, es que algún borrado se está yendo a la papelera otra vez.
|
||||||
|
---
|
||||||
|
apiVersion: v1
|
||||||
|
kind: ConfigMap
|
||||||
|
metadata:
|
||||||
|
name: mega-quota-exporter
|
||||||
|
namespace: backup-system
|
||||||
|
data:
|
||||||
|
export.sh: |
|
||||||
|
#!/bin/sh
|
||||||
|
# Imagen BusyBox (rclone) — sin GNU-ismos.
|
||||||
|
set -u
|
||||||
|
|
||||||
|
CONF=/rclone/rclone.conf
|
||||||
|
OUT=/metrics/metrics
|
||||||
|
INTERVAL="${INTERVAL:-900}"
|
||||||
|
|
||||||
|
# Extrae el entero que sigue a "clave". Hay que anclar en la clave y no
|
||||||
|
# limpiar la línea entera: `rclone size --json` saca {"count":N,"bytes":M}
|
||||||
|
# en una sola línea y un sed global concatenaría los dos números.
|
||||||
|
num() { sed -n 's/.*"'"$1"'"[^0-9]*\([0-9][0-9]*\).*/\1/p' "$2" 2>/dev/null | head -1; }
|
||||||
|
|
||||||
|
# Últimos valores buenos: si un scrape falla preferimos republicarlos con
|
||||||
|
# success=0 antes que dejar la serie en NoData y disparar un falso positivo.
|
||||||
|
L_TOTAL=""; L_USED=""; L_FREE=""; L_VB=""; L_VC=""
|
||||||
|
|
||||||
|
while true; do
|
||||||
|
OK=1
|
||||||
|
rclone about mega: --json --config "$CONF" > /tmp/about.json 2>/tmp/about.err || OK=0
|
||||||
|
rclone size mega: --json --config "$CONF" > /tmp/size.json 2>/tmp/size.err || OK=0
|
||||||
|
|
||||||
|
TOTAL=$(num total /tmp/about.json)
|
||||||
|
USED=$(num used /tmp/about.json)
|
||||||
|
FREE=$(num free /tmp/about.json)
|
||||||
|
VB=$(num bytes /tmp/size.json)
|
||||||
|
VC=$(num count /tmp/size.json)
|
||||||
|
|
||||||
|
for v in "$TOTAL" "$USED" "$FREE" "$VB" "$VC"; do
|
||||||
|
[ -n "$v" ] || OK=0
|
||||||
|
done
|
||||||
|
|
||||||
|
if [ "$OK" = "1" ]; then
|
||||||
|
L_TOTAL="$TOTAL"; L_USED="$USED"; L_FREE="$FREE"; L_VB="$VB"; L_VC="$VC"
|
||||||
|
else
|
||||||
|
echo "[$(date '+%Y-%m-%d %H:%M:%S')] scrape fallido: $(cat /tmp/about.err /tmp/size.err 2>/dev/null | tr '\n' ' ')"
|
||||||
|
fi
|
||||||
|
|
||||||
|
{
|
||||||
|
echo "# HELP mega_quota_scrape_success 1 si el ultimo sondeo a MEGA funciono."
|
||||||
|
echo "# TYPE mega_quota_scrape_success gauge"
|
||||||
|
echo "mega_quota_scrape_success $OK"
|
||||||
|
echo "# HELP mega_quota_last_scrape_timestamp_seconds Momento del ultimo sondeo."
|
||||||
|
echo "# TYPE mega_quota_last_scrape_timestamp_seconds gauge"
|
||||||
|
echo "mega_quota_last_scrape_timestamp_seconds $(date +%s)"
|
||||||
|
|
||||||
|
if [ -n "$L_TOTAL" ]; then
|
||||||
|
TRASH=$((L_USED - L_VB))
|
||||||
|
[ "$TRASH" -lt 0 ] && TRASH=0
|
||||||
|
echo "# HELP mega_quota_bytes_total Cuota contratada en MEGA."
|
||||||
|
echo "# TYPE mega_quota_bytes_total gauge"
|
||||||
|
echo "mega_quota_bytes_total $L_TOTAL"
|
||||||
|
echo "# HELP mega_quota_bytes_used Espacio consumido (incluye la papelera)."
|
||||||
|
echo "# TYPE mega_quota_bytes_used gauge"
|
||||||
|
echo "mega_quota_bytes_used $L_USED"
|
||||||
|
echo "# HELP mega_quota_bytes_free Espacio libre segun MEGA."
|
||||||
|
echo "# TYPE mega_quota_bytes_free gauge"
|
||||||
|
echo "mega_quota_bytes_free $L_FREE"
|
||||||
|
echo "# HELP mega_visible_bytes Tamano de los ficheros visibles."
|
||||||
|
echo "# TYPE mega_visible_bytes gauge"
|
||||||
|
echo "mega_visible_bytes $L_VB"
|
||||||
|
echo "# HELP mega_visible_objects Numero de ficheros visibles."
|
||||||
|
echo "# TYPE mega_visible_objects gauge"
|
||||||
|
echo "mega_visible_objects $L_VC"
|
||||||
|
echo "# HELP mega_trash_bytes Estimacion de la papelera (usado - visible)."
|
||||||
|
echo "# TYPE mega_trash_bytes gauge"
|
||||||
|
echo "mega_trash_bytes $TRASH"
|
||||||
|
fi
|
||||||
|
} > "${OUT}.tmp" && mv "${OUT}.tmp" "$OUT"
|
||||||
|
|
||||||
|
sleep "$INTERVAL"
|
||||||
|
done
|
||||||
|
nginx.conf: |
|
||||||
|
worker_processes 1;
|
||||||
|
error_log /dev/stderr warn;
|
||||||
|
pid /tmp/nginx.pid;
|
||||||
|
events { worker_connections 64; }
|
||||||
|
http {
|
||||||
|
access_log off;
|
||||||
|
client_body_temp_path /tmp/client_body;
|
||||||
|
proxy_temp_path /tmp/proxy;
|
||||||
|
fastcgi_temp_path /tmp/fastcgi;
|
||||||
|
uwsgi_temp_path /tmp/uwsgi;
|
||||||
|
scgi_temp_path /tmp/scgi;
|
||||||
|
server {
|
||||||
|
listen 8080;
|
||||||
|
# El fichero no tiene extension: sin esto nginx lo sirve como
|
||||||
|
# application/octet-stream y Prometheus se queja del formato.
|
||||||
|
default_type text/plain;
|
||||||
|
location = /metrics { alias /metrics/metrics; }
|
||||||
|
location / { return 404; }
|
||||||
|
}
|
||||||
|
}
|
||||||
|
---
|
||||||
|
apiVersion: apps/v1
|
||||||
|
kind: Deployment
|
||||||
|
metadata:
|
||||||
|
name: mega-quota-exporter
|
||||||
|
namespace: backup-system
|
||||||
|
spec:
|
||||||
|
replicas: 1
|
||||||
|
selector:
|
||||||
|
matchLabels:
|
||||||
|
app: mega-quota-exporter
|
||||||
|
template:
|
||||||
|
metadata:
|
||||||
|
labels:
|
||||||
|
app: mega-quota-exporter
|
||||||
|
spec:
|
||||||
|
containers:
|
||||||
|
- name: rclone
|
||||||
|
# OJO: imagen BusyBox — el script debe evitar GNU-ismos
|
||||||
|
image: docker.io/rclone/rclone:1.74.3
|
||||||
|
command: ["/bin/sh", "/scripts/export.sh"]
|
||||||
|
env:
|
||||||
|
- name: INTERVAL
|
||||||
|
value: "900"
|
||||||
|
resources:
|
||||||
|
requests:
|
||||||
|
cpu: 10m
|
||||||
|
memory: 32Mi
|
||||||
|
limits:
|
||||||
|
cpu: 200m
|
||||||
|
memory: 128Mi
|
||||||
|
volumeMounts:
|
||||||
|
- mountPath: /rclone
|
||||||
|
name: rclone-conf
|
||||||
|
- mountPath: /scripts
|
||||||
|
name: scripts
|
||||||
|
- mountPath: /metrics
|
||||||
|
name: metrics
|
||||||
|
- name: nginx
|
||||||
|
image: docker.io/library/nginx:1.27-alpine
|
||||||
|
ports:
|
||||||
|
- name: metrics
|
||||||
|
containerPort: 8080
|
||||||
|
resources:
|
||||||
|
requests:
|
||||||
|
cpu: 10m
|
||||||
|
memory: 16Mi
|
||||||
|
limits:
|
||||||
|
cpu: 100m
|
||||||
|
memory: 64Mi
|
||||||
|
volumeMounts:
|
||||||
|
- mountPath: /etc/nginx/nginx.conf
|
||||||
|
name: scripts
|
||||||
|
subPath: nginx.conf
|
||||||
|
- mountPath: /metrics
|
||||||
|
name: metrics
|
||||||
|
readOnly: true
|
||||||
|
readinessProbe:
|
||||||
|
httpGet:
|
||||||
|
path: /metrics
|
||||||
|
port: metrics
|
||||||
|
initialDelaySeconds: 10
|
||||||
|
periodSeconds: 20
|
||||||
|
volumes:
|
||||||
|
# RCLONE_CONF (Infisical /backup-system) contiene mega+b2
|
||||||
|
- name: rclone-conf
|
||||||
|
secret:
|
||||||
|
secretName: rclone-conf-infisical
|
||||||
|
items:
|
||||||
|
- key: RCLONE_CONF
|
||||||
|
path: rclone.conf
|
||||||
|
- name: scripts
|
||||||
|
configMap:
|
||||||
|
name: mega-quota-exporter
|
||||||
|
defaultMode: 0755
|
||||||
|
- name: metrics
|
||||||
|
emptyDir: {}
|
||||||
|
---
|
||||||
|
apiVersion: v1
|
||||||
|
kind: Service
|
||||||
|
metadata:
|
||||||
|
name: mega-quota-exporter
|
||||||
|
namespace: backup-system
|
||||||
|
labels:
|
||||||
|
app: mega-quota-exporter
|
||||||
|
spec:
|
||||||
|
selector:
|
||||||
|
app: mega-quota-exporter
|
||||||
|
ports:
|
||||||
|
- name: metrics
|
||||||
|
port: 8080
|
||||||
|
targetPort: metrics
|
||||||
|
---
|
||||||
|
apiVersion: monitoring.coreos.com/v1
|
||||||
|
kind: ServiceMonitor
|
||||||
|
metadata:
|
||||||
|
name: mega-quota-exporter
|
||||||
|
namespace: backup-system
|
||||||
|
labels:
|
||||||
|
# Requerido por serviceMonitorSelector de kube-prometheus-stack
|
||||||
|
release: kube-prometheus-stack
|
||||||
|
spec:
|
||||||
|
selector:
|
||||||
|
matchLabels:
|
||||||
|
app: mega-quota-exporter
|
||||||
|
endpoints:
|
||||||
|
- port: metrics
|
||||||
|
path: /metrics
|
||||||
|
interval: 5m
|
||||||
@@ -246,3 +246,93 @@ data:
|
|||||||
expression: B
|
expression: B
|
||||||
conditions:
|
conditions:
|
||||||
- evaluator: {params: [0], type: gt}
|
- evaluator: {params: [0], type: gt}
|
||||||
|
|
||||||
|
# Las dos reglas siguientes leen las métricas de
|
||||||
|
# backup-system/mega-quota-exporter (sondea MEGA cada 15 min).
|
||||||
|
# El 2026-07-25 la cuota de MEGA se llenó y tumbó dos CronJobs de
|
||||||
|
# backup; no había ninguna alerta que lo viera venir.
|
||||||
|
- uid: homelab-mega-quota-high
|
||||||
|
title: "Cuota MEGA > 80%"
|
||||||
|
condition: C
|
||||||
|
for: 30m
|
||||||
|
noDataState: NoData
|
||||||
|
execErrState: Error
|
||||||
|
annotations:
|
||||||
|
summary: "☁️ Cuota de MEGA al {{ humanizePercentage $values.B.Value }}\nSi llega al 100% fallan los backups a MEGA."
|
||||||
|
description: "El uso de la cuenta de MEGA supera el 80% de los 20GB. Revisar retenciones y papelera (mega_trash_bytes)."
|
||||||
|
labels:
|
||||||
|
severity: warning
|
||||||
|
isPaused: false
|
||||||
|
data:
|
||||||
|
- refId: A
|
||||||
|
relativeTimeRange: {from: 3600, to: 0}
|
||||||
|
datasourceUid: prometheus
|
||||||
|
model:
|
||||||
|
editorMode: code
|
||||||
|
expr: "mega_quota_bytes_used / mega_quota_bytes_total"
|
||||||
|
instant: true
|
||||||
|
refId: A
|
||||||
|
- refId: B
|
||||||
|
relativeTimeRange: {from: 0, to: 0}
|
||||||
|
datasourceUid: "-100"
|
||||||
|
model:
|
||||||
|
type: reduce
|
||||||
|
refId: B
|
||||||
|
expression: A
|
||||||
|
reducer: last
|
||||||
|
settings:
|
||||||
|
mode: ""
|
||||||
|
- refId: C
|
||||||
|
relativeTimeRange: {from: 0, to: 0}
|
||||||
|
datasourceUid: "-100"
|
||||||
|
model:
|
||||||
|
type: threshold
|
||||||
|
refId: C
|
||||||
|
expression: B
|
||||||
|
conditions:
|
||||||
|
- evaluator: {params: [0.8], type: gt}
|
||||||
|
|
||||||
|
# Causa raíz del incidente del 2026-07-25: la papelera de MEGA cuenta
|
||||||
|
# cuota y las rotaciones la llenaron durante meses sin que se notara.
|
||||||
|
# Con --mega-hard-delete debería quedarse pegada a 0; si pasa de 2GB
|
||||||
|
# es que algún borrado se está yendo a la papelera otra vez.
|
||||||
|
- uid: homelab-mega-trash-growing
|
||||||
|
title: "Papelera de MEGA creciendo"
|
||||||
|
condition: C
|
||||||
|
for: 1h
|
||||||
|
noDataState: NoData
|
||||||
|
execErrState: Error
|
||||||
|
annotations:
|
||||||
|
summary: "🗑️ Papelera de MEGA: {{ humanize1024 $values.B.Value }}B\nAlgún borrado no está usando --mega-hard-delete."
|
||||||
|
description: "mega_trash_bytes (usado - visible) supera los 2GB. La papelera de MEGA consume cuota; revisar los scripts de backup-system."
|
||||||
|
labels:
|
||||||
|
severity: warning
|
||||||
|
isPaused: false
|
||||||
|
data:
|
||||||
|
- refId: A
|
||||||
|
relativeTimeRange: {from: 3600, to: 0}
|
||||||
|
datasourceUid: prometheus
|
||||||
|
model:
|
||||||
|
editorMode: code
|
||||||
|
expr: "mega_trash_bytes"
|
||||||
|
instant: true
|
||||||
|
refId: A
|
||||||
|
- refId: B
|
||||||
|
relativeTimeRange: {from: 0, to: 0}
|
||||||
|
datasourceUid: "-100"
|
||||||
|
model:
|
||||||
|
type: reduce
|
||||||
|
refId: B
|
||||||
|
expression: A
|
||||||
|
reducer: last
|
||||||
|
settings:
|
||||||
|
mode: ""
|
||||||
|
- refId: C
|
||||||
|
relativeTimeRange: {from: 0, to: 0}
|
||||||
|
datasourceUid: "-100"
|
||||||
|
model:
|
||||||
|
type: threshold
|
||||||
|
refId: C
|
||||||
|
expression: B
|
||||||
|
conditions:
|
||||||
|
- evaluator: {params: [2147483648], type: gt}
|
||||||
|
|||||||
Reference in New Issue
Block a user