Daniel Allaire
f1a7e43645
Icinga ne surveillait rien : aucun objet Host ni Service de Set-OPS, seulement
la config Debian d'origine sur localhost.
Superviser setops-sauvegarde.service aurait reproduit le defaut du jour meme :
l'unite etait VERTE sur onze noeuds pendant qu'elle n'emportait rien. Le noeud
sait qu'il a LANCE sa sauvegarde, pas qu'elle est ARRIVEE. backup-01 evalue donc
ses depots et pousse un resultat passif par noeud vers l'API Icinga.
Trois criteres, parce qu'un seul suffit a mentir : l'instantane existe, il est
recent (26 h / 50 h), il contient au moins un fichier.
Le sens du flux est delibere : le depot parle a la supervision, jamais l'inverse
— compromettre mon-01 ne donne aucun acces aux sauvegardes.
Le ttl de 6 h fait la fraicheur : si le rapporteur se tait, Icinga perime les
services tout seul. C'est le silence qui a laisse le defaut vivre un mois.
Deux erreurs corrigees par la mesure :
- --data-urlencode refuse en Bad Request (l'API veut du JSON) ; le flux, le TLS
et l'auth marchaient, seule la charge etait perdue.
- le seuil « vide » en octets signalait a tort idm-01 (2363 o) : un export LDIF
d'un annuaire a un compte pese cela. « Vide » se mesure en FICHIERS. Et le
verdict est un AVERTISSEMENT : la machine ne distingue pas « les donnees ont
disparu » de « il n'y en a pas encore ».
Reserve assumee : curl -k — l'API presente le cert de sa propre AC, pas step-ca.
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
108 lines
5.2 KiB
Django/Jinja
108 lines
5.2 KiB
Django/Jinja
#!/bin/bash
|
|
# Gere par Set-OPS (role serveur_backup). Ne pas editer a la main.
|
|
#
|
|
# Verifie les depots restic et POUSSE un resultat passif par noeud vers l'API Icinga.
|
|
#
|
|
# Pourquoi ici et pas sur le noeud source. Le noeud sait s'il a LANCE sa sauvegarde ; il
|
|
# ne sait pas si elle est ARRIVEE. Le depot, lui, voit ce qui existe reellement — et c'est
|
|
# la seule chose qui compte le jour d'une restauration. Le 2026-08-11, onze noeuds
|
|
# lancaient chaque nuit une sauvegarde qui n'emportait RIEN : une unite verte sur un depot
|
|
# vide. Trois criteres, donc, et pas un seul :
|
|
#
|
|
# 1. l'instantane EXISTE (sinon : la sauvegarde n'arrive pas)
|
|
# 2. il est RECENT (sinon : elle a cesse d'arriver)
|
|
# 3. il n'est pas VIDE (sinon : elle arrive mais ne porte rien)
|
|
#
|
|
# Le `ttl` envoye a Icinga fait la fraicheur : si ce script cesse de tourner, Icinga passe
|
|
# tout seul en « expire ». C'est le SILENCE qui alerte — c'est lui qui n'a alerte personne.
|
|
set -uo pipefail
|
|
|
|
RACINE="{{ serveur_backup_racine }}"
|
|
API="https://{{ serveur_backup_icinga_hote }}.{{ domaine_interne }}:5665"
|
|
TTL={{ serveur_backup_ttl_icinga }}
|
|
AGE_WARN={{ serveur_backup_age_warn_h }}
|
|
AGE_CRIT={{ serveur_backup_age_crit_h }}
|
|
|
|
export RESTIC_PASSWORD_FILE="/etc/setops/restic.pass"
|
|
|
|
# L'API Icinga veut du JSON : un envoi `--data-urlencode` est refuse en « Bad Request »
|
|
# et le corps est perdu (mesure le 2026-08-11). On construit donc la charge avec python3,
|
|
# qui echappe correctement le texte du diagnostic.
|
|
ECHECS=0
|
|
rapporter() { # $1=noeud $2=code $3=texte
|
|
local charge reponse
|
|
charge=$(python3 -c 'import json,sys; print(json.dumps({
|
|
"type": "Service", "service": sys.argv[1], "exit_status": int(sys.argv[2]),
|
|
"plugin_output": sys.argv[3], "ttl": int(sys.argv[4])}))' \
|
|
"${HOTE_DEPOT}!sauvegarde: $1" "$2" "$3" "${TTL}")
|
|
reponse=$(curl -sS -k --max-time 20 \
|
|
-u "{{ serveur_backup_icinga_utilisateur }}:${MOTDEPASSE}" \
|
|
-H 'Accept: application/json' -H 'Content-Type: application/json' \
|
|
-X POST "${API}/v1/actions/process-check-result" -d "${charge}" 2>&1)
|
|
# Ne PAS avaler l'echec : un rapporteur muet recreerait exactement le defaut qu'on
|
|
# corrige. Le `ttl` reste le filet — si ce script cesse d'aboutir, Icinga perime les
|
|
# services de lui-meme et c'est le silence qui alerte.
|
|
if ! printf '%s' "${reponse}" | grep -q '"code": *200'; then
|
|
echo "ECHEC du rapport Icinga pour $1 : ${reponse}" >&2
|
|
ECHECS=$((ECHECS + 1))
|
|
fi
|
|
}
|
|
|
|
MOTDEPASSE="$(cat /etc/setops/icinga-api.pass)"
|
|
HOTE_DEPOT="{{ inventory_hostname }}"
|
|
maintenant=$(date +%s)
|
|
|
|
for noeud in {{ serveur_backup_noeuds_attendus | sort | join(' ') }}; do
|
|
depot="${RACINE}/${noeud}"
|
|
if [[ ! -d "${depot}" ]]; then
|
|
rapporter "${noeud}" 2 "AUCUN DEPOT : ${depot} n'existe pas — ce noeud n'a jamais depose."
|
|
continue
|
|
fi
|
|
|
|
json=$(restic -r "${depot}" snapshots --latest 1 --json 2>/dev/null)
|
|
horodatage=$(printf '%s' "${json}" | python3 -c \
|
|
'import sys,json;d=json.load(sys.stdin);print(d[0]["time"] if d else "")' 2>/dev/null)
|
|
if [[ -z "${horodatage}" ]]; then
|
|
rapporter "${noeud}" 2 "AUCUN INSTANTANE dans ${depot} — depot present mais vide."
|
|
continue
|
|
fi
|
|
|
|
# restic ecrit des fractions de seconde a precision variable : on tronque avant %z.
|
|
secondes=$(date -d "$(printf '%s' "${horodatage}" | sed -E 's/\.[0-9]+//')" +%s 2>/dev/null || echo 0)
|
|
age_h=$(( (maintenant - secondes) / 3600 ))
|
|
|
|
taille=$(restic -r "${depot}" stats latest --mode raw-data --json 2>/dev/null | python3 -c \
|
|
'import sys,json;print(json.load(sys.stdin).get("total_size",0))' 2>/dev/null || echo 0)
|
|
|
|
# « Vide » se mesure en FICHIERS, pas en octets. Un seuil en octets est un mauvais
|
|
# critere : l'export LDIF d'un annuaire a un compte pese 2,3 Ko et se ferait signaler a
|
|
# tort (mesure le 2026-08-11). Un instantane qui ne contient AUCUN fichier — seulement
|
|
# les repertoires traverses — n'emporte rien, et c'est exact quelle que soit la taille.
|
|
fichiers=$(restic -r "${depot}" ls latest --json 2>/dev/null | python3 -c \
|
|
'import sys,json
|
|
n=0
|
|
for l in sys.stdin:
|
|
try: d=json.loads(l)
|
|
except ValueError: continue
|
|
if d.get("struct_type")=="node" and d.get("type")=="file": n+=1
|
|
print(n)' 2>/dev/null || echo 0)
|
|
|
|
if (( fichiers == 0 )); then
|
|
# AVERTISSEMENT et non CRITIQUE : la machine ne peut pas distinguer « les donnees ont
|
|
# disparu » de « il n'y en a pas encore » (un /var/vmail sans courriel, un /srv/web
|
|
# sans webapp). C'est a un humain de trancher — mais il doit le VOIR.
|
|
rapporter "${noeud}" 1 \
|
|
"N'EMPORTE RIEN : instantane sans aucun fichier (${taille} octets). Legitime si ce noeud n'a pas encore de donnees — a confirmer."
|
|
elif (( age_h >= AGE_CRIT )); then
|
|
rapporter "${noeud}" 2 "PERIME : dernier instantane il y a ${age_h} h (seuil ${AGE_CRIT} h), ${fichiers} fichier(s)."
|
|
elif (( age_h >= AGE_WARN )); then
|
|
rapporter "${noeud}" 1 "EN RETARD : dernier instantane il y a ${age_h} h (seuil ${AGE_WARN} h), ${fichiers} fichier(s)."
|
|
else
|
|
rapporter "${noeud}" 0 "OK : instantane il y a ${age_h} h, ${fichiers} fichier(s), ${taille} octets."
|
|
fi
|
|
done
|
|
|
|
if (( ECHECS > 0 )); then
|
|
echo "${ECHECS} rapport(s) non deposes : Icinga ne sait donc pas ou en sont ces sauvegardes." >&2
|
|
exit 1
|
|
fi
|