Zálohy, ktoré sa nedali obnoviť

Databáza beží v kontajneri s dátami vo volume Dockeru. Nahraté súbory (zmluvy, faktúry, fotky lektorov) ležia v adresári na serveri pripojenom do kontajnera aplikácie. Skript v crone každú noc spustil pg_dump cez docker exec, výstup skomprimoval gzipom a súbor skopíroval do bucketu v S3. Kľúč na serveri mal k bucketu plné oprávnenia.

Súčasťou previerky systému pred rozšírením rezervácií bol test obnovy: stiahnuť poslednú zálohu a obnoviť ju do čistého kontajnera. Posledná záloha mala 20 bajtov. Rovnako všetky za posledných sedem týždňov.

Keby v tom čase zlyhal disk alebo by server niekto zašifroval, škola by prišla o sedem týždňov prihlášok, platieb a zmien v rozvrhu. Nahraté súbory by sa nedali obnoviť vôbec, pretože sa nezálohovali nikdy.

K tomu tretí problém: kľúč na serveri smel v buckete aj mazať. Útočník, ktorý ovládne server, by zmazal databázu aj zálohy naraz.

Pred siedmimi týždňami prešla databáza na novú hlavnú verziu PostgreSQL a kontajner pri tom dostal iný názov. docker exec v skripte odvtedy zlyhával, lebo kontajner so starým názvom neexistoval.

Skript to nezistil. Bez set -o pipefail je návratový kód pipeline docker exec ... | gzip > zaloha.gz kódom posledného príkazu, teda gzipu, a ten skončil úspešne: skomprimoval prázdny vstup. Prázdny gzip má presne 20 bajtov.

Chybová hláška išla na chybový výstup úlohy v crone. Cron ho posiela e-mailom, ale na serveri nebola nastavená pošta, takže ho zahodil. Nahraté súbory chýbali od začiatku, skript zálohoval iba databázu.

Veľkosti súborov v buckete ukázali presný deň, odkedy zálohy nemajú obsah. Zhodoval sa s dňom zmeny verzie databázy v histórii repozitára s konfiguráciou Docker Compose.

Ručné spustenie skriptu vypísalo Error response from daemon: No such container. Systémový log potvrdil, že cron výstup úlohy zahadzoval, pretože na serveri nebol nainštalovaný poštový agent.

Posledná neprázdna záloha sa obnoviť dala a dáta od toho dňa boli stále v bežiacej databáze. O nič sa neprišlo. Išlo o riziko, nie o stratu.

V ten istý deň ručná záloha databázy aj súborov a overenie, že sa dá obnoviť. Až potom opravy.

Skript je prepísaný tak, aby zlyhanie ktoréhokoľvek kroku zastavilo celý beh, oslovuje službu v Docker Compose namiesto názvu kontajnera a úspech hlási sám.

#!/usr/bin/env bash
set -euo pipefail

source /etc/backup.env   # HC_UUID and the AWS credentials, mode 600

STAMP=$(date -u +%Y%m%dT%H%M%SZ)
FILE="/var/backups/db/app-$STAMP.dump"
trap 'rm -f "$FILE"' ERR

cd /srv/app

# the service name survives a renamed container; -T: no pseudo-TTY
docker compose exec -T db pg_dump -U app -Fc app > "$FILE"

# an empty or unreadable archive fails here, not on the day of a restore
docker compose exec -T db pg_restore --list < "$FILE" > /dev/null

aws s3 cp "$FILE" "s3://skola-zalohy/db/app-$STAMP.dump"
aws s3 sync /srv/app/uploads "s3://skola-zalohy/uploads/"   # no --delete

# only a run that got this far reports in; silence raises the alarm
curl -fsS -m 10 --retry 3 "https://hc-ping.com/$HC_UUID" > /dev/null

pg_dump -Fc vytvára komprimovaný archív vo vlastnom formáte, gzip netreba. pg_restore --list hneď po zálohe overí, že archív je čitateľný. Prepínač -T vypína pseudoterminál, ktorý docker compose exec inak prideľuje, a pri binárnom výstupe presmerovanom do súboru ho treba vypnúť.

Nahraté súbory sa zálohujú príkazom aws s3 sync bez prepínača --delete, takže zmazanie súboru na serveri nezmaže jeho kópiu.

Ochrana pred zmazaním: bucket má zapnuté verziovanie a pravidlo životného cyklu, ktoré staré verzie po 35 dňoch odstráni. Kľúč na serveri smie iba nahrávať (s3:PutObject) a vypisovať obsah pre synchronizáciu (s3:ListBucket). Nemá s3:DeleteObject, s3:DeleteObjectVersion ani právo meniť verziovanie či pravidlá.

Hlásenie úspechu ide do služby Healthchecks.io. Ak v očakávanom čase nepríde, služba pošle e-mail. Rovnako poslúži jej open-source verzia na vlastnom serveri.

Test obnovy raz týždenne: druhý skript stiahne poslednú zálohu, obnoví ju do dočasného kontajnera PostgreSQL a overí, že najnovšia rezervácia nie je staršia ako deň. Výsledok hlási rovnakým spôsobom.

set -e ukončí skript pri prvej chybe, pipefail zabezpečí, že za chybu pipeline sa počíta aj zlyhanie príkazu uprostred, nielen posledného, a set -u zastaví skript pri preklepe v názve premennej. Pasca ERR zmaže rozpracovaný súbor, aby nevyzeral ako záloha.

Názov služby db sa nemení, keď sa zmení názov kontajnera, čo bola pôvodná príčina.

Monitoruje sa úspech, nie chyba. Služba sa ozve, keď hlásenie nepríde, takže pokryje aj prípady, keď skript vôbec nebeží, napríklad po zmazaní úlohy z cronu.

Pri zapnutom verziovaní prepísanie objektu vytvorí novú verziu a pôvodná ostane. Kľúč bez práv na mazanie nevie odstrániť ani objekt, ani jeho staršie verzie. Útočník na serveri teda zálohy nezničí.

Čo to nerieši: záloha nie je vysoká dostupnosť. Keď server spadne, web nepôjde, kým sa neobnoví na novom.