Kiesik egy adatbázis-szerver. Mi történik a következő percben?
Egy vállalatirányítási rendszerben az adatbázis a szív. Ha megáll, megáll a rendelésfelvétel, a számlázás és a raktár is. Egy elképzelt meghibásodáson mutatjuk be, hogyan épül fel nálunk az éles PostgreSQL: két példány két szerveren, automatikus átállás, kapcsolatkészlet, ügyfelenként külön adatbázis-klaszter.
Tartalom
Minden üzemeltető ismeri a kérdést, amelyet a vezérigazgató egyszer feltesz: mi történik, ha leáll a szerver? A becsületes válasz az, hogy a szerverek leállnak: tápegység, memóriahiba, egy kernelfrissítés utáni újraindítás. A jó kérdés az, mennyi ideig tart, és elvész-e közben adat.
Ebben a részben az éles adatbázisok felépítését mutatjuk be, egy kitalált meghibásodáson keresztül.
Két példány, két külön szerveren
Az éles PostgreSQL-adatbázisokat a CloudNativePG kezeli, egy Kubernetes-operátor, amely kifejezetten PostgreSQL-klaszterek futtatására készült. Az ügyfelek éles üzleti adatbázisai két példányban futnak:
az elsődleges fogadja az írást és az olvasást;
a replika folyamatosan követi az elsődleges változásait.
A két példány nem futhat ugyanazon a szerveren. Ezt egy kötelező elhelyezési szabály biztosítja: ha nincs szabad második szerver, a replika el sem indul. A két példány így nem kerülhet csendben egy gépre.
# egy éles adatbázis-klaszter leírásának lényege (illusztráció)
apiVersion: postgresql.cnpg.io/v1
kind: Cluster
metadata:
name: minta-ugyfel-db
spec:
instances: 2 # elsődleges + replika
affinity:
podAntiAffinityType: required # a két példány külön szerveren
primaryUpdateMethod: switchover # frissítéskor előbb átkapcsol
monitoring:
enablePodMonitor: true
bootstrap:
initdb:
localeCollate: hu_HU.UTF-8 # magyar ábécérend
localeCType: hu_HU.UTF-8Illusztráció, kitalált névvel. Méretek és erőforrás-értékek nélkül.
A magyar kolláció apróságnak tűnik, de nem az. Ettől lesz a „Cs” a „C” után, és az „Ö” a helyén a vevőlistában, a partnerkeresőben és minden ábécérendes jelentésben.
Egy elképzelt kedd délelőtt
Tegyük fel, hogy kedd délelőtt fél tizenegykor hardverhiba miatt leáll az a szerver, amelyen egy ügyfél adatbázisának elsődleges példánya fut. Ez történik:
Idő | Esemény |
|---|---|
10:30:00 | a szerver leáll, az elsődleges példány elérhetetlen |
néhány másodperc | az operátor észleli, hogy az elsődleges nem válaszol |
ezt követően | a replikát elsődlegessé lépteti elő |
ezzel együtt | az írási végpont az új elsődlegesre mutat |
utána | az alkalmazások újrakapcsolódnak, a munka folytatódik |
amikor a szerver visszajön | a régi elsődleges replikaként csatlakozik vissza |
Kitalált forgatókönyv. A pontos időket a hiba jellege és a terhelés határozza meg.
A felhasználó ebből jó esetben annyit lát, hogy egy mentés egyszer hibát dobott, és másodszorra sikerült. A replika folyamatosan követte az elsődlegest, így az adatok a második szerveren is ott vannak. Az átállás automatikus, éjjel kettőkor sem kell hozzá ember.
Tervezett karbantartás leállás nélkül
A meghibásodás a ritkább eset. Gyakoribb a tervezett karbantartás: egy PostgreSQL-javítás, egy operátorfrissítés, egy szerver újraindítása. Ilyenkor az operátor nem az elsődlegest állítja le először. Előbb a replikát frissíti, aztán átkapcsol: a frissített replika lesz az elsődleges, és csak ezután kerül sorra a régi elsődleges. Az írási végpont végig elérhető marad, csak az átkapcsolás pillanatában szakad meg rövid időre.
A kapcsolatkészlet
Egy webes rendszerben sok rövid kérés érkezik, és mindegyik adatbázis-kapcsolatot szeretne. Ha minden kérés saját kapcsolatot nyit, az adatbázis idejének nagy része a kapcsolatok felépítésével telik. Ezért az alkalmazások egy PgBouncer kapcsolatkészlethez csatlakoznak, amely kevés, tartósan nyitott kapcsolatot oszt meg sok kérés között.
A kapcsolatkészletnek két útvonala van:
írási út: mindig az aktuális elsődlegesre mutat, átállás után is;
olvasási út: a replikára irányít, ahol erre van szükség, például nehezebb lekérdezéseknél.
A kapcsolatkészlet maga is több példányban fut, különböző szervereken, így nem válik egyetlen hibaponttá.Így fut a rendszer · adatbázisA várólistás szinkronok zárolással dolgoznak, amely átugorja a már foglalt sort. Így több feldolgozó is futhat egyszerre, anélkül hogy ugyanazt a tételt kétszer vennék fel.
Mit csinál közben az alkalmazás?
Az adatbázis-átállás csak akkor ér valamit, ha az alkalmazások is jól viselik. A szolgáltatások állapotmentesek: nem tartanak a memóriájukban olyan adatot, amely egy újrakapcsolódás után elveszne. Ha egy kérés épp az átállás pillanatában futott, hibát kap, és a felhasználó vagy a hívó rendszer megismétli.
A háttérben futó szinkronok, például a rendelések átadása a raktári rendszernek, várólistából dolgoznak. Ha egy feldolgozás az átállás miatt megszakad, a tétel a listán marad, és a következő futás újra felveszi. Mivel a lista egy tételt egyszerre csak egy feldolgozónak ad ki, az ismételt futás sem dolgoz fel semmit kétszer.
Ügyfelenként saját adatbázis
Minden ügyfél saját környezetben fut: saját névtérben, saját adatbázis-klaszterrel és saját konfigurációval. Ennek két előnye van. Az egyik a biztonság: egy ügyfél adatai fizikailag sem ugyanabban az adatbázisban vannak, mint egy másiké. A másik az üzemeltetés: egy ügyfél karbantartása, egy nagy importja vagy egy lassú lekérdezése nem lassítja a többit.
Az adatbázishoz a hálózaton is csak az fér hozzá, akinek kifejezetten megengedtük. Ügyfélkörnyezetenként csak a saját szolgáltatások érhetik el, más környezet hiába próbálkozna.
Látjuk, mielőtt baj lenne
Az adatbázis-klaszterek és a kapcsolatkészletek metrikáit Prometheus gyűjti: replikációs késés, kapcsolatok száma, lekérdezési idők, tárhely. Az alkalmazásnaplók strukturált formában Lokiba kerülnek, és Grafanában kereshetők. Ezekre riasztás állítható, így egy lassulás vagy egy telő tárhely kiderül, mielőtt a felhasználók észrevennék.
A kapcsolatkészlet ebben is segít. Az alkalmazás a kapcsolatkészlet címéhez kapcsolódik, és ez a cím az átállás után sem változik. A kapcsolatkészlet maga tudja, hol van az új elsődleges, így az alkalmazás beállításain semmit nem kell módosítani, és újraindítani sem kell. Az átállás után az első néhány kérés hibát kaphat, a következők már az új elsődlegesre futnak be.
Időzített feladatok az adatbázisban
Sok üzleti feladat időzítve fut: egy éjszakai egyeztetés, egy nézet frissítése, egy napi összesítés. Ezeket ott futtatjuk, ahol az adat van, az adatbázisba épített ütemezővel. Az ütemezett feladat így ugyanabban a környezetben fut, mint az adat, és egy átállás után az új elsődleges példányon folytatódik.
És a mentés?
A pénzügyi modulnál minden kiadás előtt teljes adatbázis-mentés készül, és hozzá egy kipróbált visszaállító szkript. Ha egy kiadás után kiderül, hogy valami nem úgy működik, ahogy kell, az előző állapot visszaállítható. A mentési rend fejlesztése folyamatos munka. Amit még nem vezettünk be minden adatbázisra, azt itt nem ígérjük.
Kapcsolódó: Aláírt image, titkosított titok, zárt hálózat · Miért nincs szerver a boltban?