Bevezetés és üzemeltetésMélyfúrás

Kiesik egy adatbázis-szerver. Mi történik a következő percben?

Egy vállalatirányítási rendszerben az adatbázis a szív. Ha megáll, megáll a rendelésfelvétel, a számlázás és a raktár is. Egy elképzelt meghibásodáson mutatjuk be, hogyan épül fel nálunk az éles PostgreSQL: két példány két szerveren, automatikus átállás, kapcsolatkészlet, ügyfelenként külön adatbázis-klaszter.

  • DataEdgeplatformmérnök

6 perc olvasás

Minden üzemeltető ismeri a kérdést, amelyet a vezérigazgató egyszer feltesz: mi történik, ha leáll a szerver? A becsületes válasz az, hogy a szerverek leállnak: tápegység, memóriahiba, egy kernelfrissítés utáni újraindítás. A jó kérdés az, mennyi ideig tart, és elvész-e közben adat.

Ebben a részben az éles adatbázisok felépítését mutatjuk be, egy kitalált meghibásodáson keresztül.

Két példány, két külön szerveren

Az éles PostgreSQL-adatbázisokat a CloudNativePG kezeli, egy Kubernetes-operátor, amely kifejezetten PostgreSQL-klaszterek futtatására készült. Az ügyfelek éles üzleti adatbázisai két példányban futnak:

  • az elsődleges fogadja az írást és az olvasást;

  • a replika folyamatosan követi az elsődleges változásait.

A két példány nem futhat ugyanazon a szerveren. Ezt egy kötelező elhelyezési szabály biztosítja: ha nincs szabad második szerver, a replika el sem indul. A két példány így nem kerülhet csendben egy gépre.

YAML
# egy éles adatbázis-klaszter leírásának lényege (illusztráció)
apiVersion: postgresql.cnpg.io/v1
kind: Cluster
metadata:
  name: minta-ugyfel-db
spec:
  instances: 2                    # elsődleges + replika
  affinity:
    podAntiAffinityType: required # a két példány külön szerveren
  primaryUpdateMethod: switchover # frissítéskor előbb átkapcsol
  monitoring:
    enablePodMonitor: true
  bootstrap:
    initdb:
      localeCollate: hu_HU.UTF-8  # magyar ábécérend
      localeCType: hu_HU.UTF-8

Illusztráció, kitalált névvel. Méretek és erőforrás-értékek nélkül.

A magyar kolláció apróságnak tűnik, de nem az. Ettől lesz a „Cs” a „C” után, és az „Ö” a helyén a vevőlistában, a partnerkeresőben és minden ábécérendes jelentésben.

Egy elképzelt kedd délelőtt

Tegyük fel, hogy kedd délelőtt fél tizenegykor hardverhiba miatt leáll az a szerver, amelyen egy ügyfél adatbázisának elsődleges példánya fut. Ez történik:

Idő

Esemény

10:30:00

a szerver leáll, az elsődleges példány elérhetetlen

néhány másodperc

az operátor észleli, hogy az elsődleges nem válaszol

ezt követően

a replikát elsődlegessé lépteti elő

ezzel együtt

az írási végpont az új elsődlegesre mutat

utána

az alkalmazások újrakapcsolódnak, a munka folytatódik

amikor a szerver visszajön

a régi elsődleges replikaként csatlakozik vissza

Kitalált forgatókönyv. A pontos időket a hiba jellege és a terhelés határozza meg.

A felhasználó ebből jó esetben annyit lát, hogy egy mentés egyszer hibát dobott, és másodszorra sikerült. A replika folyamatosan követte az elsődlegest, így az adatok a második szerveren is ott vannak. Az átállás automatikus, éjjel kettőkor sem kell hozzá ember.

Tervezett karbantartás leállás nélkül

A meghibásodás a ritkább eset. Gyakoribb a tervezett karbantartás: egy PostgreSQL-javítás, egy operátorfrissítés, egy szerver újraindítása. Ilyenkor az operátor nem az elsődlegest állítja le először. Előbb a replikát frissíti, aztán átkapcsol: a frissített replika lesz az elsődleges, és csak ezután kerül sorra a régi elsődleges. Az írási végpont végig elérhető marad, csak az átkapcsolás pillanatában szakad meg rövid időre.

A kapcsolatkészlet

Egy webes rendszerben sok rövid kérés érkezik, és mindegyik adatbázis-kapcsolatot szeretne. Ha minden kérés saját kapcsolatot nyit, az adatbázis idejének nagy része a kapcsolatok felépítésével telik. Ezért az alkalmazások egy PgBouncer kapcsolatkészlethez csatlakoznak, amely kevés, tartósan nyitott kapcsolatot oszt meg sok kérés között.

A kapcsolatkészletnek két útvonala van:

  • írási út: mindig az aktuális elsődlegesre mutat, átállás után is;

  • olvasási út: a replikára irányít, ahol erre van szükség, például nehezebb lekérdezéseknél.

A kapcsolatkészlet maga is több példányban fut, különböző szervereken, így nem válik egyetlen hibaponttá.Így fut a rendszer · adatbázisA várólistás szinkronok zárolással dolgoznak, amely átugorja a már foglalt sort. Így több feldolgozó is futhat egyszerre, anélkül hogy ugyanazt a tételt kétszer vennék fel.

Mit csinál közben az alkalmazás?

Az adatbázis-átállás csak akkor ér valamit, ha az alkalmazások is jól viselik. A szolgáltatások állapotmentesek: nem tartanak a memóriájukban olyan adatot, amely egy újrakapcsolódás után elveszne. Ha egy kérés épp az átállás pillanatában futott, hibát kap, és a felhasználó vagy a hívó rendszer megismétli.

A háttérben futó szinkronok, például a rendelések átadása a raktári rendszernek, várólistából dolgoznak. Ha egy feldolgozás az átállás miatt megszakad, a tétel a listán marad, és a következő futás újra felveszi. Mivel a lista egy tételt egyszerre csak egy feldolgozónak ad ki, az ismételt futás sem dolgoz fel semmit kétszer.

Ügyfelenként saját adatbázis

Minden ügyfél saját környezetben fut: saját névtérben, saját adatbázis-klaszterrel és saját konfigurációval. Ennek két előnye van. Az egyik a biztonság: egy ügyfél adatai fizikailag sem ugyanabban az adatbázisban vannak, mint egy másiké. A másik az üzemeltetés: egy ügyfél karbantartása, egy nagy importja vagy egy lassú lekérdezése nem lassítja a többit.

Az adatbázishoz a hálózaton is csak az fér hozzá, akinek kifejezetten megengedtük. Ügyfélkörnyezetenként csak a saját szolgáltatások érhetik el, más környezet hiába próbálkozna.

Látjuk, mielőtt baj lenne

Az adatbázis-klaszterek és a kapcsolatkészletek metrikáit Prometheus gyűjti: replikációs késés, kapcsolatok száma, lekérdezési idők, tárhely. Az alkalmazásnaplók strukturált formában Lokiba kerülnek, és Grafanában kereshetők. Ezekre riasztás állítható, így egy lassulás vagy egy telő tárhely kiderül, mielőtt a felhasználók észrevennék.

A kapcsolatkészlet ebben is segít. Az alkalmazás a kapcsolatkészlet címéhez kapcsolódik, és ez a cím az átállás után sem változik. A kapcsolatkészlet maga tudja, hol van az új elsődleges, így az alkalmazás beállításain semmit nem kell módosítani, és újraindítani sem kell. Az átállás után az első néhány kérés hibát kaphat, a következők már az új elsődlegesre futnak be.

Időzített feladatok az adatbázisban

Sok üzleti feladat időzítve fut: egy éjszakai egyeztetés, egy nézet frissítése, egy napi összesítés. Ezeket ott futtatjuk, ahol az adat van, az adatbázisba épített ütemezővel. Az ütemezett feladat így ugyanabban a környezetben fut, mint az adat, és egy átállás után az új elsődleges példányon folytatódik.

És a mentés?

A pénzügyi modulnál minden kiadás előtt teljes adatbázis-mentés készül, és hozzá egy kipróbált visszaállító szkript. Ha egy kiadás után kiderül, hogy valami nem úgy működik, ahogy kell, az előző állapot visszaállítható. A mentési rend fejlesztése folyamatos munka. Amit még nem vezettünk be minden adatbázisra, azt itt nem ígérjük.

Kapcsolódó: Aláírt image, titkosított titok, zárt hálózat · Miért nincs szerver a boltban?