DataEdge belülrőlMélyfúrás

Egy kiadás útja: a változás a repóban kezdődik, a klaszter követi

Az éles rendszeren senki nem gépel parancsot. Minden telepítés, konfiguráció és titok egy verziókövetett repóban él, a Kubernetes-klasztert pedig a Flux igazítja ehhez. Megmutatjuk, hogyan jut el egy új verzió a fejlesztő gépétől az élesig, és hogyan lehet visszalépni, ha kell.

  • DataEdgeplatformmérnök

6 perc olvasás

Egy üzleti rendszer üzemeltetésében a legkockázatosabb pillanat a változás. Egy új verzió, egy átírt beállítás, egy lecserélt jelszó. Ha ezeket valaki kézzel viszi fel a szerverre, két kérdésre nehéz válaszolni: pontosan mi fut most élesben, és mi volt előtte?

A DataEdge rendszerei Kubernetes-platformon futnak, minden modul a saját konténereiben. A változásokat GitOps-szal kezeljük: az éles állapot leírása egy git-repóban van, és a klaszter ehhez igazodik.

Az igazság a repóban van

A GitOps lényege egy mondat: ami nincs a repóban, az nem fut. Minden szolgáltatáshoz tartozik egy telepítési leírás, amely megmondja, melyik verzió fusson, milyen beállításokkal, melyik környezetben. A klaszterben futó Flux folyamatosan összeveti a valós állapotot ezzel a leírással, és ha eltérést talál, a klasztert igazítja a repóhoz.

Ennek három következménye van.

  • Minden változás auditálható. Ki, mikor, mit módosított, és ki hagyta jóvá: ez a git-történetből kiolvasható.

  • A kézi beavatkozás nem marad meg tartósan. Ha valaki mégis közvetlenül módosítana valamit a klaszterben, a következő egyeztetéskor a repó szerinti állapot áll vissza.

  • A visszalépés egy commit. Ha egy kiadás rossznak bizonyul, a változás visszavonása a repóban visszaviszi a klasztert az előző állapotba.

Egy chart minden szolgáltatásnak

Minden szolgáltatás ugyanazzal a közös Helm-charttal települ. A szolgáltatásnak nem kell saját telepítési sablont fenntartania. Elég megmondania, milyen konténerekből áll, melyik porton figyel, és milyen beállítást kap. A chart ebből állítja elő a Kubernetes-objektumokat: a futó példányt, a szolgáltatás-végpontot, a hálózati szabályt, a beállításokat és a titkokat.

YAML
# Egy kitalált szolgáltatás leírása (egyszerűsítve)
minta-api:
  containers:
    api:
      image: <registry>/minta-api:<verzió>
      port: 8000
      resources: { requests: { ... }, limits: { ... } }
      configMap:
        LOG_FORMAT: json
  networkpolicy:
    ingress:
      from:
        - namespace: minta-ugyfel   # csak a saját környezet érheti el

Illusztráció, kitalált nevekkel.

A konténerek névvel kulcsolt térképben szerepelnek, listába rendezés nélkül. Ennek oka gyakorlati: a leírás több forrásból fésülődik össze, például egy nyílt beállításfájlból és egy titkosított titokfájlból. A térképeket a Helm mélyen összefésüli, a listákat viszont egészben cseréli. Listával a titokfájl felülírná a konténerek leírását.

A hiba a rendereléskor akad el

A chart ellenőriz is: már a telepítési objektumok előállításakor hibával megáll, ha valami nem stimmel.

Ellenőrzés

Mit fog meg

Portütközés

két konténer ugyanazon a porton

Duplikált név

két konténer azonos névvel a teljes kiadásban

Hálózati szabály

érvénytelen forrás a hozzáférési listában

Elhelyezési szabály

hiányzó node-választás; több példánynál hiányzó szétterítés

Ütköző beállítás

ugyanaz a kulcs titokként és nyílt beállításként is

Stilizált összefoglaló.

Ezek a hibák így a fejlesztő gépén vagy a CI-ban derülnek ki, a klaszterig nem jutnak el. A chartot minden változásnál lint, renderelés és két független séma- és jó gyakorlat-ellenőrző is átnézi. Új chartverzió csak a fő ágról kerül a registrybe, aláírva.Így fut a rendszer · platformMinden szolgáltatás ugyanazt a chartot használja, ezért egy biztonsági javítás a chartban egyszerre minden szolgáltatásra érvényes lesz a következő kiadással.

Fejlesztői, teszt és éles szint

Minden szolgáltatás három szinten fut: fejlesztői, teszt és éles. Mindegyiknek saját leírása van a repóban. Egy új verzió jellemzően először a fejlesztői, aztán a teszt környezetbe kerül, és csak ezután az élesbe. A három szint ugyanazt a chartot használja, így ami a tesztben működött, ugyanúgy települ élesben is.

Az éles szolgáltatások dedikált éles szervereken futnak, magasabb ütemezési prioritással. Ha a platformon szűkös az erőforrás, az éles példány kapja meg elsőként. Ha egy szolgáltatás több példányban fut, egy szabály szétteríti őket a szerverek között, így egy szerver kiesése nem viszi el mindet.

Beállítás változik, a szolgáltatás magától újraindul

Egy gyakori hiba a kézi üzemeltetésben: valaki átír egy beállítást, de elfelejti újraindítani a szolgáltatást, és az napokig a régi értékkel fut. A chart ezt kiküszöböli. Minden futó példány leírásában ott egy ujjlenyomat a beállításairól és a titkairól:

YAML
# a chart által generált annotációk (illusztráció)
template:
  metadata:
    annotations:
      checksum/config:  "<a beállítások lenyomata>"
      checksum/secrets: "<a titkok lenyomata>"

Ha a beállítás változik, változik a lenyomat is, és a Kubernetes gördülő frissítéssel újraindítja a példányokat. Az új példány csak akkor kap forgalmat, ha az egészség-ellenőrzése sikeres, a régi addig fut. A lenyomat komponensenként számolódik, ezért a backend jelszavának cseréje a frontendet nem indítja újra.

Ha egy kiadás adatbázis-migrációt igényel, az a chartban a kiadás előtt futó, külön feladatként írható le. Mivel minden kiadásnál lefut, úgy kell megírni, hogy az ismételt futás ne okozzon kárt.

Mit lát a platformcsapat?

A GitOps egyik kevésbé látványos előnye, hogy az üzemeltetés kérdései átláthatóvá válnak. A platformhoz tartozik egy belső, csak olvasható áttekintő felület. Ezen minden szolgáltatásról látszik, milyen állapotban van, hány példánya fut egészségesen, és melyik GitOps-objektum kezeli. A fejlesztőnek nem kell a klaszterhez közvetlen hozzáférés ahhoz, hogy lássa, a saját szolgáltatása rendben elindult-e.

A szolgáltatások egészség-ellenőrző végpontokat adnak. Az egyik azt jelzi, hogy a szolgáltatás kész forgalmat fogadni, a másik azt, hogy még él. A platform ezek alapján irányítja a forgalmat, és indítja újra azt a példányt, amelyik nem válaszol. Egy elakadt folyamat így nem marad csendben elakadva.

A naplók strukturált formában, egy központi naplórendszerbe kerülnek, a metrikákat Prometheus gyűjti. Ha egy kiadás után megnő a hibák száma vagy a válaszidő, az a dashboardokon a kiadás időpontjához köthetően látszik, és a git-történetből kiderül, mi változott pontosan abban a percben.

Ez a gyakorlatban rövidebb hibakeresést jelent. Ha egy ügyfél jelzi, hogy délelőtt tíz óta lassabb a rendelésfelvétel, az első kérdés mindig az, mi változott tíz körül. A válasz egy git-naplóban van, időbélyeggel, szerzővel és jóváhagyással, a visszalépés pedig ugyanabból a naplóból indítható. Nem kell találgatni, és nem kell egyenként végigkérdezni a kollégákat sem.

Kérdés

Hol a válasz

Mi fut most élesben?

a GitOps-repó és az áttekintő felület

Mi változott tegnap óta?

a git-történet

Elindult-e rendben az új verzió?

az egészség-ellenőrzés és az áttekintő

Lassabb lett-e valami?

metrikák és naplók

Stilizált összefoglaló.

Egyetlen út az élesig

A kiadás útja minden szolgáltatásnál ugyanaz: változás a repóban, ellenőrzés a CI-ban, jóváhagyás, és a Flux elvégzi a többit. Nincs „csak gyorsan felmásolom” út, kivétel nélkül, sürgős javításnál sem. A sorozat következő része azt mutatja meg, mi történik a konténer-image-dzsel, mielőtt idáig eljut.

Kapcsolódó: Az átállás éjszaka történik. Reggel a bolt kinyit.