Egy kiadás útja: a változás a repóban kezdődik, a klaszter követi
Az éles rendszeren senki nem gépel parancsot. Minden telepítés, konfiguráció és titok egy verziókövetett repóban él, a Kubernetes-klasztert pedig a Flux igazítja ehhez. Megmutatjuk, hogyan jut el egy új verzió a fejlesztő gépétől az élesig, és hogyan lehet visszalépni, ha kell.
Tartalom
Egy üzleti rendszer üzemeltetésében a legkockázatosabb pillanat a változás. Egy új verzió, egy átírt beállítás, egy lecserélt jelszó. Ha ezeket valaki kézzel viszi fel a szerverre, két kérdésre nehéz válaszolni: pontosan mi fut most élesben, és mi volt előtte?
A DataEdge rendszerei Kubernetes-platformon futnak, minden modul a saját konténereiben. A változásokat GitOps-szal kezeljük: az éles állapot leírása egy git-repóban van, és a klaszter ehhez igazodik.
Az igazság a repóban van
A GitOps lényege egy mondat: ami nincs a repóban, az nem fut. Minden szolgáltatáshoz tartozik egy telepítési leírás, amely megmondja, melyik verzió fusson, milyen beállításokkal, melyik környezetben. A klaszterben futó Flux folyamatosan összeveti a valós állapotot ezzel a leírással, és ha eltérést talál, a klasztert igazítja a repóhoz.
Ennek három következménye van.
Minden változás auditálható. Ki, mikor, mit módosított, és ki hagyta jóvá: ez a git-történetből kiolvasható.
A kézi beavatkozás nem marad meg tartósan. Ha valaki mégis közvetlenül módosítana valamit a klaszterben, a következő egyeztetéskor a repó szerinti állapot áll vissza.
A visszalépés egy commit. Ha egy kiadás rossznak bizonyul, a változás visszavonása a repóban visszaviszi a klasztert az előző állapotba.
Egy chart minden szolgáltatásnak
Minden szolgáltatás ugyanazzal a közös Helm-charttal települ. A szolgáltatásnak nem kell saját telepítési sablont fenntartania. Elég megmondania, milyen konténerekből áll, melyik porton figyel, és milyen beállítást kap. A chart ebből állítja elő a Kubernetes-objektumokat: a futó példányt, a szolgáltatás-végpontot, a hálózati szabályt, a beállításokat és a titkokat.
# Egy kitalált szolgáltatás leírása (egyszerűsítve)
minta-api:
containers:
api:
image: <registry>/minta-api:<verzió>
port: 8000
resources: { requests: { ... }, limits: { ... } }
configMap:
LOG_FORMAT: json
networkpolicy:
ingress:
from:
- namespace: minta-ugyfel # csak a saját környezet érheti elIllusztráció, kitalált nevekkel.
A konténerek névvel kulcsolt térképben szerepelnek, listába rendezés nélkül. Ennek oka gyakorlati: a leírás több forrásból fésülődik össze, például egy nyílt beállításfájlból és egy titkosított titokfájlból. A térképeket a Helm mélyen összefésüli, a listákat viszont egészben cseréli. Listával a titokfájl felülírná a konténerek leírását.
A hiba a rendereléskor akad el
A chart ellenőriz is: már a telepítési objektumok előállításakor hibával megáll, ha valami nem stimmel.
Ellenőrzés | Mit fog meg |
|---|---|
Portütközés | két konténer ugyanazon a porton |
Duplikált név | két konténer azonos névvel a teljes kiadásban |
Hálózati szabály | érvénytelen forrás a hozzáférési listában |
Elhelyezési szabály | hiányzó node-választás; több példánynál hiányzó szétterítés |
Ütköző beállítás | ugyanaz a kulcs titokként és nyílt beállításként is |
Stilizált összefoglaló.
Ezek a hibák így a fejlesztő gépén vagy a CI-ban derülnek ki, a klaszterig nem jutnak el. A chartot minden változásnál lint, renderelés és két független séma- és jó gyakorlat-ellenőrző is átnézi. Új chartverzió csak a fő ágról kerül a registrybe, aláírva.Így fut a rendszer · platformMinden szolgáltatás ugyanazt a chartot használja, ezért egy biztonsági javítás a chartban egyszerre minden szolgáltatásra érvényes lesz a következő kiadással.
Fejlesztői, teszt és éles szint
Minden szolgáltatás három szinten fut: fejlesztői, teszt és éles. Mindegyiknek saját leírása van a repóban. Egy új verzió jellemzően először a fejlesztői, aztán a teszt környezetbe kerül, és csak ezután az élesbe. A három szint ugyanazt a chartot használja, így ami a tesztben működött, ugyanúgy települ élesben is.
Az éles szolgáltatások dedikált éles szervereken futnak, magasabb ütemezési prioritással. Ha a platformon szűkös az erőforrás, az éles példány kapja meg elsőként. Ha egy szolgáltatás több példányban fut, egy szabály szétteríti őket a szerverek között, így egy szerver kiesése nem viszi el mindet.
Beállítás változik, a szolgáltatás magától újraindul
Egy gyakori hiba a kézi üzemeltetésben: valaki átír egy beállítást, de elfelejti újraindítani a szolgáltatást, és az napokig a régi értékkel fut. A chart ezt kiküszöböli. Minden futó példány leírásában ott egy ujjlenyomat a beállításairól és a titkairól:
# a chart által generált annotációk (illusztráció)
template:
metadata:
annotations:
checksum/config: "<a beállítások lenyomata>"
checksum/secrets: "<a titkok lenyomata>"Ha a beállítás változik, változik a lenyomat is, és a Kubernetes gördülő frissítéssel újraindítja a példányokat. Az új példány csak akkor kap forgalmat, ha az egészség-ellenőrzése sikeres, a régi addig fut. A lenyomat komponensenként számolódik, ezért a backend jelszavának cseréje a frontendet nem indítja újra.
Ha egy kiadás adatbázis-migrációt igényel, az a chartban a kiadás előtt futó, külön feladatként írható le. Mivel minden kiadásnál lefut, úgy kell megírni, hogy az ismételt futás ne okozzon kárt.
Mit lát a platformcsapat?
A GitOps egyik kevésbé látványos előnye, hogy az üzemeltetés kérdései átláthatóvá válnak. A platformhoz tartozik egy belső, csak olvasható áttekintő felület. Ezen minden szolgáltatásról látszik, milyen állapotban van, hány példánya fut egészségesen, és melyik GitOps-objektum kezeli. A fejlesztőnek nem kell a klaszterhez közvetlen hozzáférés ahhoz, hogy lássa, a saját szolgáltatása rendben elindult-e.
A szolgáltatások egészség-ellenőrző végpontokat adnak. Az egyik azt jelzi, hogy a szolgáltatás kész forgalmat fogadni, a másik azt, hogy még él. A platform ezek alapján irányítja a forgalmat, és indítja újra azt a példányt, amelyik nem válaszol. Egy elakadt folyamat így nem marad csendben elakadva.
A naplók strukturált formában, egy központi naplórendszerbe kerülnek, a metrikákat Prometheus gyűjti. Ha egy kiadás után megnő a hibák száma vagy a válaszidő, az a dashboardokon a kiadás időpontjához köthetően látszik, és a git-történetből kiderül, mi változott pontosan abban a percben.
Ez a gyakorlatban rövidebb hibakeresést jelent. Ha egy ügyfél jelzi, hogy délelőtt tíz óta lassabb a rendelésfelvétel, az első kérdés mindig az, mi változott tíz körül. A válasz egy git-naplóban van, időbélyeggel, szerzővel és jóváhagyással, a visszalépés pedig ugyanabból a naplóból indítható. Nem kell találgatni, és nem kell egyenként végigkérdezni a kollégákat sem.
Kérdés | Hol a válasz |
|---|---|
Mi fut most élesben? | a GitOps-repó és az áttekintő felület |
Mi változott tegnap óta? | a git-történet |
Elindult-e rendben az új verzió? | az egészség-ellenőrzés és az áttekintő |
Lassabb lett-e valami? | metrikák és naplók |
Stilizált összefoglaló.
Egyetlen út az élesig
A kiadás útja minden szolgáltatásnál ugyanaz: változás a repóban, ellenőrzés a CI-ban, jóváhagyás, és a Flux elvégzi a többit. Nincs „csak gyorsan felmásolom” út, kivétel nélkül, sürgős javításnál sem. A sorozat következő része azt mutatja meg, mi történik a konténer-image-dzsel, mielőtt idáig eljut.
Kapcsolódó: Az átállás éjszaka történik. Reggel a bolt kinyit.