- 3 percDataEdge belülrőlMélyfúrás
Replikált és elosztott táblák: egy lekérdezés útja
A HYPE elemzőrétegében minden tábla egy pár: egy helyi, replikált tábla minden shardon, és fölötte egy elosztott tábla, amely egyben mutatja őket. Megmutatjuk, hogyan épül fel egy ilyen pár, hová kerül egy új sor, merre megy egy lekérdezés, és mire kell figyelni, ha a séma változik. A séma kódból generálódik, és a CI ellenőrzi.
DataEdge · adatmérnök HYPE - 4 percDataEdge belülrőlMélyfúrás
Miért oszlopos adattár?
Egy kontroller kérdése egyszerű: mennyi volt az árrés kategóriánként, havonta, az elmúlt egy évben? Egy operatív adatbázisnak ez nehéz kérdés, egy oszlopos adattárnak a napi munka. Megmutatjuk, miért dolgozik a HYPE elemzőrétege ClickHouse-ban, és mit jelent a gyakorlatban a havi particionálás, a rendezési kulcs, a verziózott felülírás és a FINAL.
DataEdge · adatmérnök HYPE - 4 percDataEdge belülrőlMélyfúrás
Vízjel: honnan tudja a szinkron, hol tartott?
A HYPE elemzőrétege folyamatosan, rövid ciklusokban veszi át az adatot az operatív adatbázisból, jellemzően csak az új és a változott sorokat. Ehhez minden táblánál tudnia kell, meddig jutott. Ez a vízjel. Rövid, átnevezett kódrészleteken mutatjuk meg, hogyan működik: verziósorrendű kötegek, több vízjel, utólag változó LOT-párosítás és egy hibanapló, amely mellett a többi szinkron fut tovább.
DataEdge · adatmérnök HYPE - 6 percDataEdge belülrőlMélyfúrás
Ha a másik rendszer épp nem válaszol
Egy integráció ott dől el, amikor valami félremegy: lassú a hálózat, újraindul egy szerver, hibás adat érkezik. A LIKVID minden adatfolyamában ugyanaz a kérdés: mi történik a második próbálkozáskor? Három példán mutatjuk, hogyan lesz egy átvitel ismételhető, öngyógyító és nyomon követhető.
DataEdge · fejlesztési vezető LIKVIDHERMES NagykerATLAS - 5 percDataEdge belülrőlMélyfúrás
Egy főkönyv, sok forrás: így épül fel a LIKVID
A kassza, a raktár, az adóhatóság és a bank mind máskor és más formában küld adatot. A főkönyvnek ebből egyetlen, ellenőrizhető állapotot kell összeraknia. Mutatjuk, milyen rétegekből áll a LIKVID, és melyik réteg mire vigyáz.
DataEdge · fejlesztési vezető LIKVIDHERMES NagykerATLAS - 4 percDataEdge belülrőlMélyfúrás
Aláírt image, titkosított titok, zárt hálózat
Mielőtt egy új verzió elindulhat, a konténer-image-nek több kapun kell átjutnia: titokszkennelés, aláírás, ellenőrzés. A jelszavak titkosítva élnek a repóban, a futó konténer pedig a lehető legkevesebb jogot kapja. Ez a sorozat második része az ellátási lánc védelméről.
DataEdge · platformmérnök - 6 percDataEdge belülrőlMélyfúrás
Egy kiadás útja: a változás a repóban kezdődik, a klaszter követi
Az éles rendszeren senki nem gépel parancsot. Minden telepítés, konfiguráció és titok egy verziókövetett repóban él, a Kubernetes-klasztert pedig a Flux igazítja ehhez. Megmutatjuk, hogyan jut el egy új verzió a fejlesztő gépétől az élesig, és hogyan lehet visszalépni, ha kell.
DataEdge · platformmérnök - 3 percDataEdge belülrőlMélyfúrás
Az átállás éjszaka történik. Reggel a bolt kinyit.
Egy bolt átállítása nálunk húsz munkanappal az éles nap előtt kezdődik, és harminc nappal utána ér véget. Maga az éjszaka csak a látványos rész. A bevezetési csapat munkarendje, belülről.
DataEdge · bevezetési vezető HERMES KiskerATLAS
Inkább élőben nézné? Bemutatót kérek