BlogTéma

DataEdge belülről

8 cikk

  1. 3 perc
    DataEdge belülrőlMélyfúrás

    Replikált és elosztott táblák: egy lekérdezés útja

    A HYPE elemzőrétegében minden tábla egy pár: egy helyi, replikált tábla minden shardon, és fölötte egy elosztott tábla, amely egyben mutatja őket. Megmutatjuk, hogyan épül fel egy ilyen pár, hová kerül egy új sor, merre megy egy lekérdezés, és mire kell figyelni, ha a séma változik. A séma kódból generálódik, és a CI ellenőrzi.

    DataEdge · adatmérnök HYPE
  2. 4 perc
    DataEdge belülrőlMélyfúrás

    Miért oszlopos adattár?

    Egy kontroller kérdése egyszerű: mennyi volt az árrés kategóriánként, havonta, az elmúlt egy évben? Egy operatív adatbázisnak ez nehéz kérdés, egy oszlopos adattárnak a napi munka. Megmutatjuk, miért dolgozik a HYPE elemzőrétege ClickHouse-ban, és mit jelent a gyakorlatban a havi particionálás, a rendezési kulcs, a verziózott felülírás és a FINAL.

    DataEdge · adatmérnök HYPE
  3. 4 perc
    DataEdge belülrőlMélyfúrás

    Vízjel: honnan tudja a szinkron, hol tartott?

    A HYPE elemzőrétege folyamatosan, rövid ciklusokban veszi át az adatot az operatív adatbázisból, jellemzően csak az új és a változott sorokat. Ehhez minden táblánál tudnia kell, meddig jutott. Ez a vízjel. Rövid, átnevezett kódrészleteken mutatjuk meg, hogyan működik: verziósorrendű kötegek, több vízjel, utólag változó LOT-párosítás és egy hibanapló, amely mellett a többi szinkron fut tovább.

    DataEdge · adatmérnök HYPE
  4. 6 perc
    DataEdge belülrőlMélyfúrás

    Ha a másik rendszer épp nem válaszol

    Egy integráció ott dől el, amikor valami félremegy: lassú a hálózat, újraindul egy szerver, hibás adat érkezik. A LIKVID minden adatfolyamában ugyanaz a kérdés: mi történik a második próbálkozáskor? Három példán mutatjuk, hogyan lesz egy átvitel ismételhető, öngyógyító és nyomon követhető.

    DataEdge · fejlesztési vezető LIKVIDHERMES NagykerATLAS
  5. 5 perc
    DataEdge belülrőlMélyfúrás

    Egy főkönyv, sok forrás: így épül fel a LIKVID

    A kassza, a raktár, az adóhatóság és a bank mind máskor és más formában küld adatot. A főkönyvnek ebből egyetlen, ellenőrizhető állapotot kell összeraknia. Mutatjuk, milyen rétegekből áll a LIKVID, és melyik réteg mire vigyáz.

    DataEdge · fejlesztési vezető LIKVIDHERMES NagykerATLAS
  6. 4 perc
    DataEdge belülrőlMélyfúrás

    Aláírt image, titkosított titok, zárt hálózat

    Mielőtt egy új verzió elindulhat, a konténer-image-nek több kapun kell átjutnia: titokszkennelés, aláírás, ellenőrzés. A jelszavak titkosítva élnek a repóban, a futó konténer pedig a lehető legkevesebb jogot kapja. Ez a sorozat második része az ellátási lánc védelméről.

    DataEdge · platformmérnök
  7. 6 perc
    DataEdge belülrőlMélyfúrás

    Egy kiadás útja: a változás a repóban kezdődik, a klaszter követi

    Az éles rendszeren senki nem gépel parancsot. Minden telepítés, konfiguráció és titok egy verziókövetett repóban él, a Kubernetes-klasztert pedig a Flux igazítja ehhez. Megmutatjuk, hogyan jut el egy új verzió a fejlesztő gépétől az élesig, és hogyan lehet visszalépni, ha kell.

    DataEdge · platformmérnök
  8. 3 perc
    DataEdge belülrőlMélyfúrás

    Az átállás éjszaka történik. Reggel a bolt kinyit.

    Egy bolt átállítása nálunk húsz munkanappal az éles nap előtt kezdődik, és harminc nappal utána ér véget. Maga az éjszaka csak a látványos rész. A bevezetési csapat munkarendje, belülről.

    DataEdge · bevezetési vezető HERMES KiskerATLAS

Inkább élőben nézné? Bemutatót kérek