Vízjel: honnan tudja a szinkron, hol tartott?
A HYPE elemzőrétege folyamatosan, rövid ciklusokban veszi át az adatot az operatív adatbázisból, jellemzően csak az új és a változott sorokat. Ehhez minden táblánál tudnia kell, meddig jutott. Ez a vízjel. Rövid, átnevezett kódrészleteken mutatjuk meg, hogyan működik: verziósorrendű kötegek, több vízjel, utólag változó LOT-párosítás és egy hibanapló, amely mellett a többi szinkron fut tovább.
Tartalom
Egy elemzőréteg akkor hasznos, ha frissen tartja az adatot, és közben nem terheli a forrást. A legegyszerűbb megoldás, minden ciklusban mindent újratölteni, csak kis adatmennyiségnél működik. Egy hálózat eladási tételeinél a teljes újratöltés sokáig tartana, és a forrásadatbázist is feleslegesen dolgoztatná.
A HYPE ezért változásrögzítéssel (CDC) dolgozik. A szinkron folyamatosan, rövid ciklusokban fut, és minden ciklusban jellemzően csak az új és a változott sorokat viszi át a HERMES adatbázis-másolatából és az ATLAS törzsadatából az oszlopos adattárba, ClickHouse-ba. Hogy mi számít újnak, azt a vízjel mondja meg.
Egy monoton verzióoszlop
Minden inkrementálisan töltött forrástáblának van egy verzióoszlopa, amelynek értéke minden beszúráskor és módosításkor nő. A szinkron megjegyzi, mekkora volt a legnagyobb átvitt verzió, és a következő ciklusban csak az e fölötti sorokat kéri, verziósorrendben, kötegekben:
-- egy köteg a forrásból (illusztráció, kitalált nevekkel)
SELECT t.id, t.cikk_id, t.bolt_id, t.mennyiseg,
t.netto_ertek, t.datum, t.verzio
FROM eladas_tetel t
WHERE t.verzio > :utolso_verzio
ORDER BY t.verzio
LIMIT :koteg_meret;A verziósorrend a lényeg. Ha a szinkron egy köteg közben megáll, a vízjel az utoljára sikeresen átvitt verzión áll, és a következő ciklus onnan folytatja. Sor nem marad ki, és ami kétszer jön át, azt a céltábla verziózott felülírással kezeli (erről a Miért oszlopos adattár? szól). A forrásra így kis, kötegelt lekérdezések mennek.
A vízjel a céloldalon él
A vízjelet a szinkron az elemzőrétegben tárolja, egy kis táblában. Így a szinkron újraindítás után is tudja, hol tartott, és egy lekérdezéssel bárki megnézheti, melyik tábla meddig jutott, mikor és hány sorral.
# egy ciklus egy táblára (illusztráció)
def szinkron(tabla):
utolso = vizjel_olvas(tabla) # SELECT a _vizjel táblából
while True:
sorok = forras_koteg(tabla, utolso) # a fenti SELECT
if not sorok:
break
cel_beir(tabla, sorok) # INSERT az elemzőrétegbe
utolso = sorok[-1]["verzio"]
vizjel_ir(tabla, utolso, len(sorok)) # csak sikeres írás után lépÚjratöltéskor egy sor első betöltésének időbélyege megmarad, csak az utolsó betöltésé lép előre. Utólag is látszik, mikor jelent meg egy sor először az elemzőrétegben, és mikor frissült utoljára.HYPE · változásrögzítésLeállításkor a szinkron a folyamatban lévő ciklust befejezi, és csak utána áll meg. Félig átvitt köteg így nem marad.
Több vízjel, több út
Az eladási oldalon három út fut egymás mellett, mindegyik saját vízjellel:
ténytábla: az eladási tételek, a fenti módon;
dimenziók: cikk, bolt, partner, táblánként saját vízjellel és saját adatbázis-kapcsolattal;
LOT-párosítás frissítése: ha egy eladás beszerzési párosítása utólag változik, az érintett sorok árrése újraszámolódik.
Egy eladás LOT-párosítása akkor is változhat, amikor maga az eladási sor már rég átkerült. Ezért ez az út csak olyan sorokat számol újra, amelyeket a fő vízjel már átvitt. Ami még nem ment át, az a saját útján, a friss párosítással érkezik:
-- utólag változott párosítás, csak a már átvitt sorokra (illusztráció)
SELECT p.eladas_tetel_id
FROM lot_parositas p
JOIN eladas_tetel t ON t.id = p.eladas_tetel_id
WHERE p.verzio > :parositas_vizjel
AND t.verzio <= :fo_vizjel;Így a két út nem zavarja egymást. Egy sor sem számolódik kétszer, és egyik sem marad ki.
Ha valami elromlik
Minden dimenzió saját kapcsolaton fut. Ha egy dimenzió betöltése hibára fut, például mert a forrástábla átmenetileg nem érhető el, a hiba a hibanaplóba kerül az időponttal, a tábla nevével és az üzenettel. A többi szinkron közben fut tovább: a ténytábla és a többi dimenzió frissül, a hibás tábla vízjele pedig ott marad, ahol volt. A következő sikeres ciklus onnan folytatja.
Mit nyer ebből az üzemeltetés?
A vízjeles szinkron kiszámítható. Bármikor látszik, melyik tábla meddig jutott, újraindítás után nem kell kézzel beállítani, honnan folytassa, és egy hibás tábla nem állítja meg a többit. A forrás kis kötegeket kap, az elemző lekérdezés az elemzőrétegben fut, így a kasszát nem terheli.
Kapcsolódó: Miért oszlopos adattár? · Minden eladott sor a saját beszerzési árán · Ha a másik rendszer épp nem válaszol