Miért oszlopos adattár?
Egy kontroller kérdése egyszerű: mennyi volt az árrés kategóriánként, havonta, az elmúlt egy évben? Egy operatív adatbázisnak ez nehéz kérdés, egy oszlopos adattárnak a napi munka. Megmutatjuk, miért dolgozik a HYPE elemzőrétege ClickHouse-ban, és mit jelent a gyakorlatban a havi particionálás, a rendezési kulcs, a verziózott felülírás és a FINAL.
Tartalom
Egy kontroller ezt kérdezi: mennyi volt az árrés cikk-kategóriánként, havonta, az elmúlt tizenkét hónapban? Ehhez minden eladott sort érinteni kell, de minden sorból csak három-négy adat kell: a dátum, a kategória, az eladási és a beszerzési érték.
Sor szerint vagy oszlop szerint?
Egy operatív adatbázis, amely a kasszát és a raktárt szolgálja ki, sor szerint tárol. Egy eladási tétel minden adata, a cikktől az ÁFA-kulcsig, egymás mellett van a lemezen. Ez a kasszának jó: egy sort ír, egy sort olvas, gyorsan.
Az elemző kérdésnek ez rossz. Ha három oszlop kell, de a sor harminc oszlopból áll, az adatbázis akkor is a teljes sorokat olvassa be. Egy évnyi eladási tételnél ez sok felesleges munka, és az operatív adatbázis közben a kasszát is kiszolgálja.
Az oszlopos adattár oszloponként tárol. A dátumok együtt vannak, a kategóriák együtt, az eladási értékek együtt. A kontroller kérdésére csak azt a három-négy oszlopot olvassa be, amelyre szükség van. Az egy oszlopban álló, hasonló értékek ráadásul jól tömöríthetők, így a lemezről beolvasandó adat is kevesebb.
A HYPE elemzőrétege ezért oszlopos adattárban, ClickHouse-ban fut. Az elemző lekérdezések itt futnak, nem az operatív adatbázison, így a kasszát nem terhelik.
Egy ténytábla felépítése
Így néz ki egy tételszintű árrés-ténytábla leírása, egyszerűsítve:
-- illusztráció, kitalált nevekkel
CREATE TABLE minta_elemzes.eladas_arres
(
datum Date,
tetel_id UInt64,
cikk_id UInt64,
bolt_id UInt32,
kategoria LowCardinality(String),
beszerzesi_forras LowCardinality(String),
netto_ertek Decimal(18, 4),
beszerzesi_ertek Nullable(Decimal(18, 4)),
_betoltve DateTime DEFAULT now()
)
ENGINE = ReplacingMergeTree(_betoltve)
PARTITION BY toYYYYMM(datum)
ORDER BY (datum, cikk_id, tetel_id);Néhány sor dönti el, hogyan viselkedik a tábla.
Havi particionálás. A PARTITION BY toYYYYMM(datum) minden hónapot külön partícióba tesz. Ha a kérdés egy időszakra szól, a lekérdezés csak az érintett hónapokat olvassa. A régi hónapok érintetlenül állnak, az új sorok a folyó hónapba kerülnek.
Rendezési kulcs. Az ORDER BY (datum, cikk_id, tetel_id) határozza meg, milyen sorrendben áll az adat a partíción belül. Egy napra vagy egy cikkre szűrő lekérdezés így az adat kis szeletét olvassa.
Ismétlődő szöveg. A LowCardinality a kevés különböző értéket felvevő szöveges oszlopoknak szól, mint a kategória vagy a beszerzési ár forrása. A tábla az értéket egyszer tárolja szótárban, a sorokban csak egy kis kód áll.HYPE · elemzőrétegA ténytáblák hónap szerint particionáltak: az eladásoké az eladás dátuma, a raktári tábláké a megrendelés vagy a számla dátuma szerint.
Ha ugyanaz a sor kétszer érkezik
A változásrögzítés természeténél fogva előfordul, hogy egy sor újra megérkezik: módosult, vagy utólag változott a beszerzési párosítása. A ReplacingMergeTree ezt verziózott felülírással kezeli. Az azonos rendezési kulcsú sorok közül a legutoljára betöltött marad meg.
Ez az összevonás azonban a háttérben, később történik. Addig a régi és az új változat egymás mellett áll. Ha egy lekérdezés ilyenkor összegez, a változott sort kétszer számolja. Ezért az elemző lekérdezés a végleges állapotot kéri:
SELECT toStartOfMonth(datum) AS honap,
kategoria,
sum(netto_ertek - beszerzesi_ertek) AS arres
FROM minta_elemzes.eladas_arres FINAL
WHERE datum >= '2025-11-01'
AND beszerzesi_forras != 'nincs'
GROUP BY honap, kategoria
ORDER BY honap, kategoria;Illusztráció, kitalált nevekkel.
A FINAL a lekérdezés idejére elvégzi az összevonást, és minden sorból csak a legutolsó változatot adja. A raktári oldalon a táblák emellett rendszeres, teljes összevonást is kapnak, így ott a duplikátumok nem halmozódnak fel; a pontos számhoz ott is FINAL kell.
Mit kap ebből a felhasználó?
A kontroller a kérdését egy dashboardon teszi fel, és nem gondol partíciókra. Amit lát: egy évnyi, tételszintű adatból számolt havi árrés, amely a beszerzési ár utólagos változását is követi, és amelynek lekérdezése a kasszákat nem terheli. A sorozat következő része azt mutatja meg, hogyan épül fel egy tábla, hogy több szerver között is eloszolhasson.
Kapcsolódó: Replikált és elosztott táblák · Vízjel: honnan tudja a szinkron, hol tartott? · Ugyanaz a nap, két árrés. Melyiknek higgyen?