DataEdge belülrőlMélyfúrás

Miért oszlopos adattár?

Egy kontroller kérdése egyszerű: mennyi volt az árrés kategóriánként, havonta, az elmúlt egy évben? Egy operatív adatbázisnak ez nehéz kérdés, egy oszlopos adattárnak a napi munka. Megmutatjuk, miért dolgozik a HYPE elemzőrétege ClickHouse-ban, és mit jelent a gyakorlatban a havi particionálás, a rendezési kulcs, a verziózott felülírás és a FINAL.

  • DataEdgeadatmérnök

4 perc olvasás

Egy kontroller ezt kérdezi: mennyi volt az árrés cikk-kategóriánként, havonta, az elmúlt tizenkét hónapban? Ehhez minden eladott sort érinteni kell, de minden sorból csak három-négy adat kell: a dátum, a kategória, az eladási és a beszerzési érték.

Sor szerint vagy oszlop szerint?

Egy operatív adatbázis, amely a kasszát és a raktárt szolgálja ki, sor szerint tárol. Egy eladási tétel minden adata, a cikktől az ÁFA-kulcsig, egymás mellett van a lemezen. Ez a kasszának jó: egy sort ír, egy sort olvas, gyorsan.

Az elemző kérdésnek ez rossz. Ha három oszlop kell, de a sor harminc oszlopból áll, az adatbázis akkor is a teljes sorokat olvassa be. Egy évnyi eladási tételnél ez sok felesleges munka, és az operatív adatbázis közben a kasszát is kiszolgálja.

Az oszlopos adattár oszloponként tárol. A dátumok együtt vannak, a kategóriák együtt, az eladási értékek együtt. A kontroller kérdésére csak azt a három-négy oszlopot olvassa be, amelyre szükség van. Az egy oszlopban álló, hasonló értékek ráadásul jól tömöríthetők, így a lemezről beolvasandó adat is kevesebb.

A HYPE elemzőrétege ezért oszlopos adattárban, ClickHouse-ban fut. Az elemző lekérdezések itt futnak, nem az operatív adatbázison, így a kasszát nem terhelik.

Egy ténytábla felépítése

Így néz ki egy tételszintű árrés-ténytábla leírása, egyszerűsítve:

SQL
-- illusztráció, kitalált nevekkel
CREATE TABLE minta_elemzes.eladas_arres
(
    datum             Date,
    tetel_id          UInt64,
    cikk_id           UInt64,
    bolt_id           UInt32,
    kategoria         LowCardinality(String),
    beszerzesi_forras LowCardinality(String),
    netto_ertek       Decimal(18, 4),
    beszerzesi_ertek  Nullable(Decimal(18, 4)),
    _betoltve         DateTime DEFAULT now()
)
ENGINE = ReplacingMergeTree(_betoltve)
PARTITION BY toYYYYMM(datum)
ORDER BY (datum, cikk_id, tetel_id);

Néhány sor dönti el, hogyan viselkedik a tábla.

Havi particionálás. A PARTITION BY toYYYYMM(datum) minden hónapot külön partícióba tesz. Ha a kérdés egy időszakra szól, a lekérdezés csak az érintett hónapokat olvassa. A régi hónapok érintetlenül állnak, az új sorok a folyó hónapba kerülnek.

Rendezési kulcs. Az ORDER BY (datum, cikk_id, tetel_id) határozza meg, milyen sorrendben áll az adat a partíción belül. Egy napra vagy egy cikkre szűrő lekérdezés így az adat kis szeletét olvassa.

Ismétlődő szöveg. A LowCardinality a kevés különböző értéket felvevő szöveges oszlopoknak szól, mint a kategória vagy a beszerzési ár forrása. A tábla az értéket egyszer tárolja szótárban, a sorokban csak egy kis kód áll.HYPE · elemzőrétegA ténytáblák hónap szerint particionáltak: az eladásoké az eladás dátuma, a raktári tábláké a megrendelés vagy a számla dátuma szerint.

Ha ugyanaz a sor kétszer érkezik

A változásrögzítés természeténél fogva előfordul, hogy egy sor újra megérkezik: módosult, vagy utólag változott a beszerzési párosítása. A ReplacingMergeTree ezt verziózott felülírással kezeli. Az azonos rendezési kulcsú sorok közül a legutoljára betöltött marad meg.

Ez az összevonás azonban a háttérben, később történik. Addig a régi és az új változat egymás mellett áll. Ha egy lekérdezés ilyenkor összegez, a változott sort kétszer számolja. Ezért az elemző lekérdezés a végleges állapotot kéri:

SQL
SELECT toStartOfMonth(datum) AS honap,
       kategoria,
       sum(netto_ertek - beszerzesi_ertek) AS arres
FROM minta_elemzes.eladas_arres FINAL
WHERE datum >= '2025-11-01'
  AND beszerzesi_forras != 'nincs'
GROUP BY honap, kategoria
ORDER BY honap, kategoria;

Illusztráció, kitalált nevekkel.

A FINAL a lekérdezés idejére elvégzi az összevonást, és minden sorból csak a legutolsó változatot adja. A raktári oldalon a táblák emellett rendszeres, teljes összevonást is kapnak, így ott a duplikátumok nem halmozódnak fel; a pontos számhoz ott is FINAL kell.

Mit kap ebből a felhasználó?

A kontroller a kérdését egy dashboardon teszi fel, és nem gondol partíciókra. Amit lát: egy évnyi, tételszintű adatból számolt havi árrés, amely a beszerzési ár utólagos változását is követi, és amelynek lekérdezése a kasszákat nem terheli. A sorozat következő része azt mutatja meg, hogyan épül fel egy tábla, hogy több szerver között is eloszolhasson.

Kapcsolódó: Replikált és elosztott táblák · Vízjel: honnan tudja a szinkron, hol tartott? · Ugyanaz a nap, két árrés. Melyiknek higgyen?