DataEdge belülrőlMélyfúrás

Replikált és elosztott táblák: egy lekérdezés útja

A HYPE elemzőrétegében minden tábla egy pár: egy helyi, replikált tábla minden shardon, és fölötte egy elosztott tábla, amely egyben mutatja őket. Megmutatjuk, hogyan épül fel egy ilyen pár, hová kerül egy új sor, merre megy egy lekérdezés, és mire kell figyelni, ha a séma változik. A séma kódból generálódik, és a CI ellenőrzi.

  • DataEdgeadatmérnök

3 perc olvasás

A sorozat előző technikai része egyetlen táblát mutatott be: havi partíciók, rendezési kulcs, verziózott felülírás. Az elemzőréteg táblái úgy épülnek, hogy több szerver között is eloszolhassanak. Ez a rész azt mutatja meg, hogyan: a darabok több példányban is meglehetnek, a lekérdező pedig mindebből semmit nem lát.

Két tábla, egy név

Minden tábla az elemzőrétegben egy pár:

  • egy helyi tábla (_local végű) minden shardon, replikált táblamotorral. Ez tárolja ténylegesen az adatot, és a replikák között szinkronban tartja;

  • egy elosztott tábla (Distributed) a helyi táblák fölött. Ez nem tárol semmit, csak tudja, hol vannak a darabok.

SQL
-- illusztráció, kitalált nevekkel
CREATE TABLE minta_elemzes.eladas_arres_local ON CLUSTER minta_klaszter
(
    datum       Date,
    tetel_id    UInt64,
    cikk_id     UInt64,
    netto_ertek Decimal(18, 4),
    _betoltve   DateTime DEFAULT now()
)
ENGINE = ReplicatedReplacingMergeTree(_betoltve)
PARTITION BY toYYYYMM(datum)
ORDER BY (datum, cikk_id, tetel_id);

CREATE TABLE minta_elemzes.eladas_arres ON CLUSTER minta_klaszter
AS minta_elemzes.eladas_arres_local
ENGINE = Distributed(minta_klaszter, minta_elemzes,
                     eladas_arres_local, intHash64(tetel_id));

Az ON CLUSTER miatt mindkét tábla egyetlen utasítással jön létre a klaszter minden szerverén. A replikált motor miatt a helyi tábla shardonként több példányban élhet. Ahol egy shardnak több replikája van, egy szerver kiesésekor ugyanaz az adat egy másik replikán is megvan.HYPE · elemzőrétegA séma így épül fel. Hogy hány shardon és replikán fut, az adatmennyiség szerint dől el.

Hová kerül egy új sor?

Az elosztott tábla utolsó paramétere a sharding kulcs: intHash64(tetel_id). Egy új sor a tétel-azonosítójának hash-e alapján kerül valamelyik shardra. A hash egyenletesen szór, így a sorok nagyjából egyenlően oszlanak el, és egy nagy forgalmú nap vagy egy nagy bolt sem terhel túl egyetlen shardot.

A shardon belül a helyi tábla replikái egymás között szinkronizálnak. A betöltő a sort egyszer írja be, a többi példányra a replikáció viszi át.

Merre megy egy lekérdezés?

Lekérdezni mindig az elosztott táblát kell. Ha egy dashboard a havi árrést kéri, ez történik:

  1. a lekérdezés az elosztott táblához érkezik;

  2. az elosztott tábla továbbküldi minden shard egy replikájának;

  3. minden shard a saját adatán számol: szűr, csoportosít, összegez;

  4. a részeredmények visszajönnek, és az elosztott tábla összefésüli őket.

A nehéz munka így párhuzamosan, a shardokon történik, és csak a részeredmények mozognak a hálózaton. Aki a helyi táblát kérdezi le közvetlenül, csak egy shard adatát kapja, és hibás, csonka számot lát. Ezért a dashboardok és a riportok mindig az elosztott táblára épülnek.

Ha a séma változik

Egy új oszlop felvétele itt két lépés. Az ALTER a helyi táblára megy, mert az tárolja az adatot. Az elosztott tábla az oszloplistáját a létrehozáskor veszi át, és a helyi tábla módosítását nem követi. Mi ezért utána újra létrehozzuk:

SQL
ALTER TABLE minta_elemzes.eladas_arres_local ON CLUSTER minta_klaszter
    ADD COLUMN IF NOT EXISTS kategoria LowCardinality(String);

DROP TABLE IF EXISTS minta_elemzes.eladas_arres ON CLUSTER minta_klaszter;
CREATE TABLE minta_elemzes.eladas_arres ON CLUSTER minta_klaszter
AS minta_elemzes.eladas_arres_local
ENGINE = Distributed(minta_klaszter, minta_elemzes,
                     eladas_arres_local, intHash64(tetel_id));

Az elosztott tábla eldobása adatot nem érint, mert adatot nem tárol, ha nincs benne még ki nem küldött beszúrás. Ezért a cserét a betöltési ciklusok között végezzük. Ha a második lépés elmarad, az új oszlop a helyi táblában ott van, a lekérdezések mégsem látják.

Csak titkosítva

Az elemzőréteg adatbázisa csak titkosított kapcsolatot fogad, saját tanúsítványkiadóval. A szinkronizáló szolgáltatás és a dashboardréteg is TLS-en keresztül kapcsolódik. Titkosítatlan kapcsolatra nincs nyitott út. A szinkronizáló szolgáltatás maga CI-ben épülő, aláírt konténer-image.

Kapcsolódó: Miért oszlopos adattár? · Kiesik egy adatbázis-szerver. Mi történik a következő percben? · Aláírt image, titkosított titok, zárt hálózat