Üzleti Intelligencia Hírek, újdonságok és tesztek az üzleti intelligencia és az adattárházak világából

OSBI konferencia - Infobright

Az Infobright 2005-ben alapított fiatal cég, , amely 2008-ban nyergelt át az OpenSource fékevesztetten vágtázó karácsonyi örvöstatujára. Az egyik alapító, Dominik Slezak nálunk járt, és ha már erre kanyarodott elő is adott az OSBI konferencián.

Egyébként az úriember az Infobright varsói K+F központjának vezető kutatója.
Az általa tartott prezentáció tanulságaiból (is) merítkezik ez a post.

Az Infobright oszlop alapú adatbáziskezelő levén az adatot sorok helyett, - és most jön a megdöbbentő fordulat - snájdig kis címkézett matroska babákban, nameg oszlop alapon tárolja.
Az oszlop alapú raktározás azért is jó dolog, mivel egy oszlop azonos típusú elemeket tartalmaz - a sorokkal szemben - ezzel egy nagyságrenddel javul az adatok tömöríthetősége.
Hovatovább, fokozva az izgalmakat, az oszlopokat a dbms-ben lapuló jótékony manók tovább szegmentálják kisebb adatcsomagokká, majd a keletkezett pakkokhoz választják ki az optimális kompressziós algoritmust Nyilas Mihánynak való postázás előtt.

Ezekre a csomagokra telepedik rá a Knowledge Grid, amely egyfajta intelligens indexként viselkedik. A Data Pack node-ok statisztikát tárolnak a 65K-s adatcsomagokba rejtett információról, míg a Knowladge node-ok az adatcsomagokra és oszlopokra vonatkozó további metaadatot tárolják.
A hagyományos indexekkel szemben ezt az adminisztratív réteget a dbms automatikusan hozza létre és tartja karban.

A karmester szerepében az optimizer modul tetszeleg, ő határozza meg a knowladge grid segítségével azt a minimális adatcsomaghalmazt, amelynek kitömörítése a query megválaszolásához szükséges.

Dominik becsszóra ígérte, hogy a tapasztalatok alapján a kompresszió mértéke átlagban eléri a 10:1-es rátát, így 10TB-os agyaras törpetúzok génállományt rejtő tábláinkat 1TB-ra tömöríthetjük az agyar elvesztése nélkül.
A srácoknak mindezt sikerült egy MySQL-be tömködniük, amellyel szervírozzák annak minden előnyét és hátrányát is.
A MySQL által kínált kapcsolódási lehetőségek garmadája mindenképp javára válik azonban az Infobrightnak.

Ez mind bennevan a community editionben, azaz az ICE-ban. Hol az üzlet, miért nem tekeredünk rá rögtön az Infobrightra, mint kisnyugdíjas a 80-as troli pótülésére? Ez bizony az az apróság, hogy a közösségi verzióból kihagyták a DML funkcionalitást.
Az INSERT/UPDATE fájó hiányát - amelyet egyébként az előadáson is hiányolt pár kérdező - enyhíti az Infobright Loader modul, azonban ennek limitált képességei sok esetben show-stopper lesz az ICE bevezetésében. 

Na és persze a másik kritikus pont (és vessző): az UTF-8 támogatás teljes hiánya. A jelek szerint Dominik is hiányolja a cicafarkas ę betűiket a repertoárból, mivel jövő év elejére ígérte a "továbbfejlesztett", europáner változatot.

Az IEE-ben, azaz az Enterprise verzióban már évi 13K $/TB zöldhasúért cserébe természetesen megkapjuk a DML-ünket, a teljes körű supporttal egyetemben.
A két verziót összehasonlító featúramátrix már csak egy kattintásmyira.

A bejegyzés trackback címe:

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben és az adatvédelmi tájékoztatóban.