26
11/2012
1

Cloudera Impala, avagy a BigData egy nagy állatkert

A BigData hype egyre másra hívja életre a Hadoop elefántos és más állatos logóval rendelkező termékeket gyártó cégeket. A startup-ok mögött, mellett, előtt meg ott izzadnak és hiperventillálnak a "régi" (értsd: már több mint 5 éves) piaci szereplők is, pl itt van a Cloudera, aki az egyik piacvezető Hadoop termék fejlesztő illetve támogatást nyújtó cég. Gondolom érezték, hogy körmükre ég a gyertya, a Hive-al, de főleg a Google BigQuery-vel nehezen veszik föl a versenyt, hát kifejlesztettek az Impala-t, egy új, gyorsabb, SQL szerű kódok végrehajtására jobban optimalizált hadoop (HDFS vagy HBase) alapokra épülő , nyílt forráskódú alkalmazást, egy elosztott adatbázis kezelő rendszert. Ezt a bejelentések óta Hive helyettesítőnek is titulálják, és az első publikus release - ami 2013 Q1-ben várható - is vélhetően a Hive-al való kompatibilitásra, a Hive felhasználók egy modernebb platformra való átcsábítására fog koncentrálni.Az újdonságokról pár szóban: az Impala esetében a hadoop cluster node-okon egy új daemon fut, ami csökkenti a MapReduce java process indítgatásokból , kommunikációból származó késleltetéseket, így sokkal inkább alkalmas lesz real-time közeli lekérdezések futtatására, interaktív (pl BI eszközökből származó) jellegű SQL terhelés kiszolgálására. (a Cloudera-s srácok egyébként bevallottan a Google BigQuery alapjául is szolgáló Dremel projectből is merítettek inspirációt).
Az Impala persze még sorjás, pl DDL-eket még nem is hajt végre, azokat egy Hive clusterben kell lefuttatni és a párhuzamosan futó Impala keretrendszerből lehet ezeket a táblákat használni.
Az Impala megjelenését persze üdvözölte minden BigData piaci elemző, mert lesz verseny, meg innováció, meg lazacos szendvicsek a sajtótájékoztatókon, és ennek örülünk mi is. Pláne, hogy a BI eszközök krémje már be is jelentette, hogy a megjelenés után iziben lesz támogatás és kompatibilitás az Impala-hoz Qlikview-ból, Tableau-ból, MicroStrategy-ből, Pentaho-ból.
Arra azért kíváncsi vagyok, mikor jön ki egy "zoo keeper" kódnevű platform független framework projekt, ami segít kordában tartani a BigData állatkert elburjánzó lakóit.

A bejegyzés trackback címe:

http://dwbi.blog.hu/api/trackback/id/tr594926347

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben.