Üzleti Intelligencia Hírek, újdonságok és tesztek az üzleti intelligencia és az adattárházak világából

Cloudera Impala, avagy a BigData egy nagy állatkert

A BigData hype egyre másra hívja életre a Hadoop elefántos és más állatos logóval rendelkező termékeket gyártó cégeket. A startup-ok mögött, mellett, előtt meg ott izzadnak és hiperventillálnak a "régi" (értsd: már több mint 5 éves) piaci szereplők is, pl itt van a Cloudera, aki az egyik piacvezető Hadoop termék fejlesztő illetve támogatást nyújtó cég. Gondolom érezték, hogy körmükre ég a gyertya, a Hive-al, de főleg a Google BigQuery-vel nehezen veszik föl a versenyt, hát kifejlesztettek az Impala-t, egy új, gyorsabb, SQL szerű kódok végrehajtására jobban optimalizált hadoop (HDFS vagy HBase) alapokra épülő , nyílt forráskódú alkalmazást, egy elosztott adatbázis kezelő rendszert. Ezt a bejelentések óta Hive helyettesítőnek is titulálják, és az első publikus release - ami 2013 Q1-ben várható - is vélhetően a Hive-al való kompatibilitásra, a Hive felhasználók egy modernebb platformra való átcsábítására fog koncentrálni.

A BO, a QV és a poligámia

Egy új, izgalmas, aktuális problémába botlottam az elmúlt napokban, amit reményeim szerint még élvezetesebb lesz megoldani, mint egy zsák fehéregeret elengedni egy női fehérnemű boltban.
Van egy nagy cég, ahol már jó pár éve használnak BusinessObjects-et. Persze nem elég jól, mert senki nem úszhatja meg, hogy le ne szóljam, de vannak bejáratott felhasználási módok, univerzumok, az univerzumok alá fejlesztett - tervezett céltáblák, esetenként még adatpiacocskák is. A DWH adatbázis platformja persze a jó öreg Oracle, valami nagy, közös szerveren hostolt instance, talán még virtualizálva is van, közepesen vacak paraméterezéssel és olyan IO-val mint ahogy egy csípőprotézises tengeri sün futja a Cooper tesztet.

De hová tünt a Sybase IQ?

Hogy tovább ostorozzam a SAP-t (hisz mindaddig jópofa rekreációs tevékenység egy X milliárd dolláros forgalmú céget sárral dobálni, mindaddig míg annak legalább pár százaléka nincs a birtokunkban) kesergek egy kicsit az elfeledett, sarokba állított, kispadra ültetett, B oldalra száműzött, már csak este 10 után vetített Sybase IQ-ról.

Tapasztalhattuk, hogy a HANA körüli felhajtás közben szép csöndben eltűnt az IQ a SAP-os marketing anyagokból, mint kapatos vendég zsebórája a kuplerájban. A SAP oldalán alig-alig találkozhattunk vele, egy-két forrásban bukkant fel, például a 15.4-es verzió megjelenése és újdonságai kapcsán. Érdemes még megjegyezni, hogy elég szűkmarkúan, de egy ingyenes, Express edition-t a Sybase / SAP is kiköhögött, bár ez max 5GB adatot kezelhet és production célra nem használható (szóval a játékon és a POC projekteken kívül annyit ér amennyibe kerül).

BO, HANA és más zagyvaságok

Többször panaszkodtam már ennek a blognak a hasábjain, és néhány szerencsétlen kiválasztottnak személyesen is: az elmebetegség határáig nagyra, funkció-gazdagra és ezáltal bonyolultra nőnek a BI eszközök. Különösen igaz ez az SAP BO 4.0-ra, hiszen az enterprise csomagban vagy 8 (!) riportoló technológia található (lehet hogy kihagytam valamit?) amik közt jelentős átfedés is van ugyan, ám az éppen optimális technológia kiválasztására mégsem elég a “válasszuk azt amelyikben van nagy, színes pörgő-forgó chart készlet” heurisztikára alapozott metódust bevetni.

Infobright Appliance, illetve Infopliance

Ha nem a Greenplum lenne a kis dédelgetett ölebem az adattárházas technológiák között, akkor valószínűleg az Infobright hozná nekem az enyhén összenyálazott papucsomat reggelente. Ami igazán kedvemre való mindkét eszközben: a fejlesztők nem kizárólag a sebességet hajszolják, nem csak a leggyorsabb betöltés, legnagyobb adatbázis, leggyorsabb lekérdezés mágikus hármasát emelik piedesztára, hanem vigyázó szemeiket rajta tartják a mezei felhasználó buta kis mindennapi nyűgein, hasfájásán is.

Google Compute Engine

Hát már megint egy Google-s hír, mi is unjuk ezeket egy kicsit, de ez van, belénk ivódott az okos, de segíteni nem akaró ismerőseink által hajtogatott örök igazság: Google a barátod.
Ez a cimboránk az utóbbi időben kicsit visszacsúszott az innovációs versenyben, vagy talán méretéből adódóan már nem minden területen vállalja be / törekszik a nagy kockázatot is jelentő technológiai úttörő szerepre, időnként megelégszik a kisdobos pozícióval és második-harmadik nagy szereplőként tenyerel rá a már többé-kevésbé földerített piacokra. Lett ugye Google Drive a Dropbox nyomdokain, meg Google+ a Facebook farvizén, most (illetve Júniusban asszem - de akkor mink ejtőztünk kissé a napon, de most bepótoljuk kérem) meg előhúzták a gatyakorcból a Compute Engine-t az Amazon, Windows Azure és a RackSpace mumusának.
Semmi extra, semmi sziporkázó ötlet, azt tudja, vagy akár kevesebbet (pl csak Linux virtuális gépek vannak) mint a versenytársak, persze elég jó áron.

BigQuery - Connected

Nagy a kísértés, hogy magyarázkodni kezdjek, miért is halt ki a blog, mint a szép emlékű fehérfarkú erszényesnyúl annak idején, de nem teszem.

Tekintsük ezt a szólás-szünetet egy hosszú, sikeres és rekreációban gazdag periódusnak, aminek azonban vége, és itt az ideje, hogy áldozzunk az adattárházak bitekből ácsolt oltárán.

Az első hírünk hazai pályáról érkezik: a Google BigQuery szolgáltatása, amit mindenki ismer, vagy ha nem akkor most vastag betűkkel bekalapálja a keresőbe (aki még erre is lusta: egy lebutított SQL select-ek futtatására képes, a Google-höz méltóan tengernyi*rengeteg adattal is elboldoguló, végtelenül skálázható, a Google felhőben futó adatbázis jellegű szolgáltatásról van szó), most végre közelebb került az egyszeri BI szakember komfortzónájához. Idáig ugyanis csak a saját API-ján keresztül, vagy pár kiválasztott BI vagy ETL szállító connector-ával lehetett elérni érdemben a BigQuery-t.

Ennek most vége, szóljanak a fanfárok, pukkanjanak a pezsgősdugók, itt van a Starschema Google BigQuery JDBC drivere.

Persze még béta, meg sorjás itt-ott, de elérhető, letölthető, open source, fincsi és ingyenes!
Akinek csak ez kellett ahhoz, hogy a kedvenc BI eszközét BigQuery-ből szolgálja ki adattal, uccu neki, már senki nem áll az útjába!

Az adattárházak mágikus négyszöge - 2012

Idén is, mint már annyiszor, itt vannak a Gartner MQ elemzései, ami azért jó, mert van valaki, akinek a véleményét sokan ismerik, és amivel mi tüntetőleg szembe helyezkedhetünk, és szőrös mellünket döngetve megmondhatjuk, miért nincs igaza. Ráadásul a Gartner várhatóan nem fog beszólni nekünk, mert mint ahogy a föníciaiak oly bölcsen megmondták: „Aquila non captat muscas” és a Gartnernél biztos tudnak főnül.
Mielőtt láttam volna az elemzést, ügyesben elolvastam Curt Monash erről szóló összefoglaló szösszenetét, aztán az elemzést magát és elveimmel ellentétben azt kell mondjam, igaza van!!! Na nem Curt-nak (azért valakivel csak kell ellenkezni), hanem a Gartner-nek. Meg persze nekem, hogy ilyen magasröptű dolgokat olvasok, ahelyett, hogy valami hasznos munkát végeznék. A munkától könnyen isiászt kapok, emésztési zavaraim lesznek és meglevesedik az orrom, hát kinek lenne jó az?

Az Xcelsius tündöklése és bukása

Akik ismernek engem tudhatják, hogy sosem voltam nagy rajongója a Business Objects Xcelsiusnak (most már asszem SAP Dashboard néven fut…). Elismerem, van helye a csilivili, pörgő-forgó chartoknak és a az egy dashboardra megfelelő kontextusban többféle információt egymás mellé pakolni képes eszközöknek. Jobban esik a szemnek a szép, nem görbül meg a top menedzsment nyaka az adatbúvárkodásban, örül a BI konzultáns, mert egy kis pluszpénzért még egy réteget rá lehet fejleszteni a BO riportokra.
Az Xcelsius mégsem lett a kedvencem. Kipróbálva néhány más eszközt, pl a Qlikview-t, Tableau-t, vagy a Microstrategy dashboardokat, szerintem nem az Xcelsius a dashboard építő eszközök Ferrárija. Jobb mint egy Trabant, vannak jó tulajdonságai mint egy tuning Ladának (pl random megjelenő vicces hibák), de ha az autóknál maradunk, a szintje max. egy Skoda, esetleg egy gyengébben felszerelt Ford. Ha a BO Enterprise-ban licenszeljük, akkor az ára ugyan már Ferrári lesz, meg kapunk plusz adatkapcsolati és disztribúciós fícsöröket, de így ez még nem több egy optikai tuning + sport kipuffogó kombónál, jó drágán…

SQL not Dead

2011-ben egy komoly paradigmaváltást élhettünk meg: ez az év leginkább arról szólt, hogy a piac nagy öregjei próbálták maguk alá begyűrni az új technológiákat kifejlesztő, gyorsan piacképes termékké formáló kicsiket, fölvásárlás, vagy a technológia lemásolása útján. Már nem a Greenplum lopja az ötleteket az Oracle-től, hogyan lehet hatékonyan táblateret kezelni, hanem az Oracle próbálja a szeme sarkából kuksizva, feltűnés mentesen lekoppintani, hogyan is kell egy adatbáziskezelő alá / mellé odavarrni egy MapReduce clustert.
Vannak persze fejlesztések ezeken a hype korszakban lévő technológiákon kívül is, de azok nem kapnak olyan publicitást, legfeljebb a nyári gyakorlatot végző marketing szakos egyetemisták lapátolnak össze egy-két kampányt, félgőzzel, hogy meglegyen a féléves házira a hármas alá, de azért beleférjen még a strandolás is.

Infobright - osonópályán

Több korábbi bejegyzésben is beletöröltük kissé a cipőnk orrát az Infobright-ba. Nem csak azért tettük ezt mert jólesett, hanem mert az Infobright lemaradozni látszott a többi adattárházas célú adatbázis mögött. Aki lusta végigolvasni a fél internetet meg a DWBI blog magvas bejegyzéseit, íme egy kis összefoglaló mit szeretünk és mit nem az Infobrightban.

Az Infobright menő, mert:

• Oszlop alapú adatbáziskezelő, azok minden előnyével

Felhők a BusinessObjects alatt

Manapság minden magára valamit is adó BI szoftverszállító telekiabálja a médiát, mint másnapos egyetemista a férfivécét, a mobil BI, OnDemand BI, Self-service BI és egyéb hívószavakkal, amik reményeik szerint fölkelthetik a csirkepöri ebéd után álmosan a neten böngésző IT manager érdeklődését annyira, hogy rákattintson a szoftverszállító honlapjára mielőtt elindul kávét szerezni a délutáni státuszmeetingek előtt. Néhány cég még ennél is messzebbre merészkedik: meghallja az egyszerűbb infrastruktúráért, olcsóbb IT szervezetért, kisebb CAPEX büdzsével is elindítható projektekért rimánkodó CIO-k segélykiáltását és kifejleszt ezt-azt.
A SAP a BusinessObjects felvásárlása óta tényleg rárepült az OnDemand, azaz idegen infrastruktúrán, szolgáltatás alapon (SaaS, software as a service) igénybe vehető BI szoftverek fejlesztésére.
Könnyű neki, mondhatnánk, teszi ezt nem minden előzmény nélkül:

Ki fér még be a vörös kalap alá?

Pletykák terjednek a neten (a pornó videók, jópofa táncoló malacos flash-ek meg a vírusok mellett), miszerint az OpenSource BI és adattárház világ is megérett a „mega” fúziókra (a Cognos felvásárláshoz képest azért vágjunk le pár nullát az elképzelt összegekből). Az egyik RedHat főnöknek szegezték neki a kérdést egy interjún, fognak-e ők BI céget venni, és ha igen, melyiket. Az enyhén mellébeszélős válaszból annyi kiderül, a RedHat-nál logikus lépésnek tartanák az erős Middleware kínálatukat BI irányba bővíteni. Szóba került a Jaspersoft, mint lehetséges célpont, amiben a RedHat-nak már van részesedése.

2011 Oracle Konferencia, HOUG Gyorsjelentés

Idén is megvolt a kötelező HOUG kör, Földi kolléga előadott, én most csak söröztem. A válság talán még mindig rányomta a bélyegét a rendezvényre, nem éreztem a nagyon komoly pörgést, kivétel volt ez alól a rumkóstoló,  a BMW tesztvezetés és persze a hastáncoslányok műsora, ők elég jól pörögtek-forogtak, el kell ismerni. Időközben egy komoly párhuzamot fedeztem föl az Oracle és a SAP működésében (azon túl, hogy mindkettő böszme nagy multi, drága öltönybe burkolt marketing gépezettel, indiai fejlesztőkkel és a céges rendezvényeken szabadjára engedett dekadens hajlamokkal rendelkezik): ugyanazt a vérprofi italszakértő srácot bérelték föl a kóstoló levezénylésére, csak míg a SAP konferencián whisky-be kellett mártogatni a szivar nyelét ahhoz, hogy nagypolgári attitűdöt mutasson az enyhén elázott konferencia látogató, az Oracle-nél a rum felhörpintése után kellett gyümölcsös zamatokról, vanília aromáról és érett, testes ízhatásról szóló kiselőadások után buzgón bólogatni.

SAP BusinessObjects XI 4.0 - Első tapasztalatok

Mivel abban a megtiszteltetésben lehettet részem, hogy kiválasztottak a legújabb SAP BusinessObjects XI 4.0 béta-tesztelésére (talán a sok feladott service request, esetleg a SAP Developer Networkos munkáink segíthettek), mindenesetre az early-access program keretében a csapatunk már vadul kattintgatja a forradalmi újításokat tartalmazó új BI Platformot. Hogy mik a fő változások, és mik az első pár hét használat után a tapasztalatok, azt nézzük szép sorjában.

MySQL hírek: az MS killer

Volt sok polémia és találgatás, mi a marharépának kell annyira a MySQL az Oracle-nek, hogy szembeszálljon érte még a trösztellenes hivatalok vontcsövű, forgótáras aktakukacaival is? Vajon hova pozícionálja a termékvonalában a MySQL-t egy olyan szállító, akinek adatbázis technológiával már tele a padlás? Kinek fogja azt mondani, vegyél Oracle helyett MySQL-t?

Tera(ster)data egyesülés

Mint a kombájn, aminek besörözött a sofőrje és most levág mindent a búzától a birkanyájig: a technológiai versenyben nagyságuk, lassúságuk, esetleg kockázatkerülő menedzsmentjük, vagy a nyakukon hurcolt kompatibilitási elvárásaik miatt lemaradóban lévő, (vagy a lemaradás lehetősége miatt is aggódó) generikus fejlődés helyett idegen génállománnyal való keresztezésre, mesterséges mutációra kényszerített, nagy piaci részesedéssel és tőkével rendelkező gyártók válogatás nélkül fölvásárolnak minden útjukba eső innovatív  technológiát.

MapReduce SQL-eseknek

AZ SQL írásban, relációs adatbázis kezelésben megkérgesedett tenyerű bitvadászoknak, mint nekem is, néha nehezükre esik megérteni, mit és hogyan csinál egy Map-Reduce lekérdezés. Aki csak kicsit is érzi a bizsergést az ujjbegyeiben, ha a végtelenségbe skálázható MapReduce implementációk által kezelt tömérdek adatra gondol, az vagy látogassa meg az ideggyógyászát, vagy töltsön el 5 percet egyik kedvenc NoSQL-es blogunk eme bejegyzésének olvasgatásával. Tiszta, egyszerű, szemléletes összerendelését láthatjuk egy SQL lekérdezésnek és egy MapReduce scriptnek.

Egy meg nem született adattárház margójára

Az adattárház szakmában dolgozók kicsit olyanok, mint Móricka, akinek mindenről AZ jut az eszébe. És hát Shakespeare óta tudjuk, hogy Adattárház az egész világ, s dimenzió benne minden férfi és nő… (bocs). Pl. nekem, a képzavarok  koronázatlan uralkodójának is az adattárházak jutottak eszembe az Index cikkének olvasása közben. Méghozzá egy olyan adattárház, ami meg sem született.
Vigyázat, a politikai posvány zátonyos partvidékét kénytelen-kelletlen, de mindenképp veszélyesen megközelítő okfejtésem következik.

Mire figyeljenek a BusinessObjects felhasználók 2011-ben?

Hasznos és érdektelen információkat egyaránt tartalmazó bejegyzést olvastam nemrégen Dallas Marks tollából a BO felhasználók 2011-es „javasolt” fókusz területeiről. A bejegyzés kiemelendő jó tulajdonságai közé tartozik, hogy nem hord össze hetet-havat a BO 4.0-ról, ami 2011-ben jön és köztudomásúlag a minden bajt megoldó végső gyógyszer lesz az összes BO felhasználó számára, eljövetele mosolyt csal a szenvedő BI menedzserek arcára, enni kapnak a 3. világ éhezői és beköszönt a mindenki számára kötelező érvényű világbéke. Ezzel szemben a bejegyzés gondolkodásra késztetett (igen, még engem is) és némely esetben az én mégoly kritikus világnézetemmel (miszerint mindenki hülye, csak én vagyok gyalogkakukk) is összeegyeztethető módon vélekedik a BO felhasználók viselt és a jövőben viselendő dolgairól. Ezek közül szemezgetek alant:

Alternatív adattárház technológiák összehasonlítása

 Véget értek az ünnepek? Még most is émelyegsz a púposra pakolt bejglis tál látványától? Rókáznod kell, ha virslire, lencsére vagy halászlére gondolsz? Azt hiszem, kedves olvasó, épp itt az ideje, hogy olvass egy összehasonlító tesztet az adattárházas technológiákról, aztán talán belefér még egy - két karácsonyról megmaradt fagyasztott töltött káposzta…

Egyik kollégám talált rá egy Szaud-Arábiai egyetemi honlapon, azon a bizonyos bűnös interneteken erre a kis gyöngyszemre: új technológiákat, architektúrákat használó adattárház megoldásokat mértek össze egymással és az ősi konkurenciával: az Oracle-el.

Palo Turbo az Felhőn

Pár hónapja olvastam a Palo játékszeréről, miszerint a Palo OLAP és BI szervert nem hagyományos vason, hanem grafikus egységeket - GPU-kat - (1-8 közötti számban egymás mellé fűzve) üzleti kalkulációkra használó speciális hardveren futatták. Érdekes volt a koncepció, és a leírás szerint jól és messzire skálázható a teljesítménye is, mégis bennem az merült föl, hogy vajon ki fog német egyetemisták által összeforrasztott prototípus alapján saját szerver konfigurációt összerakni, hogy egy ilyet futtasson? Vagy valami noname szerver gyártótól beszerezni egy ilyet? Melyik izzadós tenyerű corporate-huszár DWH manager fogja fölvállalni, hogy a hardver nem company standard?

SAP – BO Explorer v2 prototípus

Megjelent a BO Explorer második generációjának prototípusa, amit a keresztségben csak Exploration Views-nak hívnak az internetet olvasó, művelt egyének.
A SAP szemlátomást egyensúlyozni próbál a szép és hülyebiztos riportok és a testreszabható, egyedi (akár komplex) igényeket kielégíteni képes BI eszközök határmezsgyéjén. Továbbra is sikerült megoldani, hogy azoknak a manager palánták, akik a lenyelt és belélegzett serkentőszerek hatására kizárólag az egerükkel 100-as BPS-es frekvencián klikkelve

OWB 10g migrációja 11g-re és a közben felmerülő problémák

Oracle 11g

Mivel Oracle 11g adatbázison csak és kizárólag OWB 11g futhat, egyértelmű volt, hogy az OWB 10g repository-t nem lesz egyszerű migrálni az új adatbázisra, nem voltak illúzióim. :)

A régi adatbázisból kimentettem a megfelelő sémákat DataPump-al, amelyeket olvastak-írtak az OWB map-ek (DW_STAGE, DW_MAIN, stb.), beimportáltam az új 11.2.0.1.0 adatbázisba (Microsoft 64bit-es környezet, XEON 8 processzorral) és kezdődött a móka. Kacagás nélkül. :)

De hogyan csinálja ezt az Adobe? noSQL-el!

Az Adobe-tól elvárjuk, hogy esztétikailag magas színvonalon álló termékekkel, megoldásokkal rukkoljon elő, ez tiszta sor. Mint informatikában erősen érdekelt cég, az sem meglepő, hogy a saját döntéshozatali folyamataikat is fejlett informatikai eszközökkel, technológiával támogatják. Ez a minimum, mondhatnánk.