Üzleti Intelligencia Hírek, újdonságok és tesztek az üzleti intelligencia és az adattárházak világából

Alternatív adattárház platformok - The Next Generation 2.0

A TDWI Research vezetője, Philip Russom által jegyzett, általam pedig már beharangozott "TDWI best practices Report - Next generation Data Warehouse Platforms" mélyebb elemzése következik, azaz megtudhatjátok, hogy mit gondolok arról, hogy mit gondol Philip arról, hogy mit gondolnak az emberek a következő generációs adattárház platformokról. Persze továbbra is nyitott kérdés, hogy vajon Ők tudják-e, hogy mi tudjuk, hogy Ő tudja... Mindenki nagyon izgul, ugye?

A közvélemény kutatásban a TDWI adatbázisában szereplő DW szakemberek vettek részt, közülük 452-en értek rá éppen nagyon, ennyien töltötték ki a kérdőívet. Azokat, akik valamelyik megemlített technológiát szállító céghez közeli személynek aposztrofálták magukat rövid úton fölnégyelték majd diszkvalifikálták. A maradék 417 nagyon ráérő és remélhetőleg nem nagyon hazudós válaszadó válaszai képezték a kutatás alapját. A riport még tartalmaz utalásokat korábbi TDWI kutatások eredményeire is - szóval higgyük el, kicsivel talán több valóság tartalma van az itt közölteknek, mint a Ho-ho-ho-horgász sztoriknak.

A válaszadókról még érdemes annyit tudni, hogy 71%-ban IT-sok és 53%-ban amerikaiak voltak, tehát leginkább a jenki bithegesztők véleményét tükrözi (és a fene tudja, mennyire jósolható ebből a mi jövőnk, de jobb forrásunk nincsen).

Az egyik legmeglepőbb állítás az, hogy a válaszadók közel fele szeretné lecserélni a jelenlegi DW platformját 2012-ig. És itt nem a DW újra struktúrálásáról, egy új verzió bevezetéséről van szó, hanem teljes platform váltásról. Ez szerintem leginkább azt jelenti, hogy vagy a jelenleg használt technológiák nem váltották be a hozzájuk fűzött reményeket - és ezen tud is segíteni egy platform váltás, vagy azt, hogy a DW-k jelenlegi fejlesztői nem voltak elég ügyesek... de mindenképp komoly problémákat jelez a jelenleg futó adattárak háza táján (és egy gyönyörű képzavar!).

De miért is dobják el az informatikusok megunt adattárház platformjukat, mint egy koszos alsógatyát ha bedöglött a mosógép?

Erre a kérdésre 45%-ban a lassú lekérdezéseket adták meg válaszként. Én ezzel azért vitatkoznék, mert szerintem azért nem minden 2. adattárházban kéne emiatt lecserélni a platformot - tapasztalataim szerint a válaszidők gyorsítása (illetve a lekérdezések racionalizálása) ennél csak kisebb százalékban igényelne akkora konzultációs ráfordítást, hogy jobban megérje már platformot cserélni.

Ami szúrja még a szememet, hogy 40%-ban megjelölték a "nem támogatja a bonyolult analíziseket" választ. Készséggel elhiszem, hogy komplex elemzések lekódolása SQL-ben lehet igen hosszadalmas és fájdalmas dolog is, de valamilyen adatbányász eszköz, vagy egy jó SQL programozó alkalmazása még mindig olcsóbbnak tűnik, mint elmenni a boltba és venni két kiló adattárházat.

Szidják még a lassú adattöltéseket (39%) és a hiányzó képességeket (37%) illetve a magas költséget (33%) a nagy adatmennyiségek kezelésénél. Nos, ezeket már sokkal inkább tartom kritikus, és egyszerű konzultációs megoldásokkal csak nagyon drágán kezelhető problémáknak. Az adattöltések bizonyos szintű optimalizálását, a megfelelő ETL eszköz kiválasztásával, vagy egyéb praktikákkal lehet javítani, de igazán-hűde-állati-rettenetes-ordenáré sok adatnál ezeknek olyan magas a költsége és kétséges az eredménye, hogy valóban racionálisabbnak tűnik venni a kabátot és elballagni az adattárház boltba.

A lista másik vége, ami miatt kevesen váltanának platformot: 11% "nem elég biztonságos" és 13% "nem eléggé virtualizálható illetve Cloud-barát". Itt érzek némi bánatot - és ellentmondást. Egyrészt én Cloud párti vagyok, nem szabadul fel az agyamban kellő mennyiségű endorfin csak attól, ha legeltethetem a szememet egy szerver csordán - mint a jó gazda disznókon. Örülök, hogy ha egy szolgáltató, pl az Amazon, megígéri nekem, hogy ad a szervereknek enni-inni rendesen, megsimogatja őket, hogy szépen nőjenek és kiganézza utánuk a használt vincsesztereket, meg ilyesmik... Ezért fáj egy kicsit, hogy nem akar mindenki Cloud based adattárházakat építeni - illetve nem érdekli, hogy az adattárháza cloud barát-e. Másrészt a Cloud alapú megoldások egyik fő gyengéjeként a biztonsági hiányosságokat szokták felemlegetni (bár szerintem inkább a biztonságért való felelősségvállalás szükségessége rágja a corporate security manager-ek máját). Ha meg nem érdekel minket annyira az adattárház biztonsága, miért is ne raknánk ki valami olcsóbb, skálázhatóbb vasra?

További apróságok, mélyebb filozofálás nélkül:

    * A várakozások szerint nagy mértékben fog nőni az előre installált illetve appliance alapú platformok használata
    * Duplázódás várható a 10TB fölötti adattárházak számában
    * A válaszadók 57% komolyan fontolóra veszi a low-cost adattárház platformok használatát


És ami a nagy kérdés: vajon mire cserélik majd elvásott adattárházaikat a népek? Mi lesz a jövő technológiája? Miért fogják egymást könyökölni-taposni a rétesnyújtástól kérges tenyerű nagymamák karácsony előtt, mikor adattárházat vesznek az unokájuknak? Hogy ezt megtudjuk, nézzük, milyen technológiák fontosak a válaszadóknak.

Arra a nem egyszerű kérdésre, hogy milyen technológiákat használsz most és miket tervezel használni 3 éven belül az adattárház platformodban a felsorolt technológiák közül lehetett választani. A legnagyobb százalékos növekedés várhatóan a real-time DW technológiák (75%) élik majd meg, utánuk az MDM technológiák (68%) és nagyot bővülnek a private cloud -ot használó platformok (61%).

A csökkenő tendenciát mutató technológiák: az központi-nagy Enterprise DW-n kívüli (feltételezhetően valamilyen speciális céllal, egyedileg kialakított) analítikus adatbázisok (-6%), a Bade szerver Rack-ek használata (-11%), a Symmetrical Multi Processing (SMP -44%) és a tranzakcionális adattárházak használata DW célra (-52%).

Ez nem ígér túl sok jót a Magyarországon jelenleg elterjedten használt adattárház platformoknak, bár nálunk várhatóan nem 3 éven belül történnek ezek a változások, és várhatóan a világ gazdagabb felén sem lesz ez ennyire földcsuszamlás szerű - mint azt a kérdőívre adott válaszaikban előre jelzik az informatikusok , de a szándékok és trendek egyértelműek. (azért remélem a konkrét válaszokat nem fogják rajtam sem szigorúan számon kérni, ha mégse úgy történt minden ahogy bejelöltem - de lehet, hogy 3 év múlva fékez a TDWI-sek fekete volgája a házunk előtt, kiszálnak a bőrkabátos emberek, engem meg felelőtlen klikkelgetés miatt hajnalban a vár fokán tökön szúrnak egy lángoló fakarddal...)
Annak alapján, hogy hányan tervezik használni az adott technológiát - illetve mekkora változás várható a mostani állapotokhoz képest - csoportokat képeztek a TDWI elemzői, ennek a vizualizációját érdemes megtekinteni a tanulmány 16. oldalán (had ne kopizzam be).
Az igazi májer nyertesek (akiket a mostanihoz képest és abszolút értékben is igazán sokan fognak használni) lesznek: advanced analytics, MDM, data quality, 64 bit architecture, real time dw, MPP, web services.
Akiket többen fognak használni mint most, de még úgy sem lesznek nagyon sokan: SaaS, OpenSource DW-BI-ETL, Public Cloud, Data Streaing, SOA, In-Memory DBMS
És hát a csúnyát buktázók: tranzakciós adatbázisok és SMP architektúrák.
Nem soroltam föl az összes technológiát ami szerepelt a kutatásban, aki szépet akar látni, meg okosodni szeretne, tessék elolvasni a doksit...

És hogy mi ennek az egésznek a tanulsága? Írnak pár jótanácsot TDWI-s barátaink, triviális dolgokat, mint készüljünk a nagy adatmennyiségekre, vegyünk 64 bites hardvert, figyeljünk az üzleti igényekre (mint real-time dw). Én inkább azt vélem fölfedezni, hogy szemmel láthatólag a corporate IT-sok belefáradtak a folyamatos tuningolás, szakértő hívás, speciális tudás megszerzése miatti magas konzultációs költségekbe. Az az elképzelés látszik kibontakozni, hogy erős hardverrel, más-új technológiákkal ki lehet szolgálni az emelkedő üzleti igényeket (advanced analytics, real-time, stb). Egyrészről ez igaz is - mert ezekkel a technológiákkal tényleg könnyebb kiszolgálni ezeket az igényeket, különösen a nagy adatmennyiségen végzett elemzések esetében. Másrészről kíváncsi vagyok, mikor érik el megint a DW felhasználók az új technológiák által messzebbre tolt horizontot - ahogy Anyám is mindig tele pakolja a csomagtartót, akármekkora kocsival is megy - mekkora laufot adnak az új technológiák?
Kicsit előre szaladtam, először persze arra leszek kíváncsi, mi valósul meg ebből az egészből 3 éven belül... De mindenesetre gratula a TDWI-seknek, kellemes perceket okoztak nekem a tanulmányukkal, és gondolom ez volt a legfőbb céljuk...

A bejegyzés trackback címe:

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben és az adatvédelmi tájékoztatóban.