Üzleti Intelligencia Hírek, újdonságok és tesztek az üzleti intelligencia és az adattárházak világából

Kéz a kézben az Oracle és a Hadoop

Érdekes utat járnak be a technológiák manapság. Jean-Pierre Dijcks, érezvén az idők szelét - vagy csak nem tudott aludni mert sokat evett disznóvágás után - egy Oracle-s blog bejegyzésben publikálta, szerinte hogyan lehet integrálni a Hadoop funkciókat az Oracle parallel processing technológiával.

A pontos leírásától megkímélek mindenkit, egyrészt lusta vagyok lefordítani a cikket, másrészt nagyon lusta vagyok lefordítani a cikket. És mert szigorúbb vagyok mint lusta, házi feladat, tessék elolvasni!
Röviden összefoglalva: a bejegyzésben kétféle módon is megoldják a problémát

1. a Hadoop parallel file kezelését FUSE HDFS (Hadoop File System) driveren és external table-ken, valamint az adatbázisban megvalósított map-reduce technológián keresztül
2. vagy a Hadoop-on elindított, Oracle Queue-ba adatot író bash mapper scripteken és parallel table function-okkal megvalósított reduce funkcionalitáson keresztül éri el az Oracle adatbázis a HDFS-en tárolt adatokat.

Természetesen van forráskód is, de persze Jean-Pierre nem ígéri hogy levágja a kisujját ha valaki ezzel a kóddal zúzza tönkre a csillió dollárt érő adatbázisát, tehát mindenki saját felelősségére játsszék vele. Az eléggé látszik, hogy nem agyon optimalizált megoldásról, hanem egyenlőre inkább egy proof-of-concept jellegű dologról van szó, sok teret adva a tesztelésnek, további finomításoknak.
Ami érdekes lehet:
-Jó lenne pár performancia mérés, mondjuk förtelmes mennyiségű és méretű szöveges file földolgozása (előszűrése és adatbázisba töltése, majd elemzése) ezzel a technológiával. Na, valaki?
-Érdekelne, hogy milyen mértékben párhuzamosított HDFS milyen Oracle parallel beállításokkal és hardverrel működik együtt optimálisan.
-Kíváncsi lennék a véleményekre, nem támaszt-e az Oracle konkurenciát az Exadata-nak (vagy egyéb high-end oracle installációknak) az olcsó hardweren megvalósítható, masszívan parallel, jól skálázható IO-t biztosító storage kapcsolódásának lehetőségével?
-Hogy magyarázzam meg a kisfiamnak, miért nem lesz beteg Micimackó, ha mindig csak édességet eszik?

A bejegyzés trackback címe:

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben és az adatvédelmi tájékoztatóban.