Big data-Hadoop og dens innvirkning på Business Intelligence systems

Nylig mitt arbeid nødvendig meg til å se inn i de nye funksjoner i informatica 9.1, men jeg trodde aldri at reisen vil ta meg til å utforske videre på dette og skrive en blogg Let &'; s se hvordan jeg krysset gjennom ulike nye aspekter som får veldig mye relatert til data management og Business Intelligence. Først vil vi se hva som er Bigdata og sin posisjon nå.

Folk vil alltid tenke hvordan organisasjonene som Yahoo, Google, Facebook lagre store mengder data til brukerne. Vi bør ta et notat at Facebook lagrer flere bilder enn Google &'; s Picassa. Eventuelle gjetninger ??

Hva er Hadoop

Svaret er Hadoop og det er en måte å lagre store mengder data i petabyte og zettabytes. Denne lagringssystem kalles som Hadoop Distributed File System. Hadoop er utviklet av Doug Cutting basert på ideer foreslått av Google &'; s papirer. Det meste vi får store mengder maskingenererte data. For eksempel til Large Hadron Collider studere opprinnelsen til universet produserer 15 petabyte med data hvert år for hvert eksperiment utført.

MapReduce

Det neste som kommer til vårt sinn er hvor raskt vi kan få tilgang til disse store mengder data. Hadoop bruker MapReduce, som først dukket opp i forskningsartikler av Google. Det følger " Splitt og hersk &' ;. Dataene er organisert som sentrale verdiparene. Den behandler hele data som er spredt over utallige antall systemer i parallelle biter fra en enkelt node. Da vil det sortere og bearbeide de innsamlede data.

Med en standard PC-server, vil Hadoop koble til alle serverne og distribuerer datafiler på tvers av disse nodene. Det pleide alle disse nodene som en stor fil system for å lagre og behandle data, slik at det er en 100% uforfalsket distribuert filsystem. Ekstra noder kan legges om data når maksimalt installert kapasitet, noe som gjør oppsettet svært skalerbar. Det er veldig billig som det er åpen kildekode og doesn &'; t krever spesielle prosessorer som brukes i tradisjonelle servere. Hadoop er også en av de NoSQL implementeringer.

Hadoop i sanntid

Tennessee Valley Authority (TVA) bruker smart-grid feltutstyr for å samle inn data på sin makt -transmission linjer og anlegg over hele landet. Disse sensorene sende inn data med en hastighet på 30 ganger per sekund – på den hastigheten, anslår TVA det vil ha en halv petabyte med data arkiveres i løpet av få år. TVA bruker Hadoop til å lagre og analysere data. I India Power Grid Corporation of India har til hensikt å installere disse smarte enheter i sine nett for å samle inn data for å redusere overføringstap. Det er bedre at de også etterligne TVA. Nylig Facebook flyttet til 30 Petabyte Hadoop, noe som høres utrolig og vanskelig å fordøye det faktum at vi bruker et slikt mylder volum av data.

Datavarehus og Business Intelligence Produkter støtte Hadoop og MapReduce

1 ) Greenplum
2) Informatica
3) Teradata
5) Pentaho
6) Talend

Hvis Hadoop og andre NoSQL implementeringer er mye brukt, begrensningene tradisjonelle SQL systemer kan være løst som lagring av ustrukturerte data. Med volumet av data øker eksponentielt, vil kommersialisering av Hadoop skje i stor skala og data integrator verktøy vil spille en nøkkelrolle i gruve data for virksomheten.
Leserne dele dine erfaringer om noen av dere har jobbet med Hadoop på andre ETL og BI Verktøy, verktøy som er tilgjengelig i markedet
.