Dataflyt i MapReduce applikasjoner!

MapReduce er et rammeverk som er utviklet for å behandle store datasett. Den bruker en stor klynge av datamaskiner som er kalt som noder å utføre beregningene. Denne beregnings bearbeiding er utført på data som er lagret enten i et filsystem eller i en database. I MapReduce programmer, er det i utgangspunktet to komponenter nemlig kartlegge og redusere. I Kart trinn, får hovedknuten input, skillevegger det i mindre sub-problemer, og til slutt distribuerer dem til arbeideren noder. Dette blir igjen gjentatt av arbeideren node som fører til et flernivå trestruktur. De mindre problemer som er gjort i arbeideren node prosessen hver enkelt av dem og passere svaret tilbake til sin herre node. På den annen side, tar redusere skritt svarene og kombinerer dem på noen måte å få det endelige resultatet.

I MapReduce rammeverket er det et stort distribuert slag som består av hot spots som definert

• en inngang leser
• en kartfunksjon
• en Reduser funksjon
• en partisjon funksjon
• en sammenligne funksjon
• en utgang forfatter

Her, i utgangspunktet skiller Input leseren innspill til passende størrelse deler. Den MapReduce rammeverk tildeler da en split til hver Kart funksjon. Det er et distribuert filsystem fra der inngangs leseren leser data og genererer de nødvendige nøkkel /verdi-par. En annen komponent nemlig Map-funksjonen tar en serie med nøkkel /verdi-par, behandler dem og deretter genererer null eller flere utgangs nøkkel /verdi-par. Ofte inngangs- og utgangs typer redusere funksjonen er forskjellige fra hverandre.

Reduser funksjon i MapReduce rammeverket samtaler hver redusere funksjonen én gang for hver unike nøkkelen i sortert rekkefølge. Dette Reduser funksjonen kan iterere gjennom verdiene som er slutt i forbindelse med denne nøkkelen. Utgangsverdien kan være 0 eller noen flere verdier i tillegg. En annen viktig funksjon er partisjonsfunksjonen der hver Kart funksjon utgang allokeres til en bestemt redusering. Dette gjøres ved hjelp av programmets partisjonsfunksjonen. Deretter kommer en sammenligning funksjon, som brukes til å kjøre og sorterer kartfunksjonen. Så er det en annen meget viktig funksjon kalt som utgangs forfatter. Utgangen skribent brukes til å skrive utgangen av Reduser funksjon til distribuerte filsystem, ofte kalt som stabil lagring.

Hver komponent i MapReduce applikasjoner er viktig, og selv om man mangler eller er ikke riktig optimalisert, resultatene ville ikke som forventet. For å definere en MapReduce rammeverk riktig du trenger for å forstå hver komponent tett, som du må lese online tutorials. Utforsk elektroniske ressurser og gjøre bruk av dette programmet, og tjene ulike viktige formål
.