Vad är skillnaden mellan Hadoop och Spark

De huvudskillnad mellan Hadoop och Spark är det Hadoop är en Apache open source-ram som tillåter distribuerad bearbetning av stora dataset över datorklyftor med enkla programmeringsmodeller medan Spark är en klusterberäkningsram som är utformad för snabb Hadoop-beräkning.

Stora data refererar till insamling av data som har en stor volym, hastighet och variation. Det är därför inte möjligt att använda traditionella datalagrings- och bearbetningsmetoder för att analysera stora data. Hadoop är en programvara för att lagra och hantera stora data effektivt och effektivt. Men, Spark, å andra sidan, är en Apache-ram för att öka Hadops dators hastighet. Den kan hantera både batch- och realtidsanalys och databehandlingsarbete.

Viktiga områden som omfattas

1. Vad är Hadoop
     - Definition, Funktionalitet
2. Vad är Spark
     - Definition, Funktionalitet
3. Vad är skillnaden mellan Hadoop och Spark
     - Jämförelse av viktiga skillnader

Nyckelbegrepp

Stora data, Hadoop, Spark

Vad är Hadoop

Hadoop är en öppen källkod som utvecklats av Apache Software Foundation. Den används för att lagra stora data i en distribuerad miljö för att kunna bearbeta dem samtidigt. Det ger också distribuerad lagring och beräkning över datorklyftor. Dessutom finns det fyra huvudkomponenter i Hadoop-arkitekturen. Dom är; Hadoop File Distributed System (HDFS), Hadoop MapReduce, Hadoop Common och Hadoop YARN. 

HDFS är Hadoop-lagringssystemet. Det fungerar enligt master-slavarkitekturen. Masternoden hanterar filsystemets metadata. De andra datorerna fungerar som slavnoder eller datodenoder. Även uppgifterna delas upp mellan dessa datodenoder. På samma sätt innehåller Hadoop MapReduce algoritmen för att bearbeta data. Här kör masternoden map-reducera jobb på slavnoder. Och slavnoden fullbordar uppgifterna och skickar resultaten tillbaka till huvudnoden. Dessutom erbjuder Hadoop Common Java-bibliotek och verktyg för att stödja andra komponenter. Å andra sidan utför Hadoop YARN klusterresurshantering och jobbplanering.

Vad är Spark

Spark är en Apache-ram för att öka Hadops dators hastighet. Det hjälper Hadoop att minska väntetiden mellan frågor och för att minimera väntetiden för att köra programmet.

Spark SQL, Spark Streaming, MLib, GraphX ​​och Apache Spark Core är de viktigaste komponenterna i Spark.

Spark Core - Alla funktioner är byggda på Spark Core. Det är den generella körmotorn för gnistplattform. Den tillhandahåller in-memory-databehandling och referensdataset i externa lagringssystem.

Spark SQL - Ger SchemaRDD som stöder strukturerad och halvstrukturerad data.

Spark Streaming - Ger möjlighet att utföra strömmande analyser.

MLIB - En distribuerad maskininlärningsram. Spark MLib är snabbare än Hadoop diskbaserad version av Apache Mahout.

Graphx - En distribuerad grafhanteringsram. Det tillhandahåller ett API för att uttrycka grafberäkning som kan modellera de användardefinierade graferna med hjälp av Pregel Abstraction API.

Skillnad mellan Hadoop och Spark

Definition

Hadoop är en Apache Open Source Framework som tillåter distribuerad bearbetning av stora dataset över kluster av datorer med hjälp av enkla programmeringsmodeller. Apache Spark är en open-source distribuerad generell kluster-databas ram. Således förklarar detta huvudskillnaden mellan Hadoop och Spark.

Fart

Hastighet är en annan skillnad mellan Hadoop och Spark. Gnista fungerar snabbare än Hadoop.

Feltolerans

Hadoop använder replikering av data i flera kopior för att uppnå fel tolerans. Spark använder fjädrande distribuerade dataset (RDD) för feltolerans.

API

En annan skillnad mellan Hadoop och Spark är att Spark ger en mängd API som kan användas med flera datakällor och språk. Dessutom är de mer töjbara än Hadoop API.

Användande

Hadoop används för att hantera datalagring och bearbetning av stora dataprogram som körs i grupperade system. Spark används för att öka Hadoop-beräkningsprocessen. Därför är detta också en viktig skillnad mellan Hadoop och Spark.

Slutsats

Sammanfattningsvis är skillnaden mellan Hadoop och Spark att Hadoop är en Apache öppen källkod som tillåter distribuerad bearbetning av stora datasatser över datorklyftor med enkla programmeringsmodeller, medan Spark är en klusterberäkningsram, utformad för snabb Hadoop-beräkning. Båda kan användas för applikationer baserade på prediktiv analys, datautvinning, maskininlärning och många fler.

Referens:

1. "Hadoop - Introduktion till Hadoop." Www.tutorialspoint.com, Tutorials Point, Tillgänglig här.
2. "Apache Spark Introduktion." Www.tutorialspoint.com, Tutorials Point, Tillgänglig här.

Image Courtesy:

1. "Apache Hadoop Elephant" av Intel Free Press (CC BY-SA 2.0) via Flickr
2. "Spark Java Logo" Av David Åse - Egent arbete (CC BY-SA 4.0) via Commons Wikimedia