Det finns flera steg för att installera Spark på din lokala dator.
0. Förkrav: Installera JVM i din miljö.
Du kan ladda ner den senaste versionen från
http://www.oracle.com/technetwork/java/javase/downloads/index.html
JRE (Java Runtime Environment) kommer att vara bra för den här uppgiften.Om du är en Java-utvecklare kan du välja andra alternativ enligt dina egna krav.
1. Ladda ner Spark 2.1.0 installation.
http://spark.apache.org/downloads.htmlYou kan välja den senaste byggnaden. Från och med idag är det 2.1.0 med prebuild Hadoop 2.7Klicka bara på nedladdningslänken för att hämta paketet.
2. Ta upp och extrahera din nedladdning till en lokal mapp.
På grund av att installationen är paketerad med gzip och sedan tar.Så du måste packa upp den med något zip-verktyg för att få en ”spark-2.1.0-bin-hadoop2.7”.Byt namn till spark-2.1.0-bin-hadoop2.7.zip och packa upp den igen för att få allt material.
3. Ladda ner/installera Hadoop 2.7.1 binary for windows 10
Hämta Hadoop binary från nedanstående länk och packa upp/extrahera till din lokala mapphttp://hadoop.apache.org/releases.htmlBecause denna version innehåller inte windows 10 binary, du kan hänvisa till nedanstående länk för att ladda ner en pre-build version för Windows-miljö.Detta är en 64-bitars version. Ladda ner allt för att sätta in/ersätta din /somewhere/hadoop-2.7.1/bin/-mapp.https://github.com/steveloughran/winutils/tree/master/hadoop-2.7.1/bin
Det finns en bra artikel om installation av Hadoop för din referens.http://toodey.com/2015/08/10/hadoop-installation-on-windows-without-cygwin-in-10-mints/
4. Konfigurera din miljö.
4.1 Från windows logo=>sök för att starta: ”4.2 Ändra nedanstående miljövariabler i enlighet med din programvaruversion och plats.Detta är ett exempel.
JAVA_HOME=C:\Program Files\Java\jre1.8.0_121
SPARK_HOME=C:\somewhere\spark-2.1.0-bin-hadoop2.7
HADOOP_HOME=C:\somewhere\hadoop-2.7.3
4.3 Lägga till nedanstående variabel i ”Path”
%SPARK_HOME%\bin
5. Ge behörighet till temp mapp
Skapa en temp mapp under c:\tmp\hive
Uppför nedanstående kommando som administratör.
winutils.exe chmod 777 C:\tmp\hive
6. Prova det.
Gå till c:\somewhere\spark-2.1.0-bin-hadoop2.7\bin\
utför ”spark-shell”, ”pyspark” eller ”spark-submit <app_name>” för ditt program.
Hoppa att allting är bra.Om du hittade några felmeddelanden relaterade till HiveSessionState, kan du försöka att utföra kommandot som administratör för att undvika det.