Verschillende stappen omvatten om Spark te installeren op uw lokale machine.
0. Pre-vereiste: Installeer JVM in uw omgeving.
U kunt de laatste versie downloaden van
http://www.oracle.com/technetwork/java/javase/downloads/index.html
JRE (Java Runtime Environment) zal goed zijn voor deze taak.Als u een Java-ontwikkelaar bent, dan kunt u andere opties selecteren door uw eigen eisen.
1. Download Spark 2.1.0 installatie.
http://spark.apache.org/downloads.htmlYou kan de laatste build selecteren. Vanaf vandaag is het 2.1.0 met prebuild Hadoop 2.7Klik gewoon op de download link om het pakket te krijgen.
2. Unzip en pak uw download in een lokale folder.
Gezien de installatie is verpakt door gzip dan tar.So moet je het uitpakken door een zip-tools om een “spark-2.1.0-bin-hadoop2.7” te krijgen.Rename het naar spark-2.1.0-bin-hadoop2.7.zip en unzip het opnieuw om al het materiaal te krijgen.
3. Download / Installeer Hadoop 2.7.1 binary voor windows 10
Download Hadoop binary van onderstaande link en unzip/extract in uw lokale maphttp://hadoop.apache.org/releases.htmlBecause deze versie bevat geen windows 10 binary, u kunt onderstaande link raadplegen om een pre-build versie voor Windows omgeving te downloaden.Dit is een 64-bit versie. Download alles om het in uw map /somewhere/hadoop-2.7.1/bin/ te plaatsen.https://github.com/steveloughran/winutils/tree/master/hadoop-2.7.1/bin
Er is een goed artikel voor Hadoop-installatie voor uw referentie.http://toodey.com/2015/08/10/hadoop-installation-on-windows-without-cygwin-in-10-mints/
4. Configureer uw omgeving.
4.1 Van windows logo=>zoek om te starten: “Geavanceerde systeeminstellingen zoeken” programma-> klik op de knop “Omgevingsvariabelen “4.2 Wijzig onderstaande omgevingsvariabelen aan de hand van uw software versie en locatie.Dit is een voorbeeld.
JAVA_HOME=C:Program Files:JavaJre1.8.0_121
SPARK_HOME=C:\somewherespark-2.1.0-bin-hadoop2.7
HADOOP_HOME=C:\somewherehadoop-2.7.3
4.3 Voeg onderstaande variabele toe aan “Path”
%SPARK_HOME%bin
5. Geef toestemming voor tijdelijke map
Maak een tijdelijke map aan onder c:\tmp\hive
Voer het onderstaande commando uit als administrator.
winutils.exe chmod 777 C:\tmp\hive
6. Probeer het.
Ga naar c:\spark-2.1.0-bin-hadoop2.7bin.
Uitvoeren “spark-shell”, “pyspark” of “spark-submit <app_name>” voor uw programma.
Hoop dat alles goed is.Als u foutmeldingen hebt gevonden die te maken hebben met HiveSessionState, kunt u proberen het commando als administrator uit te voeren om het te vermijden.