Diversi passi includono l’installazione di Spark sulla tua macchina locale.

0. Pre-requisito: Installare JVM nel tuo ambiente.

Puoi scaricare l’ultima versione da

http://www.oracle.com/technetwork/java/javase/downloads/index.html

JRE (Java Runtime Environment) andrà bene per questo compito.Se sei uno sviluppatore Java, allora puoi selezionare qualsiasi altra opzione in base alle tue esigenze.

1. Scarica l’installazione di Spark 2.1.0.

http://spark.apache.org/downloads.htmlYou può selezionare l’ultima build. Ad oggi, è 2.1.0 con prebuild Hadoop 2.7Basta cliccare sul link di download per ottenere il pacchetto.

2. Decomprimere ed estrarre il download in una cartella locale.

A causa dell’installazione è confezionato da gzip poi tar.Quindi sarà necessario decomprimere con qualsiasi strumento zip per ottenere un “spark-2.1.0-bin-hadoop2.7”.Rinominarlo in spark-2.1.0-bin-hadoop2.7.zip e decomprimerlo di nuovo per ottenere tutto il materiale.

3. Scaricare / installare Hadoop 2.7.1 binario per windows 10

Scarica il binario di Hadoop dal link sottostante e decomprimilo/estrailo nella tua cartella localehttp://hadoop.apache.org/releases.htmlBecause questa versione non include il binario di windows 10, puoi fare riferimento al link sottostante per scaricare una versione pre-build per l’ambiente Windows. Scarica tutto per mettere dentro/sostituire la tua cartella /somewhere/hadoop-2.7.1/bin/.https://github.com/steveloughran/winutils/tree/master/hadoop-2.7.1/bin

C’è un buon articolo per l’installazione di Hadoop per il tuo riferimento.http://toodey.com/2015/08/10/hadoop-installation-on-windows-without-cygwin-in-10-mints/

4. Configura il tuo ambiente.

4.1 Da windows logo=>cerca per lanciare: “Cerca impostazioni di sistema avanzate” programma-> clicca sul pulsante “Variabili d’ambiente “4.2 Cambia le variabili d’ambiente in base alla versione del tuo software e alla posizione.Questo è un esempio.

JAVA_HOME=C:\Program Files\Java\jre1.8.0_121

SPARK_HOME=C:\somewhere\spark-2.1.0-bin-hadoop2.7

HADOOP_HOME=C:\somewhere\hadoop-2.7.3

4.3 Aggiungi la seguente variabile in “Path”

%SPARK_HOME%\bin

5. Concedere il permesso alla cartella temp

Creare una cartella temp sotto c:\tmp\hive

Eseguire il seguente comando come amministratore.

winutils.exe chmod 777 C:\tmp\hive

6. Prova.

Vai a c:\somewhere\spark-2.1.0-bin-hadoop2.7\bin\

esegui “spark-shell”, “pyspark” o “spark-submit <app_name>” per il tuo programma.

Spero che tutto vada bene.Se hai trovato alcuni messaggi di errore relativi a HiveSessionState, puoi provare a eseguire il comando come amministratore per evitarlo.

Se hai trovato alcuni messaggi di errore relativi a HiveSessionState, puoi provare a eseguire il comando come amministratore per evitarlo.

Se hai trovato alcuni messaggi di errore relativi a HiveSessionState, puoi provare a eseguire il comando come amministratore.