Instalace Sparku na lokální počítač zahrnuje několik kroků.

0. Předběžné požadavky: Nainstalujte si do svého prostředí JVM.

Nejnovější verzi si můžete stáhnout ze stránek

http://www.oracle.com/technetwork/java/javase/downloads/index.html

JRE (Java Runtime Environment). 1. Pokud jste vývojář Javy, pak můžete zvolit jakoukoli jinou možnost podle vlastních požadavků.

1. Nainstalujte si do svého prostředí JVM. Stáhněte si instalaci Spark 2.1.0.

http://spark.apache.org/downloads.htmlYou může vybrat poslední sestavení. K dnešnímu dni je to 2.1.0 s předkonstruovaným Hadoopem 2.7. Pro získání balíčku stačí kliknout na odkaz ke stažení.

2. Stáhněte si balíček Spark 2.1.0. Rozbalte a rozbalte stažený soubor do místní složky.

Vzhledem k tomu, že instalace je zabalena pomocí gzipu a poté taru, budete ji muset rozbalit pomocí libovolného nástroje zip, abyste získali soubor „spark-2.1.0-bin-hadoop2.7“.Přejmenujte jej na spark-2.1.0-bin-hadoop2.7.zip a znovu jej rozbalte, abyste získali veškerý materiál.

3. Stáhněte / nainstalujte Hadoop 2.7.1 binární verze pro Windows 10

Stáhněte si binární verzi Hadoop z níže uvedeného odkazu a rozbalte/rozbalte ji do místní složkyhttp://hadoop.apache.org/releases.htmlBecause tato verze neobsahuje binární verzi pro Windows 10, můžete se podívat na níže uvedený odkaz pro stažení předkompilované verze pro prostředí Windows. jedná se o 64bitovou verzi. Vše stáhněte a vložte do/nahrazujte složku /někde/hadoop-2.7.1/bin/.https://github.com/steveloughran/winutils/tree/master/hadoop-2.7.1/bin

Pro vaši informaci je zde dobrý článek pro instalaci Hadoopu.http://toodey.com/2015/08/10/hadoop-installation-on-windows-without-cygwin-in-10-mints/

4. Stáhněte si instalaci Hadoopu. Nakonfigurujte své prostředí.

4.1 Z windows logo=>vyhledat ke spuštění: „To je příklad.

JAVA_HOME=C:\Program Files\Java\jre1. 4.2 Změňte níže uvedené proměnné prostředí podle verze a umístění vašeho softwaru.8.0_121

SPARK_HOME=C:\somewhere\spark-2.1.0-bin-hadoop2.7

HADOOP_HOME=C:\somewhere\hadoop-2.7.3

4.3 Níže uvedenou proměnnou přidejte do „Path“

%SPARK_HOME%\bin

5. Vložte proměnnou do „Path“. Udělte oprávnění k dočasné složce

Vytvořte dočasnou složku v adresáři c:\tmp\hive

Níže uvedený příkaz proveďte jako správce.

winutils.exe chmod 777 C:\tmp\hive

6. Vytvořte dočasnou složku. Vyzkoušejte to.

Přejděte do c:\někde\spark-2.1.0-bin-hadoop2.7\bin\

vykonejte příkaz „spark-shell“, „pyspark“ nebo „spark-submit <název_aplikace>“ pro váš program.

Doufejte, že je vše v pořádku.

Pokud jste našli nějaké chybové hlášení týkající se HiveSessionState, můžete zkusit spustit příkaz jako správce, abyste se mu vyhnuli.