A Spark telepítése a helyi gépre több lépésből áll.
0. Előfeltétel: Telepítse a JVM-et a környezetébe.
A legfrissebb verziót letöltheti a
http://www.oracle.com/technetwork/java/javase/downloads/index.html
JRE (Java Runtime Environment) jó lesz ehhez a feladathoz.
Ha Java fejlesztő, akkor bármely más lehetőséget is választhat a saját igényei szerint.
1. Válassza ki a JVM-et. Töltse le a Spark 2.1.0 telepítését.
http://spark.apache.org/downloads.htmlYou kiválaszthatja az utolsó buildet. A mai állapot szerint ez a 2.1.0 a Hadoop 2.7-es prebuilddelEgyszerűen csak kattints a letöltési linkre a csomagért.
2. A csomag letöltése. Unzip és kicsomagolja a letöltést egy helyi mappába.
A telepítés miatt gzip majd tar.So you will need to unpack it by any zip tools to get a “spark-2.1.0-bin-hadoop2.7”.Rename it to spark-2.1.0-bin-hadoop2.7.zip and unzip it again to get all material.
3. Download / Install Hadoop 2. Hadoop 2.7.1 binary for windows 10
Töltse le a Hadoop bináris változatát az alábbi linkről és kicsomagolja/kiragadja a helyi mappábahttp://hadoop.apache.org/releases.htmlBecause ez a verzió nem tartalmazza a windows 10 bináris változatát, az alábbi linkről letöltheti a Windows környezethez készült elő-épített változatot.Ez egy 64 bites verzió. Töltsön le mindent, hogy a /somewhere/hadoop-2.7.1/bin/ mappába tegye/helyettesítse.https://github.com/steveloughran/winutils/tree/master/hadoop-2.7.1/bin
A Hadoop telepítéséről van egy jó cikk a referenciaként.http://toodey.com/2015/08/10/hadoop-installation-on-windows-without-cygwin-in-10-mints/
4. A Hadoop telepítése. Konfiguráljuk a környezetünket.
4.1 A windows logo=>keresésből indítsuk el: “Search advanced system settings” program-> kattintson a “Environment Variables “4.2 Módosítsa az alábbi környezeti változókat a szoftver verziójának és helyének megfelelően.Ez egy példa.
JAVA_HOME=C:\Program Files\Java\jre1.8.0_121
SPARK_HOME=C:\somewhere\spark-2.1.0-bin-hadoop2.7
HADOOP_HOME=C:\somewhere\hadoop-2.7.3
4.3 Az alábbi változót illessze be a “Path”-ba
%SPARK_HOME%\bin
5. Adjunk engedélyt a temp mappához
Hozzunk létre egy temp mappát a c:\tmp\hive
Futtassuk az alábbi parancsot rendszergazdaként.
winutils.exe chmod 777 C:\tmp\hive
6. Adjunk engedélyt a temp mappához
. Próbálja ki.
Menjen a c:\somewhere\spark-2.1.0-bin-hadoop2.7\bin\
Futtassa a “spark-shell”, “pyspark” vagy “spark-submit <app_name>” parancsot a programjához.
Remélem minden jó.Ha a HiveSessionState-tel kapcsolatos hibaüzeneteket talált, akkor próbálja meg rendszergazdaként végrehajtani a parancsot, hogy elkerülje.