ローカルマシンに Spark をインストールするには、いくつかのステップが必要です。

JRE (Java Runtime Environment)の最新版は、

http://www.oracle.com/technetwork/java/javase/downloads/index.html

このタスクのために良いですが、あなたがJava開発者であれば、あなた自身の要件によって、他のオプションを選択することができます。 Spark 2.1.0のインストールをダウンロードします。

http://spark.apache.org/downloads.htmlYou 最新のビルドを選択することができます。 今日の時点で、それは2.1.0とプリビルドHadoop 2.7です。ちょうどパッケージを取得するためにダウンロードリンクをクリックします。

Due to the installation is packaged by gzip then tar.So you will need to unpack it by any zip tools to get a “spark-2.1.0-bin-hadoop2.7”.Rename it to spark-2.1.0-bin-hadoop2.7.zip and unzip it again to get all material.

3.Download / Install Hadoop 2.0.7.1 binary for windows 10

Download Hadoop binary from below link and unzip/extract into your local folderhttp://hadoop.apache.org/releases.htmlBecause this version does not include windows 10 binary, you may refer below link to download a pre-build version for Windows environment.This is a 64-bit version.This version for windows 10 binary. これは64ビット版です。すべてをダウンロードして、/somewhere/hadoop-2.7.1/bin/ フォルダーに入れるか、置き換えます。https://github.com/steveloughran/winutils/tree/master/hadoop-2.7.1/bin

Hadoop インストールに関する良い記事もありますので、参考にしてください。http://toodey.com/2015/08/10/hadoop-installation-on-windows-without-cygwin-in-10-mints/

4.

4.1 Windowsのロゴ=>searchから起動します。 「4.2 ソフトウェアのバージョンと場所によって、以下の環境変数を変更します。8.0_121

SPARK_HOME=C:\somewhere\spark-2.1.0-bin-hadoop2.7

HADOOP_HOME=C:\somewhere\hadoop-2.7.3

4.3 Pathに下記の変数を追加

%SPARK_HOME%bin

5.PASSに追加した変数の値を変更します。 tempフォルダの権限を付与する

c: \tmphive

以下のコマンドを管理者として実行する

winutils.exe chmod 777 C:\tmphive

6.Tempフォルダに権限を付与する。 7408>

Go to c:\somewhere-2.1.0-bin-hadoop2.7bin

execute “spark-shell”, “pyspark” or “spark-submit <app_name>” for your program.

Hope everything good.If you found some error messages related to HiveSessionState, you may try to execute as administrator to it.

Thanks for the Environment… Go for the Environment.HiveSessionState…HiveSessionState.Seefore you understand the error messages for your program.