Sparkin asentaminen paikalliseen koneeseen sisältää useita vaiheita.

0. Esivaatimus: Asenna JVM ympäristöösi.

Voit ladata uusimman version osoitteesta

http://www.oracle.com/technetwork/java/javase/downloads/index.html

JRE (Java Runtime Environment) sopii hyvin tähän tehtävään.jos olet Java-kehittäjä, voit valita minkä tahansa muun vaihtoehdon omien tarpeidesi mukaan.

1. Asenna JVM. Lataa Spark 2.1.0 asennus.

http://spark.apache.org/downloads.htmlYou voi valita viimeisimmän buildin. Tämän päivän osalta se on 2.1.0, jossa on esirakennettu Hadoop 2.7Klikkaa latauslinkkiä saadaksesi paketin.

2. Pura ja pura latauksesi paikalliseen kansioon.

Johtuen siitä, että asennus on pakattu gzip sitten tar.Joten sinun täytyy purkaa se millä tahansa zip-työkaluilla saadaksesi ”spark-2.1.0-bin-hadoop2.7”.Nimeä se uudelleen spark-2.1.0-bin-hadoop2.7.zip:ksi ja pura se uudestaan saadaksesi kaiken materiaalin.

3. Lataa / Asenna Hadoop 2.7.1 binary for windows 10

Lataa Hadoop binary alla olevasta linkistä ja purkaa/pura se paikalliseen kansioonhttp://hadoop.apache.org/releases.htmlBecause tämä versio ei sisällä windows 10 binaryä, voit viitata alla olevaan linkkiin ladataksesi pre-build-version Windows-ympäristöön.Tämä on 64-bittinen versio. Lataa kaikki laitettavaksi/korvattavaksi /somewhere/hadoop-2.7.1/bin/-kansioon.https://github.com/steveloughran/winutils/tree/master/hadoop-2.7.1/bin

Tässä on hyvä artikkeli Hadoopin asennuksesta viitteeksi.http://toodey.com/2015/08/10/hadoop-installation-on-windows-without-cygwin-in-10-mints/

4. Konfiguroi ympäristösi.

4.1 Windowsista logo=>haku käynnistää: ”Hae järjestelmän lisäasetukset”-ohjelma-> klikkaa painiketta ”Ympäristömuuttujat ”4.2 Muuta alla olevia ympäristömuuttujia ohjelmistoversiosi ja sijaintisi mukaan.Tämä on esimerkki.

JAVA_HOME=C:\ Ohjelmatiedostot\Java\jre1.8.0_121

SPARK_HOME=C:\somewhere\spark-2.1.0-bin-hadoop2.7

HADOOP_HOME=C:\somewhere\hadoop-2.7.3

4.3 Liitä alla oleva muuttuja ”Polku”-kenttään

%SPARK_HOME%\bin

5. Valitse ”Polku”. Anna käyttöoikeus temp-kansioon

Luo temp-kansio osoitteeseen c:\tmp\hive

Suorita alla oleva komento järjestelmänvalvojana.

winutils.exe chmod 777 C:\tmp\hive

6. Suorita seuraava komento järjestelmänvalvojana. Kokeile.

Mene osoitteeseen c:\somewhere\spark-2.1.0-bin-hadoop2.7\bin\

suorita ”spark-shell”, ”pyspark” tai ”spark-submit <sovelluksen_nimi>” ohjelmallesi.

Toivotaan, että kaikki on kunnossa.

Jos havaitsit joitain virheilmoituksia, jotka liittyvät HiveSessionState:iin, niin kokeile komennon suorittamista ylläpitäjänä välttääksesi sen.