Kilka kroków obejmuje instalację Sparka na komputerze lokalnym.
0. Wymagania wstępne: Zainstaluj JVM w swoim środowisku.
Możesz pobrać najnowszą wersję z
http://www.oracle.com/technetwork/java/javase/downloads/index.html
JRE (Java Runtime Environment) będzie dobre do tego zadania.Jeśli jesteś programistą Java, to możesz wybrać dowolne inne opcje według własnych wymagań.
1. Pobierz instalację Spark 2.1.0.
http://spark.apache.org/downloads.htmlYou może wybrać ostatni build. Na dzień dzisiejszy jest to 2.1.0 z prebuild Hadoop 2.7Po prostu kliknij link do pobrania, aby uzyskać pakiet.
2. Rozpakuj i rozpakuj pobrany plik do lokalnego folderu.
Dzięki instalacji jest pakowany przez gzip następnie tar.Więc będziesz musiał rozpakować go przez dowolne narzędzia zip, aby uzyskać „spark-2.1.0-bin-hadoop2.7”.Zmień nazwę na spark-2.1.0-bin-hadoop2.7.zip i rozpakuj go ponownie, aby uzyskać wszystkie materiały.
3. Pobierz / Zainstaluj Hadoop 2.7.1 binarne dla windows 10
Pobierz Hadoop binarne z poniższego linku i rozpakuj / rozpakuj do lokalnego folderuhttp://hadoop.apache.org/releases.htmlBecause ta wersja nie zawiera windows 10 binarne, możesz odnieść się poniżej link do pobrania wersji pre-build dla środowiska Windows.Jest to wersja 64-bitowa. Pobierz wszystko, aby umieścić w/zastąpić swój folder /somewhere/hadoop-2.7.1/bin/.https://github.com/steveloughran/winutils/tree/master/hadoop-2.7.1/bin
Tutaj znajduje się dobry artykuł dotyczący instalacji Hadoop dla twojego odniesienia.http://toodey.com/2015/08/10/hadoop-installation-on-windows-without-cygwin-in-10-mints/
4. Skonfiguruj swoje środowisko.
4.1 Z logo windows=>search, aby uruchomić: „Wyszukaj zaawansowane ustawienia systemu” program-> kliknij przycisk „Zmienne środowiskowe „4.2 Zmień poniższe zmienne środowiskowe zgodnie z wersją i lokalizacją Twojego oprogramowania.To jest przykład.
JAVA_HOME=C:Program FilesJavaJre1.8.0_121
SPARK_HOME=C:\somewhere\spark-2.1.0-bin-hadoop2.7
HADOOP_HOME=C:\somewhere\hadoop-2.7.3
4.3 Dołącz poniższą zmienną do „Path”
%SPARK_HOME%\bin
5. Nadaj uprawnienia do folderu tymczasowego
Utwórz folder tymczasowy pod adresem c:\tmp\ive
Wykonaj poniższe polecenie jako administrator.
winutils.exe chmod 777 C:\tmp\ive
6. Wypróbuj to.
Przejdź do c:™somewhere:™spark-2.1.0-bin-hadoop2.7
wykonaj „spark-shell”, „pyspark” lub „spark-submit <app_name>” dla swojego programu.
Miejmy nadzieję, że wszystko jest w porządku.
Jeśli znalazłeś kilka komunikatów o błędach związanych z HiveSessionState, możesz spróbować wykonać polecenie jako administrator, aby tego uniknąć.