本來不想在環境上面下功夫的 於是用docker開一個container直接抓別人做好的image來試用
結果一直出問題,我也不知道別人到底動了什麼,於是花了一個早上來重新部屬
首先必須確定java與scala有安裝
環境ubuntu 16.04
ref:https://www.tutorialspoint.com/apache_spark/apache_spark_installation.htm
安裝步驟
java
apt-get install default-jre //先安裝jre
add-apt-repository ppa:webupd8team/java //加入java至套件庫
apt-get update//更新套件資料
apt-get install oracle-java8-installer//安裝java8做完之後重新登入
輸入java -version //確認安裝完畢
scala
官網 http://www.scala-lang.org/download/
至官網裝安裝包
wget https://downloads.lightbend.com/scala/2.12.2/scala-2.12.2.tgz
#解壓縮
tar -xzf scala-2.12.2.tgz#將scala-2.12.2改名scalamv scala-2.12.2.tgz scala#移置/usr/local/share/
mv scala /usr/local/share
在~/.bashrc裡export path 資訊,讓以後登入可以自動更新path參數
vim ~/.bashrc將export PATH=”$PATH:/usr/local/share/scala/bin”加入並重登入
輸入scala會看到shell 成功！
spark
首先先去https://spark.apache.org/downloads.html下載安裝包
並加壓縮
tar -xzf spark-2.1.1-bin-hadoop2.7.tgz
mv spark-2.1.1-bin-hadoop2.7 /usr/local/saprkvim ~/.bashrc加入export PATH=”$PATH:/usr/local/spark/bin”
重新登入後
輸入pyspark
就能用spark in python
