Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
0. Spark, Scala, Pip, Python, Hadoop, Jupyter등은 이미 설치되어 있다고 가정한다.
1. 환경변수 설정
sudo vi /etc/profile
export $SPARK_HOME=$HOME/spark
2. 수정된 환경변수값 반영
sudo source /etc/profile
3. toree설치
sudo pip install toree
sudo jupyter toree install --spark_home=$SPARK_HOME --interpreters=Scala,PySpark,SparkR,SQL
4. browser에서 확인
https://gsda4:8888/
5. jupyter kernal목록 확인(jupyter kernelspec list)
/usr/local/lib/python2.7/dist-packages/jupyter_client/session.py:48: VisibleDeprecationWarning: zmq.eventloop.minitornado is deprecated in pyzmq 14.0 and will be removed.
Install tornado itself to use zmq with the tornado IOLoop.
from zmq.eventloop.ioloop import IOLoop
[ListKernelSpecs] WARNING | Native kernel (python2) is not available
[ListKernelSpecs] WARNING | Native kernel (python2) is not available
Available kernels:
apache_toree_pyspark /usr/local/share/jupyter/kernels/apache_toree_pyspark
apache_toree_scala /usr/local/share/jupyter/kernels/apache_toree_scala
apache_toree_sparkr /usr/local/share/jupyter/kernels/apache_toree_sparkr
apache_toree_sql /usr/local/share/jupyter/kernels/apache_toree_sql
python3 /usr/local/share/jupyter/kernels/python3
댓글 0
| 번호 | 제목 | 글쓴이 | 날짜 | 조회 수 |
|---|---|---|---|---|
| 5 | conda를 이용한 jupyterhub(v0.9)및 jupyter설치 (v4.4.0) | 총관리자 | 2018.07.30 | 421 |
| 4 | Toree 0.1.0-incubating이 Scala 2.10.4까지만 지원하게 되어서 발생하는 NoSuchMethod오류 문제 해결방법(scala 2.11.x을 지원하지만 오류가 발생할 수 있음) | 총관리자 | 2018.04.20 | 110 |
| 3 | CentOS 7.x에 Jupyter설치 | 총관리자 | 2018.04.18 | 550 |
| » | Apache Toree설치(Jupyter에서 Scala, PySpark, SparkR, SQL을 사용할 수 있도록 하는 Kernel) | 총관리자 | 2018.04.17 | 146 |
| 1 | 우분투 16.04LTS에 Jupyter설치 | 총관리자 | 2018.04.17 | 90 |