메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


0. anaconda3가 이미 설치되어 있고 conda를 통하여 jupyterhub및 notebook를 설치완료된 상태이지만 python 3.6.5를 사용하지 못하고 RHEL 7.4에 default설치된 python 3.7.5를 사용하도록 PATH를 지정하는 경우 절대경로를 지정하지 않고 jupyterhub등을 실행하면 오류가 발생하고 특히 http://gooper.com:8000/에서 로그인 시도시 아래와 같은 오류가 발생하면서 로그인에 실패하면

config파일에 "c.Spawner.cmd = ['/usr/anaconda3/bin/jupyterhub-singleuser']"를 반드시 설정하고 기동해준다.(jupyterhub-singleuser가 있는 절대경로임)

--------------오류내용--------

 File "/usr/anaconda3/lib/python3.6/subprocess.py", line 1344, in _execute_child

        raise child_exception_type(errno_num, err_msg, err_filename)

    PermissionError: [Errno 13] Permission denied: 'jupyterhub-singleuser'


----------------설정방법(conda를 이용)------------

1. jupyterhub설치

  sudo /usr/anaconda3/bin/conda install -c conda-forge jupyterhub

2. jupyter설치

  sudo /usr/anaconda3/bin/conda install notebook

3. 설정파일이 저장될 위치 생성

  sudo mkdir /etc/jupyterhub

4. default 설정파일 생성 명령문

sudo /usr/anaconda3/bin/jupyterhub --generate-config -f /etc/jupyterhub/jupyterhub_config.py

5. 설정파일 수정(vi jupyterhub_config.py)후 저장

#  This is the address on which the proxy will bind. Sets protocol, ip, base_url

c.JupyterHub.bind_url = 'http://XXX.XXX.XXX.XXX:8000'


#  Some spawners allow shell-style expansion here, allowing you to use

#  environment variables. Most, including the default, do not. Consult the

#  documentation for your spawner to verify!

c.Spawner.cmd = ['/usr/anaconda3/bin/jupyterhub-singleuser']


5. 실행(debug모드로 실행)

  sudo /usr/anaconda3/bin/jupyterhub --debug


6. 확인(default는 PAM인증임)

https://localhost:8000


* jupyter는 jupyterhub를 통하면 자동으로 spawn되므로 따로 기동시킬 필요없음


번호 제목 날짜 조회 수
760 hue.axes_accessattempt테이블의 username컬럼에 NULL 혹은 space가 들어갈수도 있음. 2021.11.03 100568
759 hive job실행시 meta정보를 원격의 mysql에 저장하는 경우 설정방법 2014.05.28 71016
758 oozie의 meta정보를 mysql에서 관리하기 2014.05.26 35802
757 우분투 16.04LTS에 Jupyter설치 2018.04.17 35294
756 hadoop에서 yarn jar ..를 이용하여 appliction을 실행하여 정상적(?)으로 수행되었으나 yarn UI의 어플리케이션 목록에 나타나지 않는 문제 2017.05.02 35103
755 java.lang.ClassNotFoundException: org.apache.hadoop.util.ShutdownHookManager 오류조치사항 2015.05.20 34954
754 Authorization within Hadoop Projects 2022.06.13 34833
753 banana pi에 hive 0.13.1+mysql(metastore)설치 file 2014.09.09 34520
752 spark 2.0.0를 windows에서 실행시 로컬 파일을 읽을때 발생하는 오류 해결 방법 2017.01.12 34352
751 AIX 7.1에 Hadoop설치(정리중#2) 2016.09.20 34106
750 bananapi 5대(ubuntu계열 리눅스)에 yarn(hadoop 2.6.0)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 2015.04.24 33752
749 Hive java connection 설정 file 2013.04.01 33505
748 kerberos연동된 CDH 6.3.4에서 default realm값이 잘못된 상태에서 서비스 기동시 오류 2022.10.14 33403
747 hbase CustomFilter만들기 (0.98.X이상) 2015.05.08 32682
746 AnalysisException: Incomplatible return type 'DECIMAL(38,0)' and 'DECIMAL(38,5)' of exprs가 발생시 조치 2021.07.26 32429
745 Hadoop Clsuter에 이미 포함된 host의 hostname변경시 처리 절차 2023.03.24 32328
744 kerberos설정된 상태의 spooldir->memory->hdfs로 저장하는 과정의 flume agent configuration구성 예시 2019.05.30 32265
743 hbase startrow와 endrow를 지정하여 검색하기 샘플 2016.12.07 32265
742 source의 type을 spooldir로 하는 경우 해당 경로에 파일이 들어오면 파일단위로 전송함 2014.05.20 32184
741 spark stream처리할때 두개의 client프로그램이 동일한 checkpoint로 접근할때 발생하는 오류 내용 2018.01.16 32013
위로