메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


python으로 python프로그램인 test.py를 실행시 "ImportError: No module named py4j.protocol" 오류가 발생하면 아래와 환경 변수를 설정해준다.(예, /etc/profile)

export SPARK_HOME=$HOME/spark
export PYTHONPATH=${SPARK_HOME}/python/:$(echo ${SPARK_HOME}/python/lib/py4j-*-src.zip):${PYTHONPATH}


----------------오류내용 #1--------------------------

-bash-4.1$ python test.py
Traceback (most recent call last):
  File "test.py", line 1, in <module>
    from pyspark import SparkContext
ImportError: No module named pyspark


----------------오류내용 #2--------------------------

-bash-4.1$ python test.py
Traceback (most recent call last):
  File "test.py", line 1, in <module>
    from pyspark import SparkContext
  File "$HOME/spark/python/pyspark/__init__.py", line 44, in <module>
    from pyspark.context import SparkContext
  File "$HOME/spark/python/pyspark/context.py", line 29, in <module>
    from py4j.protocol import Py4JError
ImportError: No module named py4j.protocol


-----------------test.py프로그램-------------------

-bash-4.1$ cat test.py
from pyspark import SparkContext
sc = SparkContext("local[2]", "Test App")

data = sc.textFile("ml/UserPurchaseHistory.csv").map(lambda line: line.split(",")).map(lambda record: (record[0], record[1]))

purchase_number = data.count()

print(data.count())

번호 제목 글쓴이 날짜 조회 수
33 [gson]mongodb의 api를 이용하여 데이타를 가져올때 "com.google.gson.stream.MalformedJsonException: Unterminated object at line..." 오류발생시 조치사항 총관리자 2017.12.11 4301
32 lagom-windows용 build.sbt파일 내용 총관리자 2017.10.12 60
31 lagom-linux용 build.sbt파일 내용 총관리자 2017.10.12 1300
30 lagom의 online-auction-java프로젝트 실행시 "Could not find Cassandra contact points, due to: ServiceLocator is not bound" 경고 발생시 조치사항 총관리자 2017.10.12 219
29 python3.5에서 numpy버젼에 따른 문제점을 조치하는 방법및 pymysql import할때 오류 발생시 조치사항 총관리자 2017.09.28 80
» python test.py실행시 "ImportError: No module named pyspark" 혹은 "ImportError: No module named py4j.protocol"등의 오류 발생시 조치사항 총관리자 2017.07.04 761
27 [Jsoup]특정페이지를 jsoup을 이용하여 파싱하는 샘플소스 총관리자 2017.04.18 205
26 [jsoup]Jsoup Tutorial 총관리자 2017.04.11 146
25 [메모리 덤프파일 분석] 총관리자 2017.03.31 198
24 [springframework]Caused by: org.mariadb.jdbc.internal.util.dao.QueryException: Could not read resultset: unexpected end of stream, read 0 bytes from 4 오류 발생시 조치사항 총관리자 2017.01.23 678
23 [tomcat] logrotate를 이용하여 catalina.out로그파일 일별로 로테이션 저장하기 file 총관리자 2017.01.18 318
22 List<Map<String, String>>형태의 데이타에서 중복제거 하는 방법 총관리자 2016.12.23 1626
21 Class.forName을 이용한 메서드 호출 샘플소스 총관리자 2016.12.21 100
20 Collections.sort를 이용한 List<Map<String, String>>형태의 데이타 정렬 소스 총관리자 2016.12.15 45
19 Collections.sort를 이용한 List<User>형태의 데이타 정렬(숫자, 문자에 대해서 각각 asc/desc및 복합정렬) 총관리자 2016.12.15 114
18 Eclipse실행시 Java was started but returned exit code=1이라는 오류가 발생할때 조치방법 총관리자 2016.11.07 397
17 java스레드 덤프 분석하기 file 총관리자 2016.11.03 111
16 mybatis와 spring을 org.apache.commons.dbcp2.BasicDataSource의 DataSource로 연동할때 DB설정(참고) 총관리자 2016.10.31 990
15 Caused by: java.sql.SQLNonTransientConnectionException: Could not read resultset: unexpected end of stream, read 0 bytes from 4 오류시 확인/조치할 내용 총관리자 2016.10.31 3703
14 VisualVM 1.3.9을 이용한 JVM 모니터링 file 총관리자 2016.10.27 329

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로