Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
python python test.py실행시 "ImportError: No module named pyspark" 혹은 "ImportError: No module named py4j.protocol"등의 오류 발생시 조치사항
python으로 python프로그램인 test.py를 실행시 "ImportError: No module named py4j.protocol" 오류가 발생하면 아래와 환경 변수를 설정해준다.(예, /etc/profile)
export SPARK_HOME=$HOME/spark
export PYTHONPATH=${SPARK_HOME}/python/:$(echo ${SPARK_HOME}/python/lib/py4j-*-src.zip):${PYTHONPATH}
----------------오류내용 #1--------------------------
-bash-4.1$ python test.py
Traceback (most recent call last):
File "test.py", line 1, in <module>
from pyspark import SparkContext
ImportError: No module named pyspark
----------------오류내용 #2--------------------------
-bash-4.1$ python test.py
Traceback (most recent call last):
File "test.py", line 1, in <module>
from pyspark import SparkContext
File "$HOME/spark/python/pyspark/__init__.py", line 44, in <module>
from pyspark.context import SparkContext
File "$HOME/spark/python/pyspark/context.py", line 29, in <module>
from py4j.protocol import Py4JError
ImportError: No module named py4j.protocol
-----------------test.py프로그램-------------------
-bash-4.1$ cat test.py
from pyspark import SparkContext
sc = SparkContext("local[2]", "Test App")
data = sc.textFile("ml/UserPurchaseHistory.csv").map(lambda line: line.split(",")).map(lambda record: (record[0], record[1]))
purchase_number = data.count()
print(data.count())
댓글 0
번호 | 제목 | 글쓴이 | 날짜 | 조회 수 |
---|---|---|---|---|
13 | Lagom프레임웍에서 제공하는 HelloWorld 테스트를 수행시 [unknown-version]오류가 발생하면서 빌드가 되지 않는 경우 조치사항 | 총관리자 | 2017.12.22 | 56 |
12 | Windows에서 sbt개발환경 구축 방법(링크) | 총관리자 | 2016.06.02 | 54 |
11 | lombok설치방법 | 총관리자 | 2020.06.20 | 49 |
10 | Collections.sort를 이용한 List<Map<String, String>>형태의 데이타 정렬 소스 | 총관리자 | 2016.12.15 | 45 |
9 | restaurant-controller,에서 등록 예시 | 총관리자 | 2022.04.30 | 33 |
8 | vuestorefrontui.io를 이용한 front end project 생성하기 | 총관리자 | 2022.02.06 | 23 |
7 | windows10 pro에서 microservice pattern책의 예제를 kubernetes에서 기동하는 방법 | 총관리자 | 2022.01.30 | 18 |
6 | 주문 생성 데이터 예시 | 총관리자 | 2022.04.30 | 11 |
5 | 주문히스토리 조회 | 총관리자 | 2022.04.30 | 11 |
4 | eclipse editor 설정방법 | 총관리자 | 2022.02.01 | 10 |
3 | [vue storefrontui]외부 API통합하기 참고 문서 | 총관리자 | 2022.02.09 | 7 |
2 | ./gradlew :composeDown 및 ./gradlew :composeUp 를 성공했을때의 메세지 | gooper | 2023.02.20 | 6 |
1 | 호출 url현황 | gooper | 2023.02.21 | 6 |