메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


0. 아래 작업(0~7)은 root계정으로 진행한다.

*컴파일 환경준비

  - yum install zlib-devel -y
  - yum install openssl openssl-devel -y


1. 작업용 디렉토리생성하고 해당 폴더로 들어간다.

 mkdir /tmp/python

 cd /tmp/python




2. python3.5.1다운로드 받기(Gzipped source tarball)

https://www.python.org/downloads/release/python-351/에서 (Gzipped source tarball)를 클릭하여 소스를 다운로드 받아 작업 폴더(/tmp/python)에 업로드 한다.


3. 압축풀기

tar xvfz Python-3.5.1.tgz 


4. Python-3.5.1폴더로 이동한후 컴파일및 설치한다.

가. cd Python-3.5.1
나. ./configure --prefix=/usr/local --enable-shared LDFLAGS="-Wl,-rpath /usr/local/lib"
다. make && make altinstall


5. python3.5 버젼확인

> python3.5 -V => Python 3.5.1


5-1. python프로그램 실행 테스트

python3.5 /svc/apps/sda/ml/predict_.py 0000000003 dinner


6. pip3설치(python3은 pip3를 사용하고 python2는 pip를 사용해야함, 아래의 절차로 실행하면 python3.5에 맞는 pip가 설치되며 pip혹은 pip3 모두 같은 버젼이 실행되도록 설정됨)

가. curl -k -O https://bootstrap.pypa.io/get-pip.py
나. python3.5 get-pip.py

다. 확인 : pip --version check

* 로그내용

-bash-4.1# python3.5 get-pip.py
Collecting pip
  Downloading pip-9.0.1-py2.py3-none-any.whl (1.3MB)
    100% |████████████████████████████████| 1.3MB 616kB/s 
Collecting wheel
  Downloading wheel-0.30.0-py2.py3-none-any.whl (49kB)
    100% |████████████████████████████████| 51kB 15.8MB/s 
Installing collected packages: pip, wheel
  Found existing installation: pip 7.1.2
    Uninstalling pip-7.1.2:
      Successfully uninstalled pip-7.1.2
Successfully installed pip-9.0.1 wheel-0.30.0


7. numpy/pymysql설치

pip3 install numpy    <-(1.13.2가 설치되므로 python3를 사용하는 경우 아래의 내용을 참고하여 버젼업시켜준다.)

pip3 install pymysql


*참고 : numpy버젼 변경방법(예, 1.13.2를 1.9.2로 변경)

 가. pip3 install numpy==1.9.2

 나. pip3 install --upgrade --no-cache-dir  --force-reinstall scipy

 다. 진행 메세지

-bash-4.1# pip3 install numpy==1.9.2
Collecting numpy==1.9.2
  Downloading numpy-1.9.2-cp35-cp35m-manylinux1_x86_64.whl (15.0MB)
    100% |████████████████████████████████| 15.0MB 106kB/s
Installing collected packages: numpy
  Found existing installation: numpy 1.13.2
    Uninstalling numpy-1.13.2:
      Successfully uninstalled numpy-1.13.2
Successfully installed numpy-1.9.2




번호 제목 글쓴이 날짜 조회 수
261 CDP에서 AD와 Kerberos를 활용하여 인증 환경을 구축하는 3가지 방법 gooper 2022.06.10 425
260 Error: Could not find or load main class nodemnager 가 발생할때 해결하는 방법 총관리자 2015.06.05 426
259 Hadoop - 클러스터 세팅및 기동 총관리자 2015.04.28 427
258 ontology, jena, sparql등 전반에 대한 설명및 예제를 제공하는 사이트 총관리자 2015.12.08 427
257 elasticsearch 기동시 permission denied on key 'vm.max_map_count' 오류발생시 조치사항 총관리자 2017.06.23 431
256 db를 통째로 새로운 이름의 db로 복사하는 방법/절차 총관리자 2017.11.14 433
255 Could not configure server becase SASL configuration did not allow the Zookeeper server to authenticate itself properly: javax.security.auth.login.LoginException: Checksum failed 총관리자 2019.05.18 434
254 Java 8에서 pom.xml에 JavaDoc 관련 태그가 설정되어 있으나 오류등으로 실패하면 나머지 Maven작업이 종료되는 문제 해결 방법 총관리자 2017.01.24 438
253 Drools 6.0 - 비즈니스 룰 기반으로 간단한 룰 애플리케이션 만들기 file 총관리자 2016.07.18 440
252 [번역] solr 검색 엔진 튜토리얼 총관리자 2014.10.07 441
251 Elastic Search For Hadoop 2.2.0설치하기(5대 클러스터링) 총관리자 2016.04.04 448
250 java.lang.IllegalArgumentException: Does not contain a valid host:port authority: master 오류해결방법 총관리자 2015.05.06 451
249 CDH 5.14.2 설치중 agent설치에서 실패하는 경우 확인/조치 총관리자 2018.05.22 451
248 [백업] 리눅스 시스템 백업하기 (Linux System Backup) - TAR 사용 시스템 전체 백업 총관리자 2022.01.19 452
247 Spark 1.6.1 설치후 HA구성 총관리자 2016.05.24 455
246 servlet-api를 jar형태로 build할때 포함하지 말고 java 설치 위치의 jre/lib/ext에 복사하여 사용하는것이 좋다. 총관리자 2016.08.10 455
245 spark-sql실행시 The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH오류 발생시 조치사항 총관리자 2016.06.09 456
244 java.lang.OutOfMemoryError: unable to create new native thread오류 발생지 조치사항 총관리자 2016.10.17 470
243 Ubuntu 16.04 LTS에 Hive 2.1.1설치하면서 "Version information not found in metastore"발생하는 오류원인및 조치사항 총관리자 2017.05.03 471
242 java.util.NoSuchElementException발생시 조치 총관리자 2014.08.27 476

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로