메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


CDH설치중 아래와 같이 오류가 발생하면서 cloudera agent가 설치되지 않는 경우가 있는데 이는 apt-get update를 실행하면서 package "apt-transport-https"가 설치되지 않아서 발생하는 문제이므로 sudo apt-get install apt-transport-https를 실행후 agent설치를 retry해준다.


----------sudo apt-get update를 실행하여 보여지는 에러 메세지--------------

gooper@gsda3:/etc/apt/sources.list.d$ sudo apt-get update

Hit:1 http://security.ubuntu.com/ubuntu xenial-security InRelease

Hit:2 http://archive.ubuntu.com/ubuntu xenial InRelease                                        

Hit:3 http://ppa.launchpad.net/webupd8team/java/ubuntu xenial InRelease                        

Hit:4 http://archive.ubuntu.com/ubuntu xenial-updates InRelease                                    

Hit:5 http://ftp.kaist.ac.kr/mariadb/repo/10.1/ubuntu xenial InRelease  

Reading package lists... Done

E: The method driver /usr/lib/apt/methods/https could not be found.

N: Is the package apt-transport-https installed?

E: Failed to fetch https://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm/dists/xenial-cm5.14.2/InRelease  

E: Some index files failed to download. They have been ignored, or old ones used instead.


-------apt-transport-https패키지를 설치하는 메세지-------------

gooper@gsda3:/etc/apt/sources.list.d$ sudo apt-get install apt-transport-https

Reading package lists... Done

Building dependency tree       

Reading state information... Done

The following package was automatically installed and is no longer required:

  postgresql

Use 'sudo apt autoremove' to remove it.

The following NEW packages will be installed:

  apt-transport-https

0 upgraded, 1 newly installed, 0 to remove and 3 not upgraded.

Need to get 26.1 kB of archives.

After this operation, 215 kB of additional disk space will be used.

Get:1 http://archive.ubuntu.com/ubuntu xenial-updates/main amd64 apt-transport-https amd64 1.2.26 [26.1 kB]

Fetched 26.1 kB in 3s (7,659 B/s)                    

Selecting previously unselected package apt-transport-https.

(Reading database ... 35334 files and directories currently installed.)

Preparing to unpack .../apt-transport-https_1.2.26_amd64.deb ...

Unpacking apt-transport-https (1.2.26) ...

Setting up apt-transport-https (1.2.26) ...


-----------------------CM설치하면서 보여지는 오류 메세지-----------------

/tmp/scm_prepare_node.DD6Kh9k4 

using SSH_CLIENT to get the SCM hostname: 104.251.212.146 57750 10022 

opening logging file descriptor 

Starting installation script...

Acquiring installation lock...

BEGIN flock 4 

END (0) 

Detecting root privileges...

effective UID is 1001 

BEGIN which pbrun 

END (1) 

BEGIN sudo -S id 

uid=0(root) gid=0(root) groups=0(root) 

END (0) 

Using 'sudo ' to acquire root privileges 

Detecting distribution...

BEGIN grep 'Ubuntu' /etc/lsb-release 

DISTRIB_ID=Ubuntu 

DISTRIB_DESCRIPTION="Ubuntu 16.04.4 LTS" 

END (0) 

BEGIN grep DISTRIB_CODENAME /etc/lsb-release 

END (0) 

DISTRIB_CODENAME=xenial 

BEGIN echo DISTRIB_CODENAME=xenial | cut -d = -f 2 

xenial 

END (0) 

Detecting Cloudera Manager Server...

BEGIN host -t PTR 104.251.212.146 

/tmp/scm_prepare_node.DD6Kh9k4/scm_prepare_node.sh: line 104: host: command not found 

END (127) 

BEGIN which python 

/usr/bin/python 

END (0) 

BEGIN python -c 'import socket; import sys; s = socket.socket(socket.AF_INET); s.settimeout(5.0); s.connect((sys.argv[1], int(sys.argv[2]))); s.close();' 104.251.212.146 7182 

END (0) 

BEGIN which wget 

END (0) 

/usr/bin/wget 

BEGIN wget -qO- -T 1 -t 1 http://169.254.169.254/latest/meta-data/public-hostname && /bin/echo 

END (4) 

Installing package repositories...

validating format of repository file /tmp/scm_prepare_node.DD6Kh9k4/repos/ubuntu_xenial/cloudera-manager.list 

installing repository file /tmp/scm_prepare_node.DD6Kh9k4/repos/ubuntu_xenial/cloudera-manager.list 

repository file /tmp/scm_prepare_node.DD6Kh9k4/repos/ubuntu_xenial/cloudera-manager.list installed 

BEGIN sudo apt-key add /tmp/scm_prepare_node.DD6Kh9k4/archive.key 

OK 

END (0) 

installing priority file /tmp/scm_prepare_node.DD6Kh9k4/priorities/ubuntu_xenial/cloudera.pref 

priority file /tmp/scm_prepare_node.DD6Kh9k4/priorities/ubuntu_xenial/cloudera.pref installed 

Refreshing package metadata...

BEGIN sudo apt-get update 

Hit:1 http://ppa.launchpad.net/webupd8team/java/ubuntu xenial InRelease 

Hit:2 http://archive.ubuntu.com/ubuntu xenial InRelease 

Hit:3 http://archive.ubuntu.com/ubuntu xenial-updates InRelease 

Hit:4 http://ftp.kaist.ac.kr/mariadb/repo/10.1/ubuntu xenial InRelease 

Hit:5 http://security.ubuntu.com/ubuntu xenial-security InRelease 

Reading package lists... 

E: The method driver /usr/lib/apt/methods/https could not be found. 

E: Failed to fetch https://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm/dists/xenial-cm5.14.2/InRelease 

E: Some index files failed to download. They have been ignored, or old ones used instead. 

END (100) 

BEGIN sudo apt-get update 

Hit:1 http://security.ubuntu.com/ubuntu xenial-security InRelease 

Hit:2 http://ppa.launchpad.net/webupd8team/java/ubuntu xenial InRelease 

Hit:3 http://archive.ubuntu.com/ubuntu xenial InRelease 

Hit:4 http://archive.ubuntu.com/ubuntu xenial-updates InRelease 

Hit:5 http://ftp.kaist.ac.kr/mariadb/repo/10.1/ubuntu xenial InRelease 

Reading package lists... 

E: The method driver /usr/lib/apt/methods/https could not be found. 

E: Failed to fetch https://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm/dists/xenial-cm5.14.2/InRelease 

E: Some index files failed to download. They have been ignored, or old ones used instead. 

END (100) 

Installing cloudera-manager-agent package...

BEGIN sudo dpkg -l cloudera-manager-agent | grep -E '^ii[[:space:]]*cloudera-manager-agent[[:space:]]*' 

dpkg-query: no packages found matching cloudera-manager-agent 

END (1) 

BEGIN sudo apt-cache show cloudera-manager-agent 

E: No packages found 

END (100) 

cloudera-manager-agent must have Version=5.14.2 and Build=8, exiting


번호 제목 글쓴이 날짜 조회 수
501 Toree 0.1.0-incubating이 Scala 2.10.4까지만 지원하게 되어서 발생하는 NoSuchMethod오류 문제 해결방법(scala 2.11.x을 지원하지만 오류가 발생할 수 있음) 총관리자 2018.04.20 110
500 centos 6에서 mariadb 5.1 to 10.0 으로 upgrade 총관리자 2016.11.01 111
499 java스레드 덤프 분석하기 file 총관리자 2016.11.03 111
498 lagom에서 제공하는 초기 생성기능을 이용하여 생성한 프로젝트의 소스 파악 총관리자 2018.01.16 111
497 solrcloud에 solrdf1.1설치하고 테스트 하기 총관리자 2016.04.22 113
496 test333444 총관리자 2017.05.01 113
495 Impala daemon기동시 "Could not create temporary timezone file"오류 발생시 조치사항 총관리자 2018.03.29 113
494 Collections.sort를 이용한 List<User>형태의 데이타 정렬(숫자, 문자에 대해서 각각 asc/desc및 복합정렬) 총관리자 2016.12.15 114
493 하둡 클러스터 전체 노드를 다시 기동하면 invalidate metadata를 수행해야 데이터가 틀어지지 않는다. 총관리자 2019.05.20 114
492 hadoop에서 yarn jar ..를 이용하여 appliction을 실행하여 정상적으로 수행되었으나 yarn UI의 어플리케이션 목록에 나타나지 않는 문제 총관리자 2017.05.02 117
491 select와 group by결과 값이 없는경우의 리턴 값이 다름 file 총관리자 2016.02.05 119
490 ./hadoop-daemon.sh start namenode로 namenode기동시 EditLog의 custerId, namespaceId가 달라서 발생하는 오류 해결방법 총관리자 2016.09.24 119
489 tablet별 disk사용량 확인하는 방법 총관리자 2021.08.27 119
488 console명령과 API비교 총관리자 2015.12.21 120
487 VPS에서는 root로 실행해도 swap파일을 만들지 못하게 만들어 두었지만 swap파일을 생성하는 방법 총관리자 2017.06.20 120
486 HBase 설정 최적화하기(VCNC) file 총관리자 2017.07.18 120
485 producer / consumer구현시 설정 옵션 설명 총관리자 2016.10.19 121
484 [Kudu]Schema별 혹은 테이블별 사용량(Replica포함) 구하는 방법 gooper 2022.07.14 121
483 [TLS]pkcs12형식의 인증서 생성및 jks형식 인증서 생성 커맨드 예시 총관리자 2022.03.15 123
482 여러가지 방법으로 특정 jar파일을 exclude하지 못하는 경우 해당 jar파일을 제외시키는 방법 총관리자 2016.08.11 124

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로