Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.

Cloudera CDH/CDP 하둡 클러스터 전체 노드를 다시 기동하면 invalidate metadata를 수행해야 데이터가 틀어지지 않는다.

총관리자 2019.05.20 13:56 조회 수 : 114

하둡클러스터의 노드를 재기동하는등의 작업을 수행한후에는 hadoop계정으로 invalidate metadata를 수행해줘야 메티정보가 갱신되어 정상적으로 데이터가 사용된다.

invalidate metadata 이전과 이후의 테이블의 카운트를 수행해보면 두개의 결과 값이 다를 수 있으므로 invalidate metadata를 수행하여 최신의 정보로 meta데이터를 갱신하도록 해주어야할 필요가 있다.

이 게시물을

번호	제목	글쓴이	날짜	조회 수
620	oozie에서 share lib설정시 action type별로 구분하여 넣을것	총관리자	2014.04.18	1195
619	Mybatis foreach 문법정리(상황에 따른 사용법)	총관리자	2015.11.10	1151
618	build.gradle을 pom.xml로 변환하는 방법	총관리자	2016.08.18	1149
617	Caused by: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D오류발생시 조치사항	총관리자	2016.06.03	1141
616	호튼웍스 하둡을 검색엔진과 연동하는 방법과 아키텍쳐	총관리자	2014.09.25	1141
615	json serde사용법	총관리자	2014.04.17	1140
614	CentOS의 서버 5대에 yarn(hadoop 2.7.2)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함	총관리자	2016.03.29	1138
613	sequence한 번호 생성방법	총관리자	2014.04.25	1123
612	로그 파일에 대해 Elasticsearch 사용하기	총관리자	2014.09.25	1121
611	spark stream처리할때 두개의 client프로그램이 동일한 checkpoint로 접근할때 발생하는 오류 내용	총관리자	2018.01.16	1115
610	Ubuntu 16.04 LTS에서 sendmail설치및 설정(수신,발신 가능)및 메일서버 만들기	총관리자	2017.05.23	1114
609	hive job실행시 meta정보를 원격의 mysql에 저장하는 경우 설정방법	총관리자	2014.05.28	1088
608	cloudera(python 2.7.5)에서 anaconda3로 설치한 외부 python(3.6.6)을 이용하여 pyspark를 사용하는 설정	총관리자	2018.09.14	1084
607	Building a Cluster docs	총관리자	2014.04.22	1083
606	mysql에서 외부 디비를 커넥션할 경우 접속 속도가 느려질때	총관리자	2017.06.30	1079
605	Ubuntu 16.04 LTS에 MariaDB 10.1설치 및 포트변경 및 원격접속 허용	총관리자	2017.05.01	1077
604	external partition table생성및 data확인	총관리자	2014.04.03	1072
603	Hive Query Examples from test code (1 of 2)	총관리자	2014.03.26	1050
602	HBase 0.98.12(1.2.5) for hadoop2 설치-5대에 완전분산모드 (HDFS HA상테)	총관리자	2015.04.29	1047
601	impala 설치/설정	총관리자	2016.06.03	1029

쓰기 태그

첫 페이지 2 3 4 5 6 7 8 9 10 11 끝 페이지

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.

Cloudera CDH/CDP 하둡 클러스터 전체 노드를 다시 기동하면 invalidate metadata를 수행해야 데이터가 틀어지지 않는다.

댓글 0

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다. 필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.

Cloudera CDH/CDP 하둡 클러스터 전체 노드를 다시 기동하면 invalidate metadata를 수행해야 데이터가 틀어지지 않는다.

댓글 0

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc. We are open to the required minutes. Please send inquiries to gooper@gooper.com.

LOGIN

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.