메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


hive의 메타정보 테이블을 MariaDB로 사용하는 경우 impala에서 table생성시 table의 comment나 column의 comment에 한글 입력시 깨지는 경우가 있는데 이는 default character set인 latin1을 사용하기 때문이다 .

그래서 character set를 utf8로 바꾸야 하는데 다음과 같이 수행한다. (관련 테이블은 hive에서 사용하는 TABLE_PARAMS, TBLS, COLUMN_V2 이렇게 3개의 테이블이다)


alter table metastore.TABLE_PARAMS convert to character set utf8;

하면 show full columns from metastore.TABLE_PARAMS의 varchar컬럼들의 Collation항목이 utf8_general_ci로 변경된다. 

번호 제목 글쓴이 날짜 조회 수
340 DB별 JDBC 드라이버 총관리자 2015.10.02 256
339 console명령과 API비교 총관리자 2015.12.21 120
338 mongodb에서 큰데이타 sort시 오류발생에 대한 해결방법 총관리자 2015.12.22 145
337 CDH 5.4.4 버전에서 hive on tez (0.7.0)설치하기 총관리자 2016.01.14 164
336 Spark Streaming으로 유실 없는 스트림 처리 인프라 구축하기 총관리자 2016.03.11 137
335 CentOS의 서버 5대에 yarn(hadoop 2.7.2)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 총관리자 2016.03.29 1138
334 "java.net.NoRouteToHostException: 호스트로 갈 루트가 없음" 오류시 확인및 조치할 사항 총관리자 2016.04.01 3045
333 namenode오류 복구시 사용하는 명령 총관리자 2016.04.01 377
332 Incompatible clusterIDs오류 원인및 해결방법 총관리자 2016.04.01 496
331 Cassandra 3.4(3.10) 설치/설정 (5대로 clustering) 총관리자 2016.04.11 397
330 bin/cassandra -f -R로 startup할때 NullPointerException오류가 나면 조치할 내용 총관리자 2016.04.14 70
329 Hadoop 완벽 가이드 정리된 링크 총관리자 2016.04.19 205
328 Spark 2.1.1 clustering(5대) 설치(YARN기반) 총관리자 2016.04.22 1882
327 kafka 0.9.0.1 for scala 2.1.1 설치및 테스트 총관리자 2016.05.02 412
326 kafka broker기동시 brokerId가 달라서 기동에 실패하는 경우 조치방법 총관리자 2016.05.02 2337
325 Master rejected startup because clock is out of sync 오류 해결방법 총관리자 2016.05.03 60
324 spark-shell실행시 "A read-only user or a user in a read-only database is not permitted to disable read-only mode on a connection."오류가 발생하는 경우 해결방법 총관리자 2016.05.20 553
323 Spark 1.6.1 설치후 HA구성 총관리자 2016.05.24 455
322 spark-env.sh에서 사용할 수있는 항목. 총관리자 2016.05.24 569
321 "Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"오류 발생시 조치사항 총관리자 2016.05.25 1030

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로