메뉴 건너뛰기
검색창 닫기
검색
로그인/회원가입
로그인
회원가입
빅데이타
구인/구직
질문/답변
사는얘기
Bigdata, Semantic IoT, Hadoop, NoSQL
Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.
전체
Cloudera CDH/CDP
수집/큐
flume
sqoop
kafka
가공/분석
mapreduce
impala
kudu
hive
spark
Jupyter
Zeppelin
Rstudio
presto
pig
제어
zookeeper
oozie
kms/kts
저장
mariadb
hbase
kudu
cassandra
mongodb
Cloudera Manager
Ranger
Atlas
Cloudera Management Service
Hue
YARN
HDFS
Hadoop
os
안드로이드
CentOS
Windows
우분투
IoT/시맨틱웹/머신러닝
IoT
Cassandra+CumulusRDF
Solr+SolRDF
Spark+S2RDF
Drools
halyard/rdf4j
sparql
fuseki/jena/
개발언어/프레임웍
프레임웍
lagom
spring-mybatis
microservice
python
java/jsp
scala
빌드/형상관리
sbt
gradle
maven
svn
git
검색엔진
elasticsearch
solr
기타
Magento2/APM
bananapi
기타
분석
번호
제목
글쓴이
날짜
조회 수
19
컬럼및 라인의 구분자를 지정하여 sqoop으로 데이타를 가져오고 hive테이블을 생성하는 명령문
총관리자
2018.08.03
418
18
java.util.NoSuchElementException발생시 조치
총관리자
2014.08.27
476
17
Kafka Offset Monitor로 kafka 상태 모니터링 하기
총관리자
2016.11.08
526
16
kafka-manager 1.3.3.4 설정및 실행하기
총관리자
2017.03.20
617
15
sqoop으로 mariadb에 접근해서 hive 테이블로 자동으로 생성하기
총관리자
2018.08.03
670
14
source의 type을 spooldir로 하는 경우 해당 경로에 파일이 들어오면 파일단위로 전송함
총관리자
2014.05.20
687
13
sqoop export/import등을 할때 driver를 못찾는 오류가 발생하면...
총관리자
2014.05.15
863
12
동일서버에서 LA와 LC동시에 기동하여 테스트
총관리자
2014.04.01
928
11
oozie 에서 sqoop action실행 에러 - 컬럼개수 차이
총관리자
2014.07.17
1002
10
Flume과 Kafka를 사용한 초당 100만개 로그 수집 테스트
총관리자
2016.10.31
1020
9
avro 사용하기(avsc 스키마 파일 컴파일 방법, consumer, producer샘플소스)
총관리자
2016.07.08
1267
8
flume 1.5.2 설치및 테스트(source : file, sink : hdfs) in HA
총관리자
2015.05.21
1415
7
sqoop에서 oracle관련 작업할때 테이블명, 사용자명, DB명은 모두 대문자로 사용할것
총관리자
2014.05.15
1527
6
hadoop 2.6.0에 sqoop2 (1.99.5) server및 client설치 == fail
총관리자
2015.06.11
1770
5
kafka broker기동시 brokerId가 달라서 기동에 실패하는 경우 조치방법
총관리자
2016.05.02
2328
4
sqoop 1.4.4 설치및 테스트
총관리자
2014.04.21
3134
3
다수의 로그 에이전트로 부터 로그를 받아 각각의 파일로 저장하는 방법(interceptor및 multiplexing)
총관리자
2014.04.04
4089
2
sqoop작업시 hdfs의 개수보다 더많은 값이 중복되어 oracle에 입력되는 경우가 있음
총관리자
2014.09.02
4093
1
import 혹은 export할때 hive파일의 default 구분자는 --input-fields-terminated-by "