메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


1. 현재 연결된 기기 확인

(아래는 31.7GB(/dev/mmcblk0)과 1000.2 GB(/dev/sda)의 2개의 외장기기 확인됨

   /dev/mmcblk0는 /dev/mmcblk0p1과 /dev/mmcblk0p2의 2개 파티션으로 구성 되어 있고

          /dev/sda는 /dev/sda1로 파티션 1개로 구성되어 있음)

root@slave1:~# fdisk -l

Disk /dev/mmcblk0: 31.7 GB, 31657558016 bytes
4 heads, 16 sectors/track, 966112 cylinders, total 61831168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0xf7e9dfe5

        Device Boot      Start         End      Blocks   Id  System
/dev/mmcblk0p1            2048       40960       19456+  81  Minix / old Linux
/dev/mmcblk0p2           40961     7577599     3768319+  81  Minix / old Linux

Disk /dev/sda: 1000.2 GB, 1000204886016 bytes
255 heads, 63 sectors/track, 121601 cylinders, total 1953525168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0xc197d009

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1            2048  1953521663   976759808    7  HPFS/NTFS/exFAT

 

2. device에 mount할 폴더 생성

root@slave1:~# mkdir /app
root@slave1:~# mkdir /app/usb
root@slave1:~# mkdir /app/usb2
root@slave1:~# mkdir /app/hdd

 

3. hdd는 인식가능하게 파티션을 생성해야함..

root@slave1:/# fdisk /dev/sda

Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel

Building a new DOS disklabel with disk identifier 0xb092454e.

Changes will remain in memory only, until you decide to write them.

After that, of course, the previous content won't be recoverable.


Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)


The device presents a logical sector size that is smaller than

the physical sector size. Aligning to a physical sector (or optimal

I/O) size boundary is recommended, or performance may be impacted.


Command (m for help): o

Building a new DOS disklabel with disk identifier 0xb5607451.

Changes will remain in memory only, until you decide to write them.

After that, of course, the previous content won't be recoverable.


Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)


The device presents a logical sector size that is smaller than

the physical sector size. Aligning to a physical sector (or optimal

I/O) size boundary is recommended, or performance may be impacted.


Command (m for help): n

Partition type:

   p   primary (0 primary, 0 extended, 4 free)

   e   extended

Select (default p): p

Partition number (1-4, default 1): 

Using default value 1

First sector (2048-1953525167, default 2048): 

Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-1953525167, default 1953525167): 

Using default value 1953525167


Command (m for help): w

The partition table has been altered!


Calling ioctl() to re-read partition table.

Syncing disks.


4. 작성된 파티션을 사용하기 위해 파일시스템을 생성한다.

(아래는 전체를 파티션 1개로 설정한 경우임)

root@slave1:/# mkfs -t ext4 /dev/sda1

mke2fs 1.42.5 (29-Jul-2012)

Filesystem label=

OS type: Linux

Block size=4096 (log=2)

Fragment size=4096 (log=2)

Stride=0 blocks, Stripe width=0 blocks

61054976 inodes, 244190390 blocks

12209519 blocks (5.00%) reserved for the super user

First data block=0

Maximum filesystem blocks=0

7453 block groups

32768 blocks per group, 32768 fragments per group

8192 inodes per group

Superblock backups stored on blocks: 

        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208, 

        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968, 

        102400000, 214990848


Allocating group tables: done                            

Writing inode tables: done                            

Creating journal (32768 blocks): done

Writing superblocks and filesystem accounting information: done     


*파티션 정보 확인

root@slave1:/# fdisk -l


Disk /dev/sda: 1000.2 GB, 1000204886016 bytes

81 heads, 63 sectors/track, 382818 cylinders, total 1953525168 sectors

Units = sectors of 1 * 512 = 512 bytes

Sector size (logical/physical): 512 bytes / 4096 bytes

I/O size (minimum/optimal): 4096 bytes / 4096 bytes

Disk identifier: 0xb5607451


   Device Boot      Start         End      Blocks   Id  System

/dev/sda1            2048  1953525167   976761560   83  Linux


Disk /dev/mmcblk0: 31.7 GB, 31657558016 bytes

4 heads, 16 sectors/track, 966112 cylinders, total 61831168 sectors

Units = sectors of 1 * 512 = 512 bytes

Sector size (logical/physical): 512 bytes / 512 bytes

I/O size (minimum/optimal): 512 bytes / 512 bytes

Disk identifier: 0xf7e9dfe5


        Device Boot      Start         End      Blocks   Id  System

/dev/mmcblk0p1            2048       40960       19456+  81  Minix / old Linux

/dev/mmcblk0p2           40961     7577599     3768319+  81  Minix / old Linux

root@slave1:/# fdisk -l


Disk /dev/sda: 1000.2 GB, 1000204886016 bytes

81 heads, 63 sectors/track, 382818 cylinders, total 1953525168 sectors

Units = sectors of 1 * 512 = 512 bytes

Sector size (logical/physical): 512 bytes / 4096 bytes

I/O size (minimum/optimal): 4096 bytes / 4096 bytes

Disk identifier: 0xb5607451


   Device Boot      Start         End      Blocks   Id  System

/dev/sda1            2048  1953525167   976761560   83  Linux


Disk /dev/mmcblk0: 31.7 GB, 31657558016 bytes

4 heads, 16 sectors/track, 966112 cylinders, total 61831168 sectors

Units = sectors of 1 * 512 = 512 bytes

Sector size (logical/physical): 512 bytes / 512 bytes

I/O size (minimum/optimal): 512 bytes / 512 bytes

Disk identifier: 0xf7e9dfe5


        Device Boot      Start         End      Blocks   Id  System

/dev/mmcblk0p1            2048       40960       19456+  81  Minix / old Linux

/dev/mmcblk0p2           40961     7577599     3768319+  81  Minix / old Linux


5. device와 폴더 연결(mount)

root@slave1:/# mount /dev/sda1 /app/hdd

 

6. 자동 mount설정

 vi /etc/fstab에 아래의 내용을 추가한다.

 

 /dev/sda1       /app/hdd        ext4    defaults        0       0


번호 제목 글쓴이 날짜 조회 수
200 http://blog.naver.com... 총관리자 2017.06.23 88
199 MongoDB에 있는 특정컬럼의 값을 casting(string->integer)하여 update하기 java 소스 총관리자 2016.12.19 88
198 collection생성시 -shards와 -replicationFactor값을 잘못지정하면 write.lock for client xxx.xxx.xxx.xxx already exists오류가 발생한다. 총관리자 2016.04.28 88
197 hive의 메타정보 테이블을 MariaDB로 사용하는 경우 table comment나 column comment에 한글 입력시 깨지는 경우 utf8로 바꾸는 방법. gooper 2023.03.10 87
196 HBase write 성능 튜닝 file 총관리자 2017.07.18 87
195 kudu rebalance수행 command예시 총관리자 2022.01.17 85
194 각 서버에 설치되는 cloudera서비스 프로그램 목록(CDH 5.14.0의 경우) 총관리자 2018.03.29 85
193 Hue Job Browser의 Queries탭에서 조건을 지정하는 방법 총관리자 2018.05.10 84
192 TLS/SSl설정시 방법및 참고 사항 총관리자 2021.10.08 83
191 jena의 data폴더를 hadoop nfs를 이용하여 HDFS상의 폴더에 마운트 시키고 fuseki를 통하여 inert를 시도했을때 transaction 오류 발생 총관리자 2016.12.02 82
190 Query 1234:1234 expired due to client inactivity(timeout is 5m)및 invalid query handle gooper 2022.06.10 81
189 Lagom에서 제공하는 Maven을 이용한 Hello프로젝트 자동생성 및 실행 총관리자 2018.01.19 81
188 oneM2M Specification(Draft Release 3, 2, 1), Draft Technical Reports 총관리자 2017.10.25 81
187 외부 jar파일을 만들려고하는jar파일의 package로 포함하는 방법 총관리자 2016.08.10 81
186 python3.5에서 numpy버젼에 따른 문제점을 조치하는 방법및 pymysql import할때 오류 발생시 조치사항 총관리자 2017.09.28 80
185 다중 모듈 프로젝트 설정에 대한 설명 총관리자 2016.09.21 80
184 로컬에 있는 jar파일을 지정하고 dependency로 가져오기 총관리자 2016.08.19 79
183 LAGOM 1.4 AND KUBERNETES ORCHESTRATION 총관리자 2019.07.19 78
182 Components of the Impala Server 총관리자 2018.03.21 78
181 파일끝에 붙는 ^M 일괄 지우기(linux, unix(AIX)) 혹은 파일내에 있는 ^M지우기 총관리자 2016.09.24 78

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로