HADOOP 설치 준비단계 CENTOS7 리눅스설치, 서버복제하기

1. 설치 참고 : https://wikidocs.net/63192
2. WordCount 테스트 예제

Centos7 Linux 설치

• http://thedata.kr/thecoding/installation/linux
• server01 설치

설정 정보

--------------- Master ---------------
HostName : server01.hadoop.com
IpAddress : 192.168.56.101
Ram : 2GB
HDD : 20GB
--------------- DataNode1 ---------------
HostName : server02.hadoop.com
IpAddress : 192.168.56.102
Ram : 2GB
HDD : 20GB

Hadoop을 위한 Linux 설정

1. Network 설정 확인

• SELinux는 disabled 상태 확인
• 방화벽 모두 끄기 상태 확인

1. HostName 설정

• 리눅스(서버), 윈도우(작업PC,클라이언트) 모두 설정
• nameserver(DNS)가 없으므로 /etc/hosts에 등록
• 모든 Server에 공통으로 들어 가야 함.

 

vi /etc/hosts

위 명령어를 입력하고 Enter
vi 창에서 ' i ' 를 누르고 -insert- 버전으로 전환한 후,
아래 내용을 상단에 입력한 후 esc 누르고 ' :wq ' 입력해서 저장한다

192.168.56.101 server01.hadoop.com server01
192.168.56.102 server02.hadoop.com server02

<결과 화면>

1. 기타 설정

• swappiness 설정
• https://vlog.tion.co.kr/swappiness-%EC%84%A4%EC%A0%95-%EC%9E%98%EB%AA%BB%EB%90%9C-%EC%83%81%EC%8B%9D/

sysctl -w vm.swappiness=100

vi /etc/sysctl.conf

위 명령어를 입력하고 Enter

vi 창에서 ' i ' 를 누르고 -insert- 버전으로 전환한 후,

아래 내용을 상단에 입력한 후 esc 누르고 ' :wq ' 입력해서 저장한다

vm.swappiness=100

<결과 화면>

• transparent_hugepage 설정

vi /etc/rc.local

위 명령어를 입력하고 Enter
vi 창에서 ' i ' 를 누르고 -insert- 버전으로 전환한 후,
아래 내용을 상단에 입력한 후 esc 누르고 ' :wq ' 입력해서 저장한다

tip. 바로 다음 줄에 복사할 때는,
명령어 상태에서 복사하고 싶은 줄에 커서를 놓고 yyp 를 누르면 바로 아랫줄에 붙여넣기가 된다

echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

• file descriptor 수정
• https://lunatine.net/2014/05/28/limits-conf-nofile-big-value-effect/

vi /etc/security/limits.conf

tip. vi에서 여러 줄을 복사할 때는
명령어 상태에서 'v'버튼을 누르고 복사하기 원하는 영역을 선택하고 'y'버튼으로 저장.
붙여넣기 원하는 부분에서 'p' 버튼을 누르면 붙여넣기가 된다

root soft nofile 65536
root hard nofile 65536
* soft nofile 65536
* hard nofile 65536

root soft nproc 32768
root hard nproc 32768
* soft nproc 32768
* hard nproc 32768

서버 2개 복제 (PC 성능에 따라 복제 개수 설정)

• Hadoop을 위한 Linux 설정 후 복제 시작
• VirtualBox - 생성한 가상머신 - 오른쪽 버튼 - 복제(O..) CTRL+O
• MAC 주소 정책(P) : 모든 네트워크 어댑터 새 MAC 주소 생성 - 다음 버튼
• 완전한 복제 - 복제 버튼

복제 서버 HostName 변경

hostname

hostnamectl set-hostname server02.hadoop.com

hostname

복제 서버 Networ 설정

• NAT용 ifcfg-enp0s3 ONBOOT 값 확인/수정

vi /etc/sysconfig/network-scripts/ifcfg-enp0s3

ONBOOT=yes

• 호스트전용 어댑터 DHCP로 Ip address를 받아온다
• ONBOOT, BOOTPROTO 확인/수정, 고정 IP로 변경 후 IP추가
• HWADDR 확인 : VirtualBox - 생성한 가상머신 - 설정 - 네트워크 - 어댑터2 - 고급 - MAC 주소(M)

vi /etc/sysconfig/network-scripts/ifcfg-enp0s8

BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.56.102
HWADDR=08:00:27:59:D9:F5

vi /etc/hosts

192.168.56.101 server01.hadoop.com server01
192.168.56.102 server02.hadoop.com server02