- 빅데이터 탐색 개요
- 빅데이터 탐색에 활용되는 기술
- 탐색 파일럿 실행 1단계 - 탐색 아키텍처
- 탐색 파일럿 실행 2단계 - 탐색 환경 구성
- 저사양 파일럿 환경 서비스 중지
- Hive 설치
- Oozie 설치
- Hue 설치
- python 2.7 설치 : server02
- psycopg2 설치
- Oozie 설치 후 구성변경
- Hue 설치 후 구성변경
- Spark 설치
- Spark 설치 후 YARN에서 작동하도록 구성
- 탐색 환경의 구성 및 설치 완료
- 클러스트 재시작
- 탐색 파일럿 실행 3단계 - 탐색 기능 구현
- 탐색 파일럿 실행 4단계 - 탐색 기능 테스트
실시간 탐색 파일럿 실행 2단계 - 탐색 환경 구성
저사양 파일럿 환경 서비스 중지
- 클라우드 매니저(CM)에서 플럼, 카프카 서비스 중지
- Service0
- 스톰 정지: service storm-ui stop, service storm-supervisor stop, service storm-numbus stop
- 레디스 정지: service redis_6379 stop
- 수집, 적재 시뮬레이터 등도 정지
Hive 설치
- CM > 클러스트1 > 서비스 추가 > Hive 선택 > 계속
- 종속성 집합 > HBase 선택 > G, HMS, HS2 Server02 선택 > 계속
- 하이브 MetaStore DB 설정(기본) > 테스트연결 > 계속
- 변경 내용 검토(기본) > 계속
서버 1이 하는 일이 많아서, 서버 2로 수정
Oozie 설치
01. CM 홈에서 [서비스 추가] 화면으로 이동 -> 추가할 서비스 유형 중 '우지(Oozie)'를 선택 후 우측 하단의 [계속]버튼을 누른다
02. 우지 작동에 필요한 의존성을 선택
- HBase가 포함된 항목을 선택한 후 [계속]버튼을 누른다
03. 우지서버를 설치할 서버 선택
- Server02로 변경하고 [계속] 버튼을 누른다
04. 데이터베이스 설정.
- 기본값을 유지하고 테스트 연결만 확인한 후, [계속] 버튼을 누른다
05. 우지의 ShareLib 루트 디렉터리와 우지 서버의 데이터 디렉터리 설정 정보를 입력하는 단계
- 기본값을 유지한 상태에서 [계속] 버튼을 누른다
06. 우지 컴포넌트의 설치 및 구성이 시작된다.
- 설치가 완료되면 [계속] 버튼을 누른다
07. 마지막으로 우지 설치 완료화면.
- [완료] 버튼을 눌러 설치를 종료한다
08. 우지가 실행하는 잡들의 기본 메모리 값을 파일럿 환경에 맞게 조정한다
- CM 홈에서 [Oozie] -> [구성]을 선택하고 검색에서 "Launcher Memory"로 조회한다.
- 기본 메모리 값을 2GB 에서 1GB로 수정하고 [변경 내용 저장] 버튼을 누른다
- 변경이 완료되면 우지 서비스를 재시작한다
Hue 설치
Hue 설치 : server02
- server02에 python 2.7 필요
01. 모바텀에서 파이썬의 버전을 확인한다
02. python 2.7 설치 : server02
- yum install scl-utils 오류 시 아래 경로 확인
- https://stackoverflow.com/questions/63930619/error-cannot-find-a-valid-baseurl-for-repo-centos-sclo-rh
참고 : /etc/yum.repos.d/Centos-Base.repo 없으면 아래 값 추가
[centos-sclo-rh]
name=CentOS-6.10 - SCLo rh
baseurl=http://vault.centos.org/centos/6.10/sclo/$basearch/rh/
gpgcheck=1
enabled=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-SIG-SCLo
[centos-sclo-sclo]
name=CentOS-6.10 - SCLo sclo
baseurl=http://vault.centos.org/centos/6.10/sclo/$basearch/sclo/
gpgcheck=1
enabled=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-SIG-SCLo
# python --version
# yum install centos-release-scl
# yum install scl-utils
# yum install -y python27
# source /opt/rh/python27/enable
# python --versionpsycopg2 설치
yum install python-pip 오류 시 아래 명령어 먼저 실행
# yum --enablerepo=extras install epel-release# yum install python-pip
# pip --version
# yum install -y postgresql-devel
# pip install psycopg2==2.6.2 --ignore-installedOozie 설치 후 구성 변경
- CM > Oozie > 구성 > 검색 > > oozie-site.xml >
- 위 더하기 버튼을 누르면 (왼쪽이미지), 오른쪽이미지와 같은 화면을 볼 수 있다.
- 이름: oozie.processing.timezone , 값: GMT+0900 > 변경 내용 저장
- Oozie 이전 서비스 재시작
교재 설치 방법
# yum install python-pip
# yum install -y postgresql-devel
# bash -c "source /opt/rh/python27/enable;pip install psycopg2==2.6.2 --ignore-installed"pip install --upgrade pip 로 pip 오류 시
- pip 새로 download 해서 설치
# wget https://bootstrap.pypa.io/pip/2.7/get-pip.py
# python get-pip.py
# pip --version
# yum install -y postgresql-devel
# pip install psycopg2==2.7.7 --ignore-installed
- CM > 클러스트1 > 서비스 추가 > Hue 선택 >
- Select Dependencies: HBase HDFS Hive Oozie YARN (MR2 Included) ZooKeeper
- HS Server02 선택 > 계속
- 변경 내용 검토(기본) > 계속
Spark 설치
- CM > 클러스트1 > 서비스 추가 > Spark 선택 > 계속
- HS, G Server02 선택 > 계속
Spark 설치 후 YARN에서 작동 하도록 구성
- CM > YARN > 재시작
- CM > Spark > 클라이언트 구성 배포
- CM > 스파크 > History Server 웹 UI
탐색 환경의 구성 및 설치 완료
- 클러스트 재시작
휴 설치 후 시작 -> http://server02.hadoop.com:8888/ 접속 -> 클라우드매니저와 동일한 계정으로 로그인
'Hadoop > 빅데이터 파일럿 프로젝트' 카테고리의 다른 글
| 탐색 파일럿 실행 4단계 - 탐색 기능 테스트 (0) | 2022.09.07 |
|---|---|
| 탐색 파일럿 실행 3단계 - 탐색 기능 구현 (0) | 2022.09.07 |
| 탐색 파일럿 실행 1단계 - 아키텍처 (0) | 2022.09.07 |
| 빅데이터 적재 - 실시간 로그 파일 적재 / 환경 구성(2) (0) | 2022.09.07 |
| 빅데이터 적재 - 실시간 로그 파일 적재(1) (0) | 2022.09.06 |
