본문 바로가기

Hadoop/빅데이터 파일럿 프로젝트

[Hadoop] 빅데이터 파일럿 프로젝트_ 스마트카 로그 시뮬레이터 설치 파일럿 프로젝트 도메인 이해 빅데이터 파일럿 아키텍처 이해 빅데이터 파일럿 프로젝트용 PC 환경 구성 빅데이터 파일럿 프로젝트용 PC 서버 구성 CM(Cloudera Manager) 설치 스마트카 로그 시뮬레이터 설치 파일럿 환경 구성 4. 스마트카 로그 시뮬레이터 설치 가상 시뮬레이터 설치 : Server02 # cd /home # mkdir /home/pilot-pjt # mkdir /home/pilot-pjt/working # mkdir /home/pilot-pjt/working/car-batch-log # mkdir /home/pilot-pjt/working/driver-realtime-log # chmod 777 -R /home/pilot-pjt/ Fi.. 더보기
[Hadoop] CM(Cloudera Manager) 설치 파일럿 프로젝트 도메인 이해 빅데이터 파일럿 아키텍처 이해 빅데이터 파일럿 프로젝트용 PC 환경 구성 빅데이터 파일럿 프로젝트용 PC 서버 구성 빅데이터 클러스트 구성 - CM(Cloudera Manager) 설치 클라우데라 매니저(CM) 설치 Server01 SSH 접속 빅데이터 기본 소프트웨어 설치 DataNode 추가 및 환결설정(저사양은 생략) 파일럿 환경 최적화 HDFS 명령어를 이용한 설치 확인 스마트카 로그 시뮬레이터 설치 파일럿 환경 구성 빅데이터 클러스트 구성 클라우데라 매니저(CM) 설치 프로비저닝 : 하둡 에코시스템을 편리하게 설치, 수정, 삭제 관리 매니지먼트 : 설치한 에코시스템 설정 변경 및 최적화 지원 모니터링 : 하드웨어 리소스 및 .. 더보기
[Hadoop] 빅데이터 파일럿 프로젝트_ PC 서버 구성 파일럿 프로젝트 도메인 이해 빅데이터 파일럿 아키텍처 이해 빅데이터 파일럿 프로젝트용 PC 환경 구성 빅데이터 파일럿 프로젝트용 PC 서버 구성 가상머신 환경 구성 가상머신 복제 CM(Cloudera Manager) 설치 스마트카 로그 시뮬레이터 설치 파일럿 환경 구성 2. 빅데이터 파일럿 프로젝트용 PC 서버 구성 실습예제 https://github.com/wikibook/bigdata2nd/archive/master.zip 가상머신 환경 구성 파일 > 환경설정 > 네트워크 > NAT Network NAT 네트워크 생성 설정값 확인 : 네트워크사용, DHCP 지원 체크, 네트워크 CIDR(C): 10.0.2.0/24 파일 > 환경설정 > 네트워크 > 호스트 네.. 더보기
[Hadoop] 빅데이터 파일럿 프로젝트_ PC 환경 구성 파일럿 프로젝트 도메인 이해 빅데이터 파일럿 아키텍처 이해 빅데이터 파일럿 프로젝트용 PC 환경 구성 JAVA 설치 이클립스 설치 오라클 버추얼 박스(가상머신) 기타 빅데이터 파일럿 프로젝트용 PC 서버 구성 CM(Cloudera Manager) 설치 스마트카 로그 시뮬레이터 설치 파일럿 환경 구성 3. 빅데이터 파일럿 프로젝트용 PC 환경 구성 JAVA 설치 JDK 1.8 설치 환경 변수 자바 설치 디렉토리 JAVA_HOME 설정 Path 환경 변수에 %JAVA_HOME%\bin; 추가 이클립스 설치 Eclipse IDE for Java EE Developers 오라클 버추얼 박스(가상머신) 최신 버전 사용(5.x, 6.x) https://www.virtual.. 더보기
[Hadoop] 빅데이터 파일럿 프로젝트 _아키텍처 이해 파일럿 프로젝트 도메인 이해 빅데이터 파일럿 아키텍처 이해 빅데이터 구현 기술 빅데이터 소프트웨어 구성도(Hadoop Echo System) 레이어별 구성 하드웨어 아키텍쳐 빅데이터 파일럿 프로젝트용 PC 환경 구성 빅데이터 파일럿 프로젝트용 PC 서버 구성 CM(Cloudera Manager) 설치 스마트카 로그 시뮬레이터 설치 파일럿 환경 구성 2. 빅데이터 아키텍처의 이해 빅데이터 구현 기술 구축순서 : 수집 => 적재 => 처리/탐색 => 분석/응용 처리/탐색 => 분석/응용는 필요시 반복 진행 빅데이터 소프웨어 구성도 (Hadoop Echo System) 레이어별 구성 [전처리 : 수집/적재] => [하둡(Hodoop)] => [후처리: 탐색/분석] 수.. 더보기
빅데이터 파일럿 프로젝트_개요 및 도메인 이해 파일럿 프로젝트 도메인 이해 빅데이터 파일럿 아키텍처 이해 빅데이터 파일럿 프로젝트용 PC 환경 구성 빅데이터 파일럿 프로젝트용 PC 서버 구성 CM(Cloudera Manager) 설치 스마트카 로그 시뮬레이터 설치 파일럿 환경 구성 1. 파일럿 프로젝트 도메인 이해 이 프로젝트에서 말하는 도메인의 이해는 간단히 말해 '요구의 배경'을 말합니다. 소프트웨어를 구축할 때 문제 자체도 중요하지만 문제가 어디에 놓여있는지가 중요합니다. 도메인을 분석하는 이유는 설계 모델링에 필요한 여러 개념과 비즈니스를 파악하기 위해서입니다. https://tina-dev-story.tistory.com/14 파일럿 프로젝트 도메인 이해 파일럿 프로젝트가 무엇을 하는 시스템이고 어떤 프로세스를 통해 사용자에게 어떤 가치를 .. 더보기