Hadoop/빅데이터 파일럿 프로젝트 썸네일형 리스트형 분석 파일럿 실행 6단계 - 스쿱을 이용한 분석 결과 외부 제공 7. 빅데이터 분석 빅데이터 분석 개요 빅데이터 분석에 활용되는 기술 분석 파일럿 실행 1단계 - 분석 아키텍처 분석 파일럿 실행 2단계 - 분석 환경 구성 분석 파일럿 실행 3단계 - 임팔라를 이용한 데이터 실시간 분석 분석 파일럿 실행 4단계 - 제플린을 이용한 실시간 분석 분석 파일럿 실행 5단계 - 머하웃을 이용한 데이터 마이닝 분석 파일럿 실행 6단계 - 스쿱을 이용한 분석 결과 외부 제공 분석 파일럿 실행 6단계 - 스쿱을 이용한 분석 결과 외부 제공 - 빅데이터 시스템에서 탐색 및 분석한 결과를 외부 업무시스템(RDBMS)에 제공 제공된 데이터는 중요한 의사결정 포인트로 사용 스쿱의 내보내기 기능 - 이상 운전 차량 정보 Hive => PostgreSQL Export 테이블: Hive Maa.. 더보기 분석 파일럿 실행 5단계 - 머하웃과 스파크ML 이용한 머신러닝 7. 빅데이터 분석 빅데이터 분석 개요 빅데이터 분석에 활용되는 기술 분석 파일럿 실행 1단계 - 분석 아키텍처 분석 파일럿 실행 2단계 - 분석 환경 구성 분석 파일럿 실행 3단계 - 임팔라를 이용한 데이터 실시간 분석 분석 파일럿 실행 4단계 - 제플린을 이용한 실시간 분석 분석 파일럿 실행 5단계 - 머하웃과 스파크ML을 이용한 데이터 마이닝 머하웃 추천 - 스마트카 차량 용품 추천 "스마트카 차량용품 구매 이력" 데이터로 머하웃 추천 모델 만들기 스파크ML 분류 분석 파일럿 실행 6단계 - 스쿱을 이용한 분석 결과 외부 제공 분석 파일럿 실행 5단계 - 머하웃과 스파크ML 이용한 머신러닝 머하웃과 스파크ML 같은 머신러닝 기술은 복잡도가 높은 비지니스 로직을 자동으로 생성 및 관리 대규모 단순 반.. 더보기 분석 파일럿 실행 4단계 - 제플린을 이용한 데이터 분석 Zeplin(제플린) 분석 파일럿 실행 4단계 - 제플린을 이용한 실시간 분석 제플린을 이용한 운행 지역 분석 스마트카가 운행한 지역들의 평균 속도가 높은 순으로 출력 제플린 접속 http://server02.hadoop.com:8081 접속안되면 # cd /home/pilot-pjt/zeppelin/bin # zeppelin-daemon.sh start # zeppelin-daemon.sh status 재플린 > NoteBook > Create new note > SmartCar-Project Default Interpreter : spark 스마트카 운전자 운행 파일 확인 => 쉘명령러 확인 %sh hdfs dfs -cat /user/hive/warehouse/managed_smartcar_drive.. 더보기 분석 파일럿 실행 3단계 - 아파치 임팔라를 이용한 데이터 분석 분석 파일럿 실행 3단계 - 임팔라를 이용한 실시간 분석 하이브 QL을 임팔라에서 실행 하기 하이브 QL Hue > Query Editor > Hive 이상 운전 패턴 스마트카 정보 조회 임팔라 QL Hue > Query Editor > Impala 데이터베이스(default) 안보이면 새로고침 또는 임팔라 재시작 ** 이상 운전 패턴 스마트카 정보 조회 ** 약 32초 / 약 2초 - 실습 시, 임팔라 1.4초 select * from managed_smartcar_symptom_info where biz_date='20200904' ** 긴급 점검이 필요한 스마트카 정보 조회 ** 약 31초 / 약 2초 select * from managed_smartcar_emergency_check_info wh.. 더보기 분석 파일럿 실행 2단계 - 분석 환경구성 7. 빅데이터 분석 빅데이터 분석 개요 빅데이터 분석에 활용되는 기술 분석 파일럿 실행 1단계 - 분석 아키텍처 분석 파일럿 실행 2단계 - 분석 환경 구성 분석 파일럿 실행 3단계 - 임팔라를 이용한 데이터 실시간 분석 분석 파일럿 실행 4단계 - 제플린을 이용한 실시간 분석 분석 파일럿 실행 5단계 - 머하웃을 이용한 데이터 마이닝 분석 파일럿 실행 6단계 - 스쿱을 이용한 분석 결과 외부 제공 분석 파일럿 실행 2단계 - 분석 환경 구성 - CM을 이용해 임팔라, 스쿱 설치 http://server01.hadoop.com:7180/ 제플린 직접 설치 임팔라 설치 Cluster1 > 선택 메뉴 > 서비스 추가 Impala 선택 > ISS, ICS, ID > Server03. 저사양 : Server02.. 더보기 분석 파일럿 실행 1단계 - 아키텍처 분석 파일럿 실행 1단계 - 분석 아키텍처 분석 요구사항 요구사항 - 빅데이터 탐색을 통해 해결 요구사항 1 : 차량의 다양한 장치로부터 발생하는 로그 파일을 수집해서 기능별 상태 점검 요구사항 2: 운전자의 운행 정보가 담긴 로그를 실시간으로 수집해서 주행 패턴을 분석 요구사항 확장 빅데이터 실시간 탐색 및 시각화 머신러닝을 이용한 데이터 마이닝 요구사항 구체화 및 분석 스마트카 데이터셋을 좀 더 빠르게 탐색 및 분석 임팔라 이용 하이브 배치 쿼리를 온라인 쿼리로 실행 스마트카 데이터셋의 탐색 결과를 이해하기 쉽게 시각화 스파크 SQL로 탐색 후 결과를 제플린의 차트로 시각화 차량용품 구매 이력을 분석해 최적의 상품 추천 목록 만들기 머하웃의 추천 기능 이용, 성향에 따른 상품 추천 목록 생성 스마트카.. 더보기 빅데이터 분석 - 개요 및 기술 7. 빅데이터 분석 빅데이터 분석 개요 빅데이터 분석에 활용되는 기술 분석 파일럿 실행 1단계 - 분석 아키텍처 분석 파일럿 실행 2단계 - 분석 환경 구성 분석 파일럿 실행 3단계 - 임팔라를 이용한 데이터 실시간 분석 분석 파일럿 실행 4단계 - 제플린을 이용한 실시간 분석 분석 파일럿 실행 5단계 - 머하웃을 이용한 데이터 마이닝 분석 파일럿 실행 6단계 - 스쿱을 이용한 분석 결과 외부 제공 빅데이터 분석 개요 탐색 단계 : 데이터를 관찰하고 이해하는 과정 분석 단계 : 탐색과 분석을 반복하며 의미 있는 데이터를 추출해 문제를 명확히 정의하고 해결하는 과정 강력한 오픈소스 기술을 기반으로 수평적 확장이 가능해 저비용으로 선형적인 분석 성능 보장 내부업무 시스템에서 발생했던 수년치 데이터를 외부 데.. 더보기 탐색 파일럿 실행 4단계 - 탐색 기능 테스트 빅데이터 탐색 개요 빅데이터 탐색에 활용되는 기술 탐색 파일럿 실행 1단계 - 탐색 아키텍처 탐색 파일럿 실행 2단계 - 탐색 환경 구성 탐색 파일럿 실행 3단계 - 탐색 기능 구현 탐색 파일럿 실행 4단계 - 탐색 기능 테스트 5개 주제 영역의 Mart 구성 SmartCar 상태 정보 데이터 생성 100대 SmartCar 상태 정보 적재 - 플럼을 통해 수집 SmartCar 운전자 운행 로그 데이터 생성 100대 HBase 적재 확인 레디스 과속차량 확인 주제영역 1. 스마트카 상태 정보 모니터링 - 워크플로 작성 주제영역 2. 스마트카 운전자 운행 기록 - 워크플로 작성 주제영역 3. 이상 운전 패턴 스마트카 정보 - 워크플로 작성 주제영역 4. 긴급 점검이 필요한 스마트카 정보 - 워크플로 작성 주.. 더보기 이전 1 2 3 다음
