Cloud Hadoop 이용 시나리오

Classic 환경에서 이용 가능합니다.

Cloud Hadoop 서비스는 네이버 클라우드 플랫폼 콘솔에서 Cloud Hadoop 클러스터를 생성하는 것으로 이용 신청됩니다. 클러스터 노드 접속을 위한 네트워크 및 방화벽 설정, 스토리지 설정도 콘솔에서 진행합니다. 이후 제공되는 서비스별 각 UI에 접속하여 각종 데이터를 분석할 수 있습니다.

Cloud Hadoop 서비스의 전체 이용 시나리오를 정리하면 다음과 같습니다.

1. Cloud Hadoop 생성 관리: 콘솔

• 서버 이미지와 서버 타입을 선택해 서버 생성
• 이 단계에 대한 사용 가이드 페이지
• Cloud Hadoop 시작

2. ACG 설정: 콘솔

• 네트워크 접근 제어를 위해 ACG 설정 진행
• 이 단계에 대한 사용 가이드 페이지
• 방화벽 설정(ACG)

3. Cloud Hadoop 사용 및 관리: 콘솔

• 클러스터 정보 확인
• 클러스터 관리(노드 수 변경, 관리자 패스워드 초기화, 설정 백업)
• 서버 접속 관리(클러스터 직접 접속 인증키 변경, 공인 IP 설정 변경, 인증키 관리)
• 접근할 수 있는 Web UI와 접근 규칙을 확인하고, 바로가기 링크를 클릭하여 해당 Web UI 접속
• 이 단계에 대한 사용 가이드 페이지
• Cloud Hadoop 정보 확인 및 관리

4. 클러스터 노드 및 Web UI 접속: PC의 터미널 프로그램, 웹 브라우저

• 이 단계에 대한 사용 가이드 페이지
• SSH로 클러스터 노드 접속
• 서비스별 UI 접속 및 패스워드 설정
• 터널링을 이용한 Web UI 접속

5. Web UI 사용: PC의 터미널 프로그램, 웹 브라우저

• Ambari, Hue 등 기본 제공 에코 시스템 서비스별 Web UI 페이지 사용
• 이 단계에 대한 사용 가이드 페이지
• Ambari UI
• Ambari REST API 사용
• Apache Livy로 Spark Job 제출
• Hive 사용
• Hive UDF 실행
• Hive External Table로 CSV 파일 연동
• Hue 사용
• MySQL Stored Procedure로 DB 생성
• OpenTSDB 사용
• Presto 사용
• Presto로 Hive Warehouse 데이터 분석
• Spark Scala Job 제출
• Sqoop 사용
• Zeppelin 사용

6. 외부 연동: PC의 터미널 프로그램, Web UI 및 각 서비스 연동

• Cloud Hadoop 애플리케이션과 DB를 연동하여 각종 데이터 분석
• 이 단계에 대한 사용 가이드 페이지
• Apache Flume 연동
• CDB MySQL 데이터 이전
• Cloud DB for MySQL 사용 가이드
• Object Storage + Sub Account 연동
• Object Storage를 이용한 데이터 이전
• Object Storage 사용 가이드
• Cloud Hadoop에 NAS 마운트
• NAS 사용 가이드