- 인쇄
- PDF
Hue 사용
- 인쇄
- PDF
Classic 환경에서 이용 가능합니다.
Hue는 Core Hadoop, Spark, Presto 클러스터 Type에서 사용 가능한 컴포넌트입니다.
이 가이드에서는 Cloud Hadoop 클러스터에서의 Hue의 기능과 Hue에서 Hive 편집기, Hue 브라우저를 사용하는 방법을 설명합니다.
Hue 구성 요소
Hue(Hadoop User Experience)는 Apache Hadoop 클러스터와 함께 사용되는 웹 기반 사용자 인터페이스입니다.
Hue는 다른 Hadoop 에코시스템과 함께 그룹화되어 Hive 작업 및 Spark Job 등을 실행할 수 있습니다.
Cloud Hadoop 클러스터의 Hue는 다음 구성 요소를 지원합니다.
브라우저
- 문서: Hue에서 저장한 워크플로(Workflow), 쿼리, 스크립트 파일을 볼 수 있음
- 파일: HDFS에 저장된 파일을 볼 수 있음
- S3: Object Storage 버킷에 저장된 파일을 볼 수 있음
- 테이블: Hive warehouse에 저장된 테이블을 볼 수 있음
- Job: 실행한 Oozie Job의 상태, 로그를 볼 수 있음
편집기
- Hive: Hive 쿼리를 실행할 수 있음
- Scala, PySpark:
spark-shell
처럼 인터렉티브한 구문을 실행할 수 있음 - Spark Submit Jar, Spark: 각각 jar, py 파일을 Spark Job으로 제출할 수 있음
- Java: Oozie 워크플로를 통해 jar를 실행할 수 있음
- Distcp: Oozie 워크플로로 통해 Distcp 작업을 실행할 수 있음
- Shell: Oozie 워크플로를 통해 .sh 파일을 실행할 수 있음
- MapReduce: MapReduce 애플리케이션을 Oozie 워크플로를 통해 실행할 수 있음
스케줄러
- Workflow: Oozie 워크플로를 생성할 수 있음
- 예약: 생성한 워크플로를 스케줄링할 수 있음
Hue 접속
Hue는 Core Hadoop 타입과 Spark 타입, Presto 타입에 설치되며 다음 두 가지 방법으로 접속이 가능합니다.
콘솔의 Web UI 목록을 통한 연결
Cloud Hadoop 콘솔에서 Application 별 보기를 통해 Hue web UI에 접속할 수 있습니다. 자세한 내용은 Application별 보기를 참조해 주십시오.
도메인을 이용한 연결
도메인을 이용하여 Hue web UI에 접속하는 방법은 다음과 같습니다.
- 네이버 클라우드 플랫폼 콘솔에 접속해 주십시오.
- Platform 메뉴의 Classic을 클릭해 Classic 환경으로 변경해 주십시오.
- Services > Big Data & Analytics > Cloud Hadoop 메뉴를 차례대로 클릭해 주십시오.
- 확인할 클러스터 항목을 클릭해 표시된 상세 정보 화면에서 Public 도메인에 있는 도메인 주소를 확인해 주십시오.
- 웹 브라우저 주소 입력란에 다음과 같이 Public 도메인 주소와 포트 번호를 입력하여 Hue 웹 페이지에 접속해 주십시오.
http://{Public 도메인}:8000
- 브라우저에 로그인 페이지가 표시되면 클러스터 생성 시 설정한 관리자 계정 및 패스워드를 입력하여 로그인해 주십시오.
- 콘솔에서 클러스터 관리자 계정을 초기화하더라도 Hue 계정 정보는 초기화되지 않습니다. 패스워드는 Hue 웹 페이지에서 변경해야 합니다.
Hive 쿼리 실행
Hive 쿼리를 실행하는 방법은 다음과 같습니다.
- [쿼리] 버튼의 를 클릭한 후, 편집기 > Hive(Hive UI) 를 클릭하여 편집기를 실행해 주십시오.
- 편집창에서 쿼리를 실행할 데이터베이스를 목록에서 선택해 주십시오.
- 쿼리 Editor 창에 쿼리를 입력한 후 [실행] 버튼을 클릭해 주십시오.
- 결과 탭에서는 실행한 쿼리의 결과를 볼 수 있습니다.
- 쿼리 기록 탭에서 실행했던 쿼리 목록을 확인할 수 있습니다.
브라우저 조회
상단 메뉴 바에서 좌측의 메뉴 아이콘을 클릭한 후 브라우저 영역에서 원하는 브라우저를 클릭해 주십시오.
파일 브라우저
- HDFS 파일 조회
- hdfs의 기본 디렉터리 주소:
hdfs://user/계정명
- 계정명 앞이나 root의 슬래시를 클릭하여 이동 가능
- [새로 만들기]: 새로운 파일이나 디렉터리 생성
- [업로드]: 현재의 디렉터리에 파일 업로드
S3 브라우저
- 사용자의 API ACCESS KEY로 인증할 수 있는 모든 버킷을 조회
- s3의 기본 디렉터리 주소:
s3a://버킷이름
- root의 슬래시를 클릭하여 이동 가능
- [새로 만들기]: 새로운 파일이나 디렉터리를 생성
- [업로드]: 현재의 디렉터리에 파일 업로드
테이블 브라우저
- Hive에서 생성한 데이터베이스와 테이블을 조회
- Hive에서 생성한 데이터베이스와 테이블을 조회
Hue의 Scala, PySpark, Spark Submit Jar, Spark 편집기는 클러스터 생성 시 클러스터 Type을 Spark로 선택해야 사용할 수 있습니다. 다른 클러스터 Type에서 사용을 원할 경우, Scala 홈페이지에서 다운로드 및 설치 후 사용해 주십시오.