Cloud Hadoop 시작

Prev Next

Classic 환경에서 이용 가능합니다.

Cloud Hadoop에서 제공하는 Cloud Hadoop의 사양을 확인하고 전체 시나리오를 충분히 숙지했다면 Cloud Hadoop 이용을 시작하기 위한 준비를 완료한 것입니다. 이제 다음으로 가장 먼저 할 일은 Cloud Hadoop 클러스터를 생성하는 것입니다. Cloud Hadoop 클러스터 생성 및 관리는 네이버 클라우드 플랫폼 콘솔에서 진행합니다.
시작 가이드를 통해 학습하게 되는 내용을 정리하면 다음과 같습니다.

  1. Object Storage 생성
    클러스터를 생성하기 전에 데이터를 저장하고, 검색하기 위한 Object Storage 버킷이 생성되어 있어야 합니다. 자세한 내용은 Object Storage 가이드를 참고해 주십시오.

  2. 노드 타입 선택
    예상 사용량을 고려하여 노드 타입을 미리 선택해 두십시오.

네이버 클라우드 플랫폼의 Cloud Hadoop 서비스를 사용하려면 클러스터를 먼저 생성해야 합니다.

Cloud Hadoop 클러스터를 생성하는 방법은 다음과 같습니다.

  1. 네이버 클라우드 플랫폼 콘솔에 접속해 주십시오.
  2. Platform 메뉴의 Classic을 클릭해 Classic 환경으로 변경해 주십시오.
  3. Services > Big Data & Analytics > Cloud Hadoop 메뉴를 차례대로 클릭해 주십시오.
  4. [클러스터 생성] 버튼을 클릭해 주십시오.
  5. 클러스터 생성 화면이 나타나면 다음 단계를 차례대로 진행해 주십시오.

클러스터 설정 정보를 지정한 후 [다음] 버튼을 클릭해 주십시오.

  • 클러스터 버전: 현재 Cloud Hadoop 1.0, 1.1, 1.2 버전을 제공 중입니다. 버전에 관한 자세한 내용은 Cloud Hadoop 릴리스 노트 참고하세요.
  • 클러스터 타입: 클러스터 타입은 현재 Core Hadoop, Presto, HBase, Spark로 4가지이고, 필요한 컴포넌트가 설치된 타입을 선택할 수 있습니다. 필요한 서비스를 추가해야 하는 경우는 클러스터 관리 도구인 Ambari의 Add Service 기능을 사용할 수 있습니다.
  • 클러스터 관리자 계정: Ambari, Hue, Zeppelin 관리 콘솔에 접속하기 위한 클러스터 계정을 설정해 주십시오.
  • 클러스터 관리자 계정 패스워드: 클러스터 계정의 패스워드를 입력해 주십시오.
  • ACG 설정: Cloud Hadoop ACG는 클러스터를 생성할 때마다 자동 생성 됩니다. 네트워크 ACL을 설정하려는 경우, 자동으로 생성된 ACG를 선택해서 규칙을 수정할 수 있습니다. ACG 설정에 대한 자세한 내용은 방화벽 설정(ACG)을 참고해 주십시오.

스토리지 및 노드 서버 설정 정보 지정한 후 [다음] 버튼을 클릭해 주십시오.

  • Object Storage 버킷: 사전 작업에서 생성한 Object Storage 버킷을 선택해 주십시오. Cloud Hadoop 클러스터는 여기서 선택한 버킷에서 데이터를 읽고, 쓸 수 있습니다. 잠금이 설정된 버킷은 Cloud Hadoop과 연동되지 않습니다.
  • 고가용성 지원: Cloud Hadoop은 기본적으로 HDFS Namenode, YARN Resource Manager, Oozie Server, Hive Server에 대한 이중화를 제공합니다. 이 사양은 최소 사양이기 때문에 선택을 해제할 수 없습니다.
  • 엣지노드 서버 타입: 엣지 노드로 사용할 서버 타입을 선택해 주십시오. 클러스터를 생성한 이후에는 서버 타입을 변경할 수 없습니다. 엣지 노드로 사용할 수 있는 서버 사양은 클러스터 노드별 지원 서버 사양을 참고해 주십시오.
  • 엣지노드 개수: 엣지 노드의 개수는 1개로 고정되어 있습니다.
  • 마스터노드 서버 타입: 마스터 노드로 사용할 서버 타입을 선택해 주십시오. 클러스터를 생성한 이후에는 서버 타입을 변경할 수 없습니다.
  • 마스터노드 개수: Cloud Hadoop은 최소 사양으로 고가용성을 제공하기 때문에, 마스터 노드의 개수는 2개로 고정되어 있습니다.
  • 마스터노드 스토리지 타입: 스토리지 타입을 선택해 주십시오. SSD와 HDD 중에서 선택할 수 있습니다. 클러스터를 생성한 이후에는 스토리지 타입을 변경할 수 없습니다. 마스터 노드로 사용할 수 있는 서버 사양은 클러스터 노드별 지원 서버 사양을 참고해 주십시오.
  • 마스터노드 스토리지 용량: 스토리지 용량을 선택해 주십시오. 최소 100GB부터 2T까지 선택할 수 있으며 10GB 단위로 지정할 수 있습니다.
  • 작업자노드 서버타입: 마스터 노드로 사용할 서버 타입을 선택해 주십시오. 클러스터를 생성한 이후에는 서버 타입을 변경할 수 없습니다. 작업자 노드로 사용할 수 있는 서버 사양은 클러스터 노드별 지원 서버 사양을 참고해 주십시오.
  • 작업자노드 개수: 작업자 노드 개수는 2~8개까지 선택할 수 있습니다. 작업자 노드는 클러스터 생성 이후에도 추가 또는 삭제할 수 있습니다.
  • 작업자노드 스토리지 타입: 스토리지 타입을 선택해 주십시오. SSD와 HDD 중에서 선택할 수 있습니다. 클러스터를 생성한 이후에는 스토리지 타입을 변경할 수 없습니다.
  • 작업자노드 스토리지 용량: 스토리지 용량을 선택해 주십시오. 최소 100GB부터 2T까지 선택할 수 있으며 10GB 단위로 지정할 수 있습니다.
  • 요금제: 계정 생성 시 선택한 요금제가 적용됩니다. 요금에 대한 자세한 내용은 요금 안내를 참고해 주십시오.
참고

클러스터를 생성한 이후에는 서버 스펙에 대한 조정(scale up/down)이 불가능합니다. 클러스터를 구성할 때 예상 사용량과 노드의 역할(엣지/마스터/작업자)를 고려해 선택해 주십시오.

노드에 직접 접속할 때 필요한 SSH 인증키를 설정합니다.
보유하고 있는 인증키를 선택하거나 새로운 인증키를 생성한 후 [다음] 버튼을 클릭해 주십시오.

  • 새로운 인증키를 생성하려면 새로운 인증키 생성을 선택해 인증키 이름을 입력한 후 [인증키 생성 및 저장] 버튼을 클릭해 주십시오.
참고

인증키는 관리자 비밀번호를 확인할 때 필요합니다. 저장한 pem 파일을 PC의 안전한 위치에 보관해 주십시오.

설정 내용을 확인한 후 [생성] 버튼을 클릭해 주십시오.

참고
  • Cloud Hadoop ACG는 클러스터를 생성할 때마다 자동 생성 됩니다. 네트워크 ACL을 설정하려는 경우, 자동으로 생성된 ACG를 선택해서 규칙을 수정할 수 있습니다. ACG 설정에 대한 자세한 내용은 방화벽 설정(ACG)을 참고해 주십시오.
  • 클러스터가 생성되는 데는 약 30~50분이 소요됩니다. 클러스터 생성이 완료되어 운영이 시작되면 클러스터 목록의 상태 열에 운영중이 표시됩니다.

Cloud Hadoop 클러스터를 삭제하는 방법은 다음과 같습니다.

  1. 네이버 클라우드 플랫폼 콘솔의 Classic 환경에서 Services > Big Data & Analytics > Cloud Hadoop 메뉴를 차례대로 클릭해 주십시오.
  2. 클러스터 목록에서 삭제하려는 클러스터를 선택한 후 [삭제] 버튼을 클릭해 주십시오.
  3. 삭제 확인 팝업창에서 해당 클러스터 이름을 입력한 후 [예] 버튼을 클릭해 주십시오.
참고

클러스터가 삭제되는 데는 수 분이 소요됩니다. 클러스터 삭제가 완료되면 클러스터 목록에서 해당 클러스터가 사라집니다.

주의

Cloud Hadoop 클러스터를 삭제하면 노드의 로컬 파일 시스템이나 HDFS 안에 저장된 데이터도 모두 삭제됩니다. 필요한 파일은 Object Stroage 버킷에 복사하는 등 별도 백업을 해 주십시오.

Object Storage 콘솔에서 삭제할 파일을 선택한 후 [편집] > 삭제하기를 클릭해 주십시오.
Object Storage 파일 또는 버킷 삭제에 대한 자세한 내용은 Object Storage 사용 가이드를 참조해 주십시오.

주의

삭제가 완료된 Object Storage 파일 또는 버킷은 복구할 수 없으므로 신중히 판단하여 진행해 주십시오.