VPC 환경에서 이용 가능합니다.
네이버 클라우드 플랫폼의 Cloud Hadoop, Object Storage, Sub Account를 연동하여 사용하는 방법을 소개합니다. ## Bigdata Service - **Cloud Hadoop**: Hadoop, HBase, Spark, Hive, Presto 등의 오픈소스 프레임워크를 손쉽게 구축할 수 있습니다. Cloud Hadoop에 대한 자세한 내용은 [Cloud Hadoop 개요](/docs/chadoop-1-vpc) 가이드를 참조해 주십시오. - **Object Storage**: 안전한 보관이 필요하거나 대용량 데이터를 저장하는 데 활용할 수 있습니다. 제공되는 API를 사용하여 서버 데이터의 백업 및 복구 용도로도 활용할 수 있습니다. Object Stroage에 대한 자세한 내용은 [Object Storage 개요](/docs/storage-storage-6-1) 가이드를 참조해 주십시오. - **Sub Account**: 사용자를 서브 계정으로 등록하고 특정 서비스에 대한 권한을 부여할 수 있습니다. 등록된 내부 사용자는 권한을 부여 받은 서비스에 대해 주 계정과 동일하게 서비스를 이용할 수 있습니다. Sub Account에 대한 자세한 내용은 [Sub Account 사용 가이드](/docs/subaccount-overview)를 참조해 주십시오. ## Hadoop + Object Storage + Sub Account 연동 및 사용 ### Sub Account 생성 및 정책 추가 사용자를 서브 계정으로 등록하고 특정 서비스에 대한 권한을 부여할 수 있습니다. 등록된 내부 사용자는 권한을 부여 받은 서비스에 대해 주 계정과 동일하게 서비스를 이용할 수 있습니다. Sub Account에 대한 자세한 내용은 [Sub Account 사용 가이드](/docs/subaccount-overview)를 참조해 주십시오. Sub Account 생성 및 정책을 추가하는 방법은 다음과 같습니다. 1. 네이버 클라우드 플랫폼 콘솔에서 **Sub Account** 서비스를 생성해 주십시오. * Object Storage에 접근하기 위해서는 API Key를 사용해야 합니다. **Sub Accounts** 생성 시 **접근 유형** 항목의 **API 접근**을 선택해 주십시오. {height="" width="80%"} 2. **Sub Accounts** 메뉴에서 생성한 Sub Accounts의 로그인 아이디를 클릭한 후, **정책** 탭에서 사용 정책을 추가해 주십시오. * Object Storage의 **NCP_OBJECT_STORAGE_MANAGER** 정책을 추가해 주십시오. * ACG 변경 관리를 위한 **NCP_VPC_SERVER_MANAGER** 정책을 추가해 주십시오. * Cloud Hadoop의 **NCP_VPC_CLOUD_HADOOP_MANAGER** 정책을 추가해 주십시오. {height="" width="80%"} 3. **[Access Key]** 탭에서 Object Storage에 접근하기 위한 API 인증키를 **[추가]** 한 후, 확인해 주십시오. {height="" width="80%"} 4. **Sub Account > Dashboard**에서 **서브계정 로그인 페이지 접속키**를 설정해 주십시오. {height="" width="80%"} 5. **서브계정 로그인 페이지**의 URL로 접속한 후, 다음과 같이 **서브 계정으로 로그인**해 주십시오. * 서브 계정 아이디는 서브 계정 생성 시 설정한 **로그인 아이디** 입니다. * 비밀번호는 서브 계정 생성 시 설정한 **로그인 비밀번호** 입니다. {height="" width="50%"} * 해당 계정에 설정된 정책으로 허가된 서비스들만 사용할 수 있습니다. {height="" width="80%"} ### Object Storage 버킷 생성 **Object Storage**에서 데이터를 저장할 ncp-bigdata 버킷을 생성해 주십시오. 생성된 버킷은 **Bucket Management**에서 확인할 수 있습니다. * 버킷 생성에 대한 자세한 내용은 [Object Storage 사용 가이드](/docs/storage-storage-6-1)를 참조해 주십시오. ### Cloud Hadoop 클러스터 생성 Cloud Hadoop 클러스터를 생성해 주십시오. Cloud Hadoop 클러스터 생성에 대한 자세한 내용은 [Cloud Hadoop 시작](/docs/hadoop-chadoop-2-1-vpc) 가이드를 참조해 주십시오. ### Object Storage에 샘플 데이터 업로드 1. 예제를 위해 만든 [가상의 데이터 세트](https://cdn.document360.io/f2d93c92-8957-408f-94df-b9b370f76a32/Images/Documentation/data_example.zip)를 다운로드해 주십시오. * 다운로드한 파일은 압축을 해제해 주십시오. 2. **Object Storage > Bucket Management**에서 ncp-bigdata 버킷을 클릭한 후, 압축이 해제된 파일을 업로드해 주십시오. {height="" width="80%"} ### 데이터 조회 Ambari, Hue, Zeppelin 등 Web UI에서 샘플 데이터를 조회할 수 있습니다. Web UI 접속 방법은 [서비스별 UI 접속 및 패스워드 설정](/docs/hadoop-chadoop-3-3-vpc/#web-ui-접속) 가이드를 참조해 주십시오. 1. Cloud Hadoop 클러스터 생성이 완료되면 Ambari, Hue, Zeppelin에 접속하기 위한 포트를 ACG에 추가해 주십시오. * ACG 설정 방법은 [ACG 룰 설정](/docs/hadoop-chadoop-3-3-vpc/#1-acg-룰-설정)을 참조해 주십시오. 2. Hue에 접속(8081 포트)하여 Hive 쿼리로 mart 데이터베이스를 생성해 주십시오. ```sql CREATE DATABASE mart; ``` {height="" width="80%"} 3. 다음과 같이 orders2 테이블을 생성해 주십시오. ```sql CREATE EXTERNAL TABLE `orders2` ( `order_id` BIGINT, `order_number` BIGINT, `days_since_prior_order` DOUBLE ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' location 's3a://ncp-bigdata/'; ``` {height="" width="80%"} 4. orders2 테이블의 데이터를 조회해 주십시오. ```sql SELECT * FROM orders2; ``` {height="" width="80%"} 5. Zeppelin(9996 포트)에 접속해 주십시오. 6. Notebook을 새로 생성해 주십시오. {height="" width="80%"} 7. **Default Interpreter**를 jdbc로 지정한 후, **[Create]** 버튼을 클릭해 주십시오. {height="" width="80%"} 8. Hive 메타스토어에 등록된 orders2 테이블을 조회해 주십시오. ```sql %jdbc(hive) SELECT order_number, AVG(days_since_prior_order) FROM mart.orders2 WHERE 1=1 AND order_number IS NOT NULL GROUP BY order_number ORDER BY order_number ``` * 예시로 업로드된 csv 파일을 대상으로 단순 분석을 진행합니다. * 주문 횟수가 많아질수록 재주문까지 걸리는 기간이 짧아지는진다는 가정을 하고 확인하겠습니다. **