Dataproc 영구 부팅 디스크

Dataproc 클러스터 노드의 부팅 디스크로 표준, SSD, 균형 있는 영구 디스크, 하이퍼디스크 균형을 선���할 수 있습니다.

클러스터 노드의 영구 부팅 디스크 유형 선택

Google Cloud 콘솔, Google Cloud CLI, Dataproc API를 사용하여 클러스터를 만들 때 영구 부팅 디스크 유형을 선택할 수 있습니다.

콘솔

Google Cloud 콘솔의 Dataproc 클러스터 만들기 페이지에서 노드 구성 패널로 이동하여 클러스터를 만들고 관리자(마스터), 기본 작업자, 보조 작업자 클러스터 노드에 대해 표준, SSD, 균형 있는 영구, 하이퍼디스크 균형 부팅 디스크를 선택할 수 있습니다.

gcloud CLI

gcloud dataproc clusters create 명령에 --master-boot-disk-type, --worker-boot-disk-type, --secondary-worker-boot-disk-type 플래그를 사용하여 클러스터를 만들고 관리자(마스터), 기본 작업자, 보조 작업자 클러스터 노드에 대해 표준, SSD, 균형 있는 영구, 하이퍼디스크 균형 부팅 디스크를 선택할 수 있습니다.

Dataproc 클러스터 관리자(마스터) 및 기본 작업자 노드의 기본 영구 부팅 디스크 유형은 pd-standard입니다. VM 머신 유형이 하이퍼디스크만 부팅 디스크로 지원할 경우 기본 부팅 디스크가 hyperdisk-balanced입니다. 클러스터 보조 작업자 노드의 기본 영구 부팅 디스크 유형은 기본 작업자 노드 영구 부팅 디스크 유형입니다.

--master-boot-disk-type, --worker-boot-disk-type, --secondary-worker-boot-disk-type 플래그에 pd-standard, pd-ssd, pd-balanced, hyperdisk-balanced 값을 전달할 수 있습니다. 유효한 디스크 유형 값은 모든 클러스터 노드 유형에 설정할 수 있습니다.

예를 들면 다음과 같습니다. 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    --secondary-worker-boot-disk-type=pd-standard \
    other args ...
p

REST API

Dataproc 클러스터 관리자(마스터) 및 기본 작업자 노드의 기본 부팅 디스크 유형은 pd-standard입니다. VM 머신 유형이 하이퍼디스크만 부팅 디스크로 지원할 경우 기본 부팅 디스크가 hyperdisk-balanced입니다. 보조 작업자 노드의 기본 부팅 디스크 유형은 기본 작업 노드 부팅 디스크 유형입니다.

cluster.create API 요청의 일부로 masterConfig, workerConfig, secondaryWorkerConfig의 InstanceGroupConfig.DiskConfig.bootDiskType 필드에 pd-standard, pd-ssd, pd-balanced, hyperdisk-balanced 값을 설정할 수 있습니다. 모든 클러스터 노드 유형에 유효한 부팅 디스크 유형 값을 설정할 수 있습니다.

하이퍼디스크 설정

hyperdisk-balanced를 Dataproc 클러스터 노드의 부팅 디스크로 사용해서 클러스터를 만들 때는 프로비저닝된 IOPS 및 프로비저닝된 처리량을 설정할 수 있습니다.

콘솔

하이퍼디스크 균형은 Google Cloud 콘솔의 Dataproc 클러스터 만들기 페이지에 있는 노드 구성 패널에서 관리자(마스터) 및 기본 작업자 클러스터 노드에 대해 기본 부팅 디스크 유형으로 선택됩니다. IOPS 및 처리량을 설정하거나 기본값을 사용할 수 있습니다.

gcloud CLI

gcloud dataproc clusters create 명령어에 --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput, --worker-boot-disk-provisioned-throughput 플래그를 사용해서 하이퍼디스크 균형 부팅 디스크로 클러스터 노드에 대한 프로비저닝된 IOPS 및 프로비저닝된 처리량을 설정할 수 있습니다.

예를 들면 다음과 같습니다. 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

REST API

관리자(마스터) 및 작업자 구성에 대해 InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops 및 InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput 필드를 사용해서 하이퍼디스크 부팅 디스크로 클러스터 노드에 대해 프로비저닝된 IOPS 및 프로비저닝된 처리량을 설정할 수 있습니다.