Discos de inicialização permanentes do Dataproc

Você seleciona discos permanentes padrão, SSD, balanceados ou balanceado de hiperdisco como discos de inicialização para nós de cluster do Dataproc.

Selecionar tipos de disco de inicialização permanente para nós de cluster

É possível selecionar o tipo de disco de inicialização persistente ao criar um cluster usando o console do Google Cloud, a CLI do Google Cloud ou a API Dataproc.

Console

É possível criar um cluster e selecionar um disco de inicialização padrão, SSD, persistente balanceado ou hyperdisk balanceado para o gerenciador (mestre), o worker primário e o worker secundário do cluster no painel Configurar nós na página Criar um cluster do Dataproc do console do Google Cloud.

CLI da gcloud

É possível criar um cluster e selecionar um disco de inicialização persistente padrão, SSD ou equilibrado, ou hyperdisk balanced para o nó de cluster de gerente (mestre), de worker primário e worker secundário usando o comando gcloud dataproc clusters create com as flags --master-boot-disk-type, --worker-boot-disk-type e --secondary-worker-boot-disk-type.

O tipo de disco de inicialização permanente padrão para o gerenciador de cluster do Dataproc (mestre) e os nós de trabalho primários é pd-standard. Se o tipo de máquina da VM oferecer suporte apenas ao hiperdisco como disco de inicialização, o disco de inicialização padrão será hyperdisk-balanced. O tipo de disco de inicialização permanente padrão para nós de worker secundários do cluster é o tipo de disco de inicialização permanente do nó de worker principal.

É possível transmitir um valor de pd-standard, pd-ssd, pd-balanced ou hyperdisk-balanced para as flags --master-boot-disk-type, --worker-boot-disk-type e --secondary-worker-boot-disk-type. Qualquer um dos valores válidos de tipo de disco pode ser definido em qualquer tipo de nó de cluster.

Exemplo: 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    --secondary-worker-boot-disk-type=pd-standard \
    other args ...
p

API REST

O tipo de disco de inicialização padrão para o gerenciador de cluster do Dataproc (mestre) e os nós de trabalho principais é pd-standard. Se o tipo de máquina da VM oferecer suporte apenas ao hiperdisco como disco de inicialização, o disco de inicialização padrão será hyperdisk-balanced. O tipo de disco de inicialização padrão para nós de worker secundário é o tipo de disco de inicialização do nó de trabalho principal.

É possível definir um valor de pd-standard, pd-ssd, pd-balanced ou hyperdisk-balanced no campo InstanceGroupConfig.DiskConfig.bootDiskType em masterConfig, workerConfig e secondaryWorkerConfig como parte de uma solicitação de API cluster.create. Qualquer um dos valores válidos do tipo de disco de inicialização pode ser definido em qualquer tipo de nó de cluster.

Configurações do Hyperdisk

Ao criar um cluster com hyperdisk-balanced como o disco de inicialização de um nó de cluster do Dataproc, é possível definir o IOPS provisionado e a capacidade de processamento provisionada.

Console

Hyperdisk balanced é selecionado como o tipo de disco de inicialização principal padrão para o gerenciador (mestre) e os nós de cluster de worker principal do painel Configurar nós na página Criar um cluster do Dataproc no console do Google Cloud. É possível definir IOPS e throughput ou aceitar os valores padrão.

CLI da gcloud

É possível definir IOPS provisionados e throughput provisionado para nós de cluster com os discos de inicialização do hiperdisco equilibrado usando o comando gcloud dataproc clusters create --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput e --worker-boot-disk-provisioned-throughput.

Exemplo: 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

API REST

É possível definir IOPS provisionadas e throughput provisionado para nós de cluster com discos de inicialização do hiperdisco usando os campos InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops e InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput para as configurações do gerenciador (mestre) e do worker.