Membuat tabel eksternal BigLake untuk Apache Iceberg

Tabel eksternal BigLake memungkinkan Anda mengakses tabel Apache Iceberg dengan kontrol akses yang lebih terperinci dalam format hanya baca. Kemampuan ini berbeda dengan tabel BigQuery untuk Apache Iceberg, yang memungkinkan Anda membuat tabel Apache Iceberg di BigQuery dalam format yang dapat ditulis.

Iceberg adalah format tabel open source yang mendukung tabel data berskala petabyte. Spesifikasi terbuka Iceberg memungkinkan Anda menjalankan beberapa mesin kueri pada satu salinan data yang disimpan di penyimpanan objek. Tabel eksternal BigLake untuk Apache Iceberg (selanjutnya disebut tabel BigLake Iceberg) mendukung spesifikasi Iceberg versi 2, termasuk penggabungan saat membaca.

Sebagai administrator BigQuery, Anda dapat menerapkan kontrol akses tingkat baris dan kolom, termasuk penyamaran data pada tabel. Untuk informasi tentang cara menyiapkan kontrol akses di tingkat tabel, lihat Menyiapkan kebijakan kontrol akses. Kebijakan akses tabel juga diterapkan saat Anda menggunakan BigQuery Storage API sebagai sumber data untuk tabel di Dataproc dan Serverless Spark. Tabel BigLake memberikan integrasi tambahan dengan layanan BigQuery lainnya. Untuk daftar lengkap integrasi yang tersedia, lihat Pengantar tabel BigLake.

Anda dapat membuat tabel BigLake Iceberg dengan cara berikut:

• Dengan metastore BigQuery (direkomendasikan untuk Google Cloud). Metastore BigQuery didasarkan pada katalog BigQuery dan terintegrasi langsung dengan BigQuery. Tabel di metastore BigQuery dapat diubah dari beberapa mesin open source, dan tabel yang sama dapat dikueri dari BigQuery. Metastore BigQuery juga mendukung integrasi langsung dengan Apache Spark.

• Dengan AWS Glue Data Catalog (direkomendasikan untuk AWS). AWS Glue adalah metode yang direkomendasikan untuk AWS karena merupakan repositori metadata terpusat tempat Anda menentukan struktur dan lokasi data yang disimpan di berbagai layanan AWS dan menyediakan kemampuan seperti penemuan skema otomatis dan integrasi dengan alat analisis AWS.

• Dengan file metadata JSON Iceberg (direkomendasikan untuk Azure). Jika menggunakan file metadata JSON Iceberg, Anda harus mengupdate file metadata terbaru secara manual setiap kali ada update tabel. Anda dapat menggunakan prosedur tersimpan BigQuery untuk Apache Spark guna membuat tabel BigLake Iceberg yang mereferensikan file metadata Iceberg.

  Untuk daftar lengkap batasan, lihat Batasan.

Berikut ini perbandingan tabel BigLake Iceberg dengan variasi tabel serupa lainnya di BigQuery:

Sebelum memulai

• Enable the BigQuery Connection and BigQuery Reservation APIs.

  Enable the APIs

• Jika menggunakan prosedur tersimpan untuk Spark di BigQuery guna membuat tabel BigLake Iceberg, Anda harus mengikuti langkah-langkah berikut:

  1. Buat koneksi Spark.
  2. Siapkan kontrol akses untuk koneksi tersebut.

• Untuk menyimpan metadata tabel BigLake Iceberg dan file data di Cloud Storage, buat bucket Cloud Storage. Anda harus terhubung ke bucket Cloud Storage untuk mengakses file metadata. Untuk melakukannya, ikuti langkah-langkah berikut:

  1. Buat koneksi resource Cloud.
  2. Siapkan akses untuk koneksi tersebut.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk membuat tabel BigLake, minta administrator untuk memberi Anda peran IAM berikut pada project:

• BigQuery Admin (roles/bigquery.admin)
• Storage Object Admin (roles/storage.objectAdmin)

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat tabel BigLake. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Membuat tabel dengan metastore BigQuery

Sebaiknya buat tabel BigLake Iceberg dengan metastore BigQuery. Anda dapat menggunakan Apache Spark untuk membuat tabel ini. Cara yang mudah untuk melakukannya adalah menggunakan prosedur tersimpan BigQuery. Untuk mengetahui contohnya, lihat Membuat dan menjalankan prosedur tersimpan.

Membuat tabel dengan file metadata

Anda dapat membuat tabel BigLake Iceberg dengan file metadata JSON. Namun, ini bukan metode yang direkomendasikan karena Anda harus mengupdate URI file metadata JSON secara manual agar tabel BigLake selalu terbaru. Jika URI tidak selalu terbaru, kueri di BigQuery dapat gagal atau memberikan hasil yang berbeda dari mesin kueri lain yang langsung menggunakan katalog Iceberg.

File metadata tabel Iceberg dibuat di bucket Cloud Storage yang Anda tentukan saat membuat tabel Iceberg menggunakan Spark.

Pilih salah satu opsi berikut:

  CREATE EXTERNAL TABLE myexternal-table
  WITH CONNECTION `myproject.us.myconnection`
  OPTIONS (
         format = 'ICEBERG',
         uris = ["gs://mybucket/mydata/mytable/metadata/iceberg.metadata.json"]
   )

bq mk 

    --table 

    --external_table_definition=TABLE_FORMAT=URI@projects/CONNECTION_PROJECT_ID/locations/CONNECTION_REGION/connections/CONNECTION_ID 

    PROJECT_ID:DATASET.EXTERNAL_TABLE

Mengupdate metadata tabel

Jika Anda menggunakan file metadata JSON untuk membuat tabel BigLake Iceberg, update definisi tabel ke metadata tabel terbaru. Untuk mengupdate skema atau file metadata, pilih salah satu opsi berikut:

PATCH https://bigquery.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET/tables/TABLE?autodetect_schema=true

{
     "externalDataConfiguration": {
      "sourceFormat": "ICEBERG",
      "sourceUris": [
        "URI"
      ]
    },
    "schema": null
  }'

Menyiapkan kebijakan kontrol akses

Anda dapat menggunakan beberapa metode untuk mengontrol akses ke tabel BigLake:

• Untuk petunjuk cara menyiapkan keamanan tingkat kolom, lihat panduan keamanan tingkat kolom.

• Untuk petunjuk tentang cara menyiapkan penyamaran data, lihat panduan penyamaran data.

• Untuk petunjuk tentang cara menyiapkan keamanan tingkat baris, lihat panduan keamanan tingkat baris.

Misalnya, Anda ingin membatasi akses baris untuk tabel mytable dalam set data mydataset:

+---------+---------+-------+
| country | product | price |
+---------+---------+-------+
| US      | phone   |   100 |
| JP      | tablet  |   300 |
| UK      | laptop  |   200 |
+---------+---------+-------+

Anda dapat membuat filter tingkat baris untuk Kim (kim@example.com) yang membatasi aksesnya ke baris di mana country sama dengan US.

CREATE ROW ACCESS POLICY only_us_filter
ON mydataset.mytable
GRANT TO ('user:kim@example.com')
FILTER USING (country = 'US');

Kemudian, Kim menjalankan kueri berikut:

SELECT * FROM projectid.mydataset.mytable;

Output hanya menampilkan baris di mana country sama dengan US:

+---------+---------+-------+
| country | product | price |
+---------+---------+-------+
| US      | phone   |   100 |
+---------+---------+-------+

Membuat kueri tabel BigLake

Untuk informasi selengkapnya, lihat Membuat kueri data Iceberg.

Pemetaan data

BigQuery mengonversi jenis data Iceberg menjadi jenis data BigQuery seperti yang ditampilkan dalam tabel berikut:

Batasan

Tabel BigLake Iceberg memiliki batasan tabel BigLake dan juga batasan berikut:

• Tabel yang menggunakan penggabungan saat membaca memiliki batasan berikut:

  • Setiap file data dapat dikaitkan dengan maksimal 10.000 file hapus.
  • Tidak lebih dari 100.000 ID kesetaraan dapat diterapkan ke file penghapusan.
  • Anda dapat mengatasi keterbatasan ini dengan sering memadatkan file penghapusan, atau membuat tampilan di atas tabel Iceberg yang menghindari partisi yang sering bermutasi.

• BigQuery mendukung pruning manifes menggunakan semua fungsi transformasi partisi Iceberg kecuali untuk Bucket. Untuk informasi tentang cara melakukan pruning partisi, lihat Membuat kueri tabel berpartisi. Kueri yang merujuk pada tabel BigLake Iceberg harus berisi literal dalam predikat dibandingkan dengan kolom yang dipartisi.

• Hanya file data Apache Parquet yang didukung.

Biaya penggabungan saat membaca

Penagihan on-demand untuk data penggabungan saat dibaca adalah jumlah pemindaian data berikut:

• Semua byte logis yang dibaca dalam file data (termasuk baris yang ditandai sebagai dihapus oleh posisi dan penghapusan persamaan).
• Byte logis yang dibaca memuat penghapusan persamaan dan posisi menghapus file untuk menemukan baris yang dihapus dalam file data.

Perlu filter partisi

Anda dapat mewajibkan penggunaan filter predikat dengan mengaktifkan opsi require partition filter untuk tabel Iceberg. Jika Anda mengaktifkan opsi ini, upaya untuk mengkueri tabel tanpa menentukan klausa WHERE yang selaras dengan setiap file manifes akan menghasilkan error berikut:

Cannot query over table project_id.dataset.table without a
filter that can be used for partition elimination.

Setiap file manifes memerlukan setidaknya satu predikat yang sesuai untuk penghapusan partisi.

Anda dapat mengaktifkan require_partition_filter dengan cara berikut saat membuat tabel Iceberg :

  CREATE EXTERNAL TABLE TABLE
  WITH CONNECTION `PROJECT_ID.REGION.CONNECTION_ID`
  OPTIONS (
         format = 'ICEBERG',
         uris = [URI],
         require_partition_filter = true
   )

bq mk \
    --table \
    --external_table_definition=ICEBERG=URI@projects/CONNECTION_PROJECT_ID/locations/CONNECTION_REGION/connections/CONNECTION_ID \
    PROJECT_ID:DATASET.EXTERNAL_TABLE \
    --require_partition_filter

Anda juga dapat memperbarui tabel Iceberg untuk mengaktifkan filter partisi yang diperlukan.

Jika Anda tidak mengaktifkan opsi wajibkan filter partisi saat membuat tabel berpartisi, Anda dapat memperbarui tabel untuk menambahkan opsi tersebut.

bq update --require_partition_filter PROJECT_ID:DATASET.TABLE

Langkah berikutnya

• Pelajari prosedur tersimpan untuk Spark.
• Pelajari tabel BigLake.
• Pelajari kebijakan kontrol akses.
• Pelajari cara menjalankan kueri di BigQuery.
• Pelajari pernyataan dan dialek SQL yang didukung di BigQuery.