Koneksi eksternal BigQuery

Sumber data eksternal adalah sumber data yang dapat Anda kueri langsung dari BigQuery, meskipun data tersebut tidak disimpan di penyimpanan BigQuery. Misalnya, Anda mungkin memiliki data di database Google Cloud lain, di file di Cloud Storage, atau di produk cloud yang berbeda sama sekali yang ingin Anda analisis di BigQuery, tetapi Anda tidak yang telah siap untuk bermigrasi.

Kasus penggunaan untuk sumber data eksternal mencakup hal berikut:

  • Untuk workload extract-load-transform (ELT), memuat dan membersihkan data Anda dalam satu penerusan dan menulis hasil yang telah dibersihkan ke penyimpanan BigQuery, menggunakan kueri CREATE TABLE ... AS SELECT.
  • Menggabungkan tabel BigQuery dengan data yang sering berubah dari sumber data eksternal. Dengan membuat kueri sumber data eksternal secara langsung, Anda tidak perlu memuat ulang data ke penyimpanan BigQuery setiap kali data berubah.

Sebagai pelanggan Ads Data Hub untuk Pemasar, Anda dapat memanfaatkan fitur BigQuery ini untuk dengan mudah memasukkan data pihak pertama dari sumber lain, seperti S3 dan Azure, dan menggabungkannya dengan data iklan Google dalam kueri Anda.

Untuk mengetahui detail lengkap tentang cara menghubungkan sumber data eksternal ke BigQuery, lihat Pengantar sumber data eksternal.

Batasan

  • Lokasi berikut didukung. Jika data AWS atau Azure Anda berada di region yang tidak didukung, Anda juga dapat mempertimbangkan untuk menggunakan BigQuery Data Transfer Service.
    • AWS - AS Timur (N. Virginia) (aws-us-east-1)
    • Azure - AS Timur 2 (azure-eastus2)
  • Tugas yang dijalankan pada data dari koneksi BigQuery:

Amazon S3

Berikut adalah ringkasan mendetail tentang langkah-langkah yang diperlukan untuk mengekspor data dari Amazon S3 ke BigQuery untuk digunakan di Ads Data Hub. Lihat Menghubungkan ke Amazon S3 untuk mengetahui detail selengkapnya.

  1. Buat kebijakan AWS IAM untuk BigQuery. Setelah kebijakan dibuat, Amazon Resource Name (ARN) dapat ditemukan di halaman Detail kebijakan.
  2. Buat peran AWS IAM untuk BigQuery, menggunakan kebijakan yang dibuat di langkah sebelumnya.
  3. Buat koneksi di BigQuery. Buat koneksi di project BigQuery yang dapat diakses oleh Ads Data Hub—misalnya, project admin Anda. Identitas Google BigQuery, yang akan digunakan pada langkah berikutnya, ditampilkan di halaman Connection info.
  4. Tambahkan hubungan kepercayaan ke peran AWS. Di halaman AWS IAM, edit peran yang dibuat pada langkah sebelumnya:
    1. Ubah durasi sesi maksimum menjadi 12 jam.
    2. Tambahkan kebijakan kepercayaan ke peran AWS menggunakan identitas Google BigQuery yang dibuat di langkah sebelumnya.
  5. Muat data ke set data BigQuery.
  6. Buat kueri data di Ads Data Hub. Pelajari cara menggabungkan data pihak pertama.
  7. Opsional: Jadwalkan muat data berkelanjutan di BigQuery.

Azure Blob Storage

Berikut adalah ringkasan umum langkah-langkah yang diperlukan untuk mengekspor data dari Azure Blob Storage ke BigQuery untuk digunakan di Ads Data Hub. Lihat Menghubungkan ke Blob Storage untuk mengetahui detail selengkapnya.

  1. Buat aplikasi di tenant Azure.
  2. Buat koneksi di BigQuery.
    • Tenant ID adalah ID direktori dari langkah sebelumnya.
    • Federated Application (Client) ID adalah ID Aplikasi (klien) dari langkah sebelumnya.
    • Identitas Google BigQuery akan digunakan pada langkah berikutnya.
  3. Menambahkan kredensial gabungan di Azure.
    • Untuk Subject identifier, gunakan identitas Google BigQuery dari langkah sebelumnya.
  4. Tetapkan peran ke aplikasi Azure BigQuery, yang memberikan akses Storage Blob Data Reader.
  5. Muat data ke set data BigQuery.
  6. Buat kueri data di Ads Data Hub. Pelajari cara menggabungkan data pihak pertama.
  7. Opsional: Jadwalkan muat data berkelanjutan di BigQuery.