การเชื่อมต่อภายนอกของ BigQuery

แหล่งข้อมูลภายนอกคือแหล่งข้อมูลที่คุณค้นหาจาก BigQuery ได้โดยตรง แม้ว่าข้อมูลจะไม่จัดเก็บอยู่ในพื้นที่เก็บข้อมูลของ BigQuery ก็ตาม เช่น คุณอาจมีข้อมูลในฐานข้อมูล Google Cloud อื่น ในไฟล์ใน Cloud Storage หรือในผลิตภัณฑ์ระบบคลาวด์อื่นทั้งหมดที่ต้องการวิเคราะห์ใน BigQuery แต่ยังไม่พร้อมที่จะย้ายข้อมูล

กรณีการใช้งานสําหรับแหล่งข้อมูลภายนอกมีดังนี้

  • สำหรับเวิร์กโหลดการดึงข้อมูล โหลด และเปลี่ยนรูปแบบ (ELT) การโหลดและล้างข้อมูลในครั้งเดียว รวมถึงการเขียนผลลัพธ์ที่ล้างแล้วลงในพื้นที่เก็บข้อมูล BigQuery โดยใช้การค้นหา CREATE TABLE ... AS SELECT
  • การรวมตาราง BigQuery กับข้อมูลที่เปลี่ยนแปลงบ่อยจากแหล่งข้อมูลภายนอก การค้นหาแหล่งข้อมูลภายนอกโดยตรงช่วยให้คุณไม่ต้องโหลดข้อมูลลงในพื้นที่เก็บข้อมูล BigQuery ทุกครั้งที่มีการเปลี่ยนแปลง

ในฐานะลูกค้า Ads Data Hub คุณสามารถใช้ฟีเจอร์ BigQuery นี้เพื่อนําข้อมูลจากบุคคลที่หนึ่งจากแหล่งที่มาอื่นๆ เช่น S3 และ Azure มาใช้ได้อย่างง่ายดาย และรวมเข้ากับข้อมูลการโฆษณาของ Google ในการค้นหา

ดูรายละเอียดทั้งหมดเกี่ยวกับการเชื่อมต่อแหล่งข้อมูลภายนอกกับ BigQuery ได้ที่หัวข้อข้อมูลเบื้องต้นเกี่ยวกับแหล่งข้อมูลภายนอก

ข้อจำกัด

  • ระบบรองรับตำแหน่งต่อไปนี้ หากข้อมูล AWS หรือ Azure อยู่ในภูมิภาคที่ไม่รองรับ คุณอาจพิจารณาใช้บริการโอนข้อมูล BigQuery ได้ด้วย
    • AWS - สหรัฐอเมริกาตะวันออก (นอร์ธ เวอร์จิเนีย) (aws-us-east-1)
    • Azure - East US 2 (azure-eastus2)
  • งานที่ใช้ข้อมูลจากการเชื่อมต่อ BigQuery มีลักษณะดังนี้

Amazon S3

ต่อไปนี้เป็นภาพรวมระดับสูงของขั้นตอนที่จําเป็นในการส่งออกข้อมูลจาก Amazon S3 ไปยัง BigQuery เพื่อใช้ใน Ads Data Hub ดูรายละเอียดทั้งหมดได้ในส่วนเชื่อมต่อกับ Amazon S3

  1. สร้างนโยบาย AWS IAM สำหรับ BigQuery หลังจากสร้างนโยบายแล้ว คุณจะเห็นชื่อทรัพยากร Amazon (ARN) ในหน้ารายละเอียดนโยบาย
  2. สร้างบทบาท AWS IAM สําหรับ BigQuery โดยใช้นโยบายที่สร้างในขั้นตอนก่อนหน้า
  3. สร้างการเชื่อมต่อใน BigQuery สร้างการเชื่อมต่อในโปรเจ็กต์ BigQuery ที่ Ads Data Hub มีสิทธิ์เข้าถึง เช่น โปรเจ็กต์ผู้ดูแลระบบ ข้อมูลประจำตัวของ Google ใน BigQuery ซึ่งจะใช้ในขั้นตอนถัดไปจะแสดงในหน้าข้อมูลการเชื่อมต่อ
  4. เพิ่มความสัมพันธ์ของความน่าเชื่อถือให้กับบทบาท AWS ในหน้า AWS IAM ให้แก้ไขบทบาทที่สร้างไว้ในขั้นตอนก่อนหน้า โดยทำดังนี้
    1. แก้ไขระยะเวลาเซสชันสูงสุดเป็น 12 ชั่วโมง
    2. เพิ่มนโยบายความน่าเชื่อถือลงในบทบาท AWS โดยใช้ข้อมูลประจำตัวของ Google ใน BigQuery ที่สร้างขึ้นในขั้นตอนก่อนหน้า
  5. โหลดข้อมูลลงในชุดข้อมูล BigQuery
  6. ค้นหาข้อมูลใน Ads Data Hub ดูข้อมูลเกี่ยวกับการรวมข้อมูลจากบุคคลที่หนึ่ง
  7. ไม่บังคับ: ตั้งเวลาการโหลดข้อมูลอย่างต่อเนื่องใน BigQuery

พื้นที่เก็บข้อมูล Azure Blob

ต่อไปนี้เป็นภาพรวมระดับสูงของขั้นตอนที่จําเป็นในการส่งออกข้อมูลจาก Azure Blob Storage ไปยัง BigQuery เพื่อใช้ใน Ads Data Hub ดูรายละเอียดทั้งหมดได้ที่หัวข้อเชื่อมต่อกับ Blob Storage

  1. สร้างแอปพลิเคชันในกลุ่มผู้ใช้ Azure
  2. สร้างการเชื่อมต่อใน BigQuery
    • รหัสกลุ่มผู้ใช้คือรหัสไดเรกทอรีจากขั้นตอนก่อนหน้า
    • รหัสแอปพลิเคชัน (ไคลเอ็นต์) ที่รวมศูนย์คือรหัสแอปพลิเคชัน (ไคลเอ็นต์) จากขั้นตอนก่อนหน้า
    • ระบบจะใช้ข้อมูลประจำตัวของ Google ใน BigQuery ในขั้นตอนถัดไป
  3. เพิ่มข้อมูลเข้าสู่ระบบที่รวมศูนย์ใน Azure
    • สําหรับตัวระบุเรื่อง ให้ใช้ข้อมูลระบุตัวตน Google ของ BigQuery จากขั้นตอนก่อนหน้า
  4. กำหนดบทบาทให้กับแอปพลิเคชัน Azure ของ BigQuery ซึ่งให้สิทธิ์เข้าถึงข้อมูล Blob ของ Storage ในระดับผู้อ่าน
  5. โหลดข้อมูลลงในชุดข้อมูล BigQuery
  6. ค้นหาข้อมูลใน Ads Data Hub ดูข้อมูลเกี่ยวกับการรวมข้อมูลจากบุคคลที่หนึ่ง
  7. ไม่บังคับ: ตั้งเวลาการโหลดข้อมูลอย่างต่อเนื่องใน BigQuery