חיבורים חיצוניים ל-BigQuery

מקור נתונים חיצוני הוא מקור נתונים שאפשר לשלוח אליו שאילתות ישירות מ-BigQuery, גם אם הנתונים לא מאוחסנים באחסון של BigQuery. לדוגמה, יכול להיות שיש לכם נתונים במסד נתונים אחר ב-Google Cloud, בקבצים ב-Cloud Storage או במוצר ענן אחר לגמרי, ואתם רוצים לנתח אותם ב-BigQuery, אבל אתם לא מוכנים להעביר אותם.

תרחישים לדוגמה לשימוש במקורות נתונים חיצוניים:

• לעומסי עבודה של חילוץ, טעינת נתונים וטרנספורמציה (ELT), טעינת הנתונים וניקוי שלהם בבת אחת וכתיבה של התוצאה המטוהרת באחסון של BigQuery באמצעות שאילתת CREATE TABLE ... AS SELECT.
• מיזוג טבלאות BigQuery עם נתונים שמשתנים לעיתים קרובות ממקור נתונים חיצוני. כששולחים שאילתה ישירות למקור הנתונים החיצוני, אין צורך לטעון מחדש את הנתונים באחסון של BigQuery בכל פעם שהם משתנים.

לקוחות Ads Data Hub למשווקים יכולים להשתמש בתכונה הזו של BigQuery כדי לייבא בקלות נתונים מאינטראקציה ישירה (First-Party) ממקורות אחרים, כמו S3 ו-Azure, ולצרף אותם לשאילתות שלהם עם נתוני הפרסום ב-Google.

פרטים מלאים על חיבור מקורות נתונים חיצוניים ל-BigQuery זמינים במאמר מבוא למקורות נתונים חיצוניים.

מגבלות

• יש תמיכה במיקומים הבאים. אם הנתונים שלכם ב-AWS או ב-Azure נמצאים באזור שאינו נתמך, תוכלו גם להשתמש בשירות העברת הנתונים ל-BigQuery.
  • AWS – מזרח ארה"ב (N. וירג'יניה) (aws-us-east-1)
  • Azure – East US 2‏ (azure-eastus2)
• משימות שפועלות על נתונים מחיבורי BigQuery:
  • כפופים לאותן דרישות צבירת נתונים כמו משימות אחרות ב-Ads Data Hub
  • חייבים לעמוד במדיניות של Google

Amazon S3

בהמשך מופיעה סקירה כללית של השלבים הנדרשים כדי לייצא נתונים מ-Amazon S3 ל-BigQuery לשימוש ב-Ads Data Hub. פרטים מלאים זמינים במאמר התחברות ל-Amazon S3.

1. יוצרים מדיניות AWS IAM ל-BigQuery. אחרי יצירת המדיניות, אפשר למצוא את שם המשאב של Amazon‏ (ARN) בדף פרטי המדיניות.
2. יוצרים תפקיד AWS IAM ל-BigQuery באמצעות המדיניות שנוצרה בשלב הקודם.
3. יוצרים חיבור ב-BigQuery. יוצרים חיבור בפרויקט BigQuery שיש ל-Ads Data Hub גישה אליו, למשל הפרויקט שלכם לאדמין. הזהות שלכם ב-Google ב-BigQuery, שבה תשתמשו בשלב הבא, מוצגת בדף פרטי החיבור.
4. מוסיפים יחס אמון לתפקיד ב-AWS. בדף AWS IAM, עורכים את התפקיד שנוצר בשלב הקודם:
   1. משנים את משך הסשן המקסימלי ל-12 שעות.
   2. מוסיפים מדיניות אמון לתפקיד ב-AWS באמצעות הזהות של Google ב-BigQuery שנוצרה בשלב הקודם.
5. טעינה של נתונים למערך הנתונים ב-BigQuery.
6. שליחת שאילתה על הנתונים ב-Ads Data Hub. מידע נוסף על שילוב נתונים מאינטראקציה ישירה
7. אופציונלי: תזמון של טעינת נתונים רציפה ב-BigQuery.

Azure Blob Storage

בהמשך מופיעה סקירה כללית של השלבים הנדרשים כדי לייצא נתונים מ-Azure Blob Storage ל-BigQuery לשימוש ב-Ads Data Hub. פרטים מלאים זמינים במאמר קישור ל-Blob Storage.

1. יוצרים אפליקציה בדייר (tenant) ב-Azure.
2. יוצרים חיבור ב-BigQuery.
   • Tenant ID הוא מזהה הספרייה מהשלב הקודם.
   • מזהה האפליקציה (הלקוח) המאוחד הוא מזהה האפליקציה (הלקוח) מהשלב הקודם.
   • בשלב הבא נשתמש בזהות Google ב-BigQuery.
3. מוסיפים פרטי כניסה מאוחדים ב-Azure.
   • בשדה Subject identifier, מזינים את הזהות שלכם ב-Google ב-BigQuery מהשלב הקודם.
4. מקצים תפקיד לאפליקציות Azure של BigQuery, ומעניקים גישה ל-Storage Blob Data Reader.
5. טעינה של נתונים למערך הנתונים ב-BigQuery.
6. שליחת שאילתה על הנתונים ב-Ads Data Hub. מידע נוסף על שילוב נתונים מאינטראקציה ישירה
7. אופציונלי: תזמון של טעינת נתונים רציפה ב-BigQuery.