סוגי המכסות
בפלטפורמת Earth Engine יש כמה מגבלות מכסות כדי להבטיח שהמשאבים יתחלקו באופן הוגן בין המשתמשים. יש ��ר��ה סוגים שונים של משאבים שזמינים ב-Earth Engine (חישוב, אחסון וכו'), ולכן יש הרבה סוגים שונים של מגבלות מכסות.
ההבדל העיקרי בין סוגי המכסות השונים הוא אם אפשר לשנות אותן. בחלק מסוגי המכסות אנחנו יכולים לשנות את המגבלות לפי משתמש או לפי פרויקט, בעוד שסוגי מכסות אחרים הם מגבלות ברמת המערכת שלא ניתן לשנות.
מגבלות מכסה שניתן לשנות
אפשר לשנות את המגבלות הבאות לכל פרויקט בנפרד. בדף העזרה מוסבר איך מבקשים הגדלה של המכסות.
| סוג המכסה | ערך ברירת המחדל (לכל פרויקט) |
|---|---|
| מספר מקסימלי של בקשות בו-זמנית (נקודת קצה רגילה) | 40 בקשות בו-זמנית |
| מספר מקסימלי של בקשות בו-זמנית (נקודת קצה עם נפח גבוה) | 40 בקשות בו-זמנית |
| קצב מקסימלי של בקשות (לכל פרויקט) | 100 בקשות לשנייה (6,000 בקשות לדקה) |
| קצב מקסימלי של בקשות (לכל חשבון) | 100 בקשות לשנייה (6,000 בקשות לדקה) |
| מספר המשימות הממוצע ברצף בו-זמנית | 2 משימות (בממוצע) |
| נפח האחסון המקסימלי לנכסים | 250 GB |
| מספר נכסים מקסימלי | 10,000 |
בקשות אינטראקטיביות בו-זמנית
כל פרויקט יכול לשלוח בקשות אינטראקטיביות במקביל, עד למגבלת המכסה. אם תחרגו מהמגבלה, מערכת Earth Engine תחזיר שגיאות מסוג 'HTTP 429: Too Many Requests'. בדרך כלל, הספרייה של לקוח Earth Engine מטפלת בשגיאות האלה. היא עוטפת את הבקשות בהשהיה מעריכית לפני ניסיון חוזר (exponential backoff), ומנסה שוב את השאילתה עד שהיא מצליחה. ספריית הלקוח של Earth Engine תנסה שוב לשלוח את הבקשה עד חמש פעמים.
כדי למנוע את השגיאות מסוג 429, מומלץ להפעיל אחסון במטמון לאפליקציה, למשל באמצעות memcache, כדי להימנע משאילתות מיותרות במידת ה��פשר. אם אתם משתמשים בגרסה ישנה יותר של ספריית הלקוח של Earth Engine שלא מנסה שוב באופן אוטומטי שאילתות, או אם שאילתה עדיין לא הושלמה אחרי חמישה ניסיונות חוזרים, יכול להיות שתצטרכו להטמיע השהיה מעריכית לפני ניסיון חוזר (exponential backoff) בבקשות.
קצב הבקשות (QPS)
בנוסף למגבלות על בו-זמניות, Earth Engine מגביל את קצב הבקשות האינטראקטיביות ברמת הפרויקט וברמת המשתמש. אפשר לשנות את ההגדרות האלה במסוף Cloud.
משימות באצווה בו-זמנית
משימות באצווה מוגבלות לכמות קטנה של עיבוד מקבילי, כי הן צורכות יותר משאבים מאשר בקשות אינטראקטיביות.
כשמשתמשים ב-Earth Engine למטרות לא מסחריות, מספר המשימות המקסימלי של האצווה שאפשר להריץ בו-זמנית מוגדר לברירת המחדל, אלא אם קיבלתם הגדלת מכסה.
כשמשתמשים ב-Earth Engine למטרות מסחריות, המספר המקסימלי של משימות באצווה שאפשר להריץ בו-זמנית נקבע לפי תוכנית התמחור, אבל אפשר להקטין אותו עוד יותר על ידי הגדרת מגבלת בו-זמניות של משימות באצווה לכל פרויקט. כברירת מחדל, המגבלה על מספר משימות האצווה שפועלות בו-זמנית בפרויקט מוגדרת למספר המקסימלי שמוגדר בתוכנית התשלומים שמוגדרת בחשבון לחיוב של הפרויקט. כדי להציג או לעדכן את המגבלה הזו בפרויקט, אפשר לעיין במסמכי התיעוד של כלי שורת הפקודה.
מכסת האחסון של נכסים
לכל נכס ב-Earth Engine יש נפח אחסון נתונים תואם, שנמדד בבייטים. הבעלים של הנכסים יכולים להיות פרויקטים ב-Cloud או אנשים פרטיים (נכסים מדור קודם), וכל נכס נספר במסגרת המגבלה הכוללת של הבעלים ב-Earth Engine על נפח האחסון ומספר הנכסים.
מושבים של משתמשים
כשמשתמשים ב-Earth Engine למטרות מסחריות, כל רמת מינוי כוללת מספר משבצות משתמשים, אבל אפשר גם לרכוש מספר משבצות נוספות.
אדמינים של שירותים צפויים לרכוש מספר משתמשים בהתאם למספר המשתמשים ב-Code Editor במחזור חיוב נתון.
שאלות נפוצות
שאלה: מי נחשב כמי שתופס מקום?
תשובה: רק משתמשים אנושיים נפרדים שמשתמשים ב-Earth Engine לצורכי חישוב באמצעות Code Editor (הצגת משבצות מפה, שליחת שאילתות חישוב וכו') נספרים במסגרת מגבלת המקומות.
שאלה: מה קורה אם המשתמשים משתנים מחודש אחד לחודש אחר?
תשובה: המושבים לא מוקצים לאנשים ספציפיים – הם לא משבצות בעלות שם.
כל עוד לא חורגים מהמספר בחודש נתון, זה לא משנה מהן הזהויות של המשתמשים.
שאלה: מה קורה עם חשבונות שירות?
תשובה: חשבונות שירות לא נכללים במספרי המושבים. הן לא נספרות כמשתמשים אנושיים שמבצעים פעולות מחשוב.
שאלה: מה קורה למשתמשים שמשתמשים ב-Earth Engine דרך Python?
תשובה: משתמשים שמשתמשים ב-Earth Engine רק דרך Python API ולא משתמשים ב-Code Editor לא נספרים בספירת המקומות. מספרי המושבים קשורים לשימוש ב-Code Editor.
שאלה: איפה נספרים המושבים?
תשובה: מספרי המושבים חלים ברמת החשבון לחיוב. כל המשתמשים בארגון שמשתמשים ב-Code Editor נספרים במספר הכולל של המקומות בחשבון לחיוב.
שאלה: מה קורה אם חורגים ממגבלת המושבים?
תשובה: אנחנו עוקבים אחרי הפרות עקביות ומבצעים אכיפה של המגבלות ברמת החשבון לחיוב.
שאלה: איך רוכשים יותר או פחות מושבים?
תשובה: פרטים נוספים זמינים בדף המחירון של Earth Engine.
מגבלות מכסה קבועות
סוגי המגבלות האלה מוגדרים ברמת הפלטפורמה, ולכן אי אפשר לשנות אותן לפי משתמש או פרויקט. סביר להניח שהם לא ישתנו באופן משמעותי עם הזמן.
זמן החישוב
לסוגים שונים של בקשות יש משכי זמן מקסימליים שונים, שמפורטים במסמכי התיעוד של סביבות העיבוד.
לקבלת עזרה בפתרון שגיאות זמן קצוב פג, אפשר לעיין במדריך לניפוי באגים.
הזיכרון שבשימוש לכל בקשה
אם בקשה נכשלת עם הודעת השגיאה 'מגבלת הזיכרון של המשתמש חרגה', המשמעות היא ש-Earth Engine לא הצליח לחשב את התשובה במסגרת טביעת הזיכרון המותרת. בפלטפורמת החישוב של EE יש כמות מוגבלת של זיכרון RAM, וכדי לוודא שהמערכת תישאר יציבה, כל בקשה יכולה להשתמש רק בכמות מסוימת. נפח הזיכרון המקסימלי הזמין תלוי בסוג הבקשה (למשל, יותר עבור משימה באצווה מאשר עבור משבצת מפה), אבל אלה מגבלות ברמת המערכת.
לקבלת עזרה בפתרון שגיאות זיכרון, אפשר לעיין במדריך לניפוי באגים.
נתונים מצטברים
כשאנחנו מעבדים בקשות ב-Earth Engine, אנחנו מפרידים בין סוגי חישובים משניים מסוימים שאנחנו יודעים שהם דורשים חישובים כבדים. החישובים המשניים האלה נקראים 'צבירויות', והם מטופלים באופן מיוחד במערכת ה-EE. התוצאות של צבירת הנתונים מאוחסנות במטמון כדי למנוע חישוב מחדש.
צבירת נתונים בו-זמנית
כדי למנוע יצירת ענפים מרובים של חישובים ללא בקרה, אנחנו מגבילים את מספר הצבירות שכל משתמש יכול להריץ בו-זמנית, והמגבלה הזו לא ניתנת לשינוי. אם בקשה נכשלת עם השגיאה 'Too many concurrent aggregations', המשמעות היא שהמגיש ביצע יותר מדי צבירות בו-זמנית.
לקבלת עזרה בתיקון שגיאות צבירת נתונים בו-זמנית, אפשר לעיין במדריך לניפוי באגים.
תוצאות צבירת נתונים גדולות
אם בקשה נכשלת עם הודעת השגיאה 'הערך המחושב גדול מדי', סימן שהצבירה החזירה תוצאה גדולה מדי מכדי שתתאים למטמון שלנו. מגבלת הגודל של התוצאות המחושבות היא 100MB, והיא מגבלה מערכתית.
מגבלות על ייבוא טבלאות
המגבלות על העלאת טבלאות מפורטות במדריך לייבוא נתוני טבלאות.
גודל המטען הייעודי (payload) של הבקשה
השאילתה היחידה ב-Earth Engine מוגבלת לגודל של 10MB. בדרך כלל, מגיעים למגבלה הזו רק כשמצרפים לשאילתה נתונים נוספים גדולים, כמו קובץ shapefile או מבנה GeoJSON שנוספו לשאילתה. במקום זאת, צריך להעלות את האובייקטים האלה ולהפוך אותם לנכס FeatureCollection, ולהפנות אליהם באמצעות מזהה הנכס.
אורך התור של המשימות
משימות שממתינות לתזמון (במצב READY) יוצרות את 'תור המשימות'. כל תור של פרויקט תומך ב-3,000 משימות לכל היותר. כלומר, אי אפשר להוסיף יותר מ-3,000 משימות במצב READY.
מגבלות המכסות של פונקציות רסטר ב-BigQuery
המכסות הבאות חלות על קריאות ל-Earth Engine מ-BigQuery, למשל כשמשתמשים בפונקציית ה-SQL ST_REGIONSTATS.
| סוג המכסה | ערך ברירת המחדל (לכל פרויקט) |
|---|---|
| זמן המכסה ב-BigQuery ליום | 1,260,000 שניות בחלון זמן (350 שעות בחלון זמן) |
זמן המכסה ב-BigQuery ליום
המכסה של זמן פעילות ב-BigQuery ליום היא מכסה מותאמת אישית שמאפשרת להגביל את משך הזמן שפונקציות הרסטרים של BigQuery יכולות לצרוך ב-Earth Engine ביום נתון ובפרויקט נתון. אפשר להציג את המכסה הזו במסוף Cloud, בקטע של המדד earthengine.googleapis.com/bigquery_slot_usage_time. מנהל מכסות יכול לשנות את הערך שלה כלפי מעלה או כלפי מטה. כדי להגד��ל את הערך מעבר לערך ברירת המחדל, צריך ליצור בקשה להגדלת המכסה, שתאושר באופן אוטומטי.
אם תחרגו מהמכסה הזו, תופיע הודעת השגיאה הבאה ב-BigQuery:
From Earth Engine: Custom quota exceeded: Your usage exceeded the custom quota for 'earthengine.googleapis.com/bigquery_slot_usage_time', which is adjustable by your administrator in the Google Cloud console: https://console.cloud.google.com/quotas/?project=_.
אחרי חריגה מהמכסה, קריאות ל-ST_REGIONSTATS ייכשללו עד שהמכסה תתא��ס ��יום הבא או שהאדמין יגדיל את המגבלה.