Listen to Episode

Read Episode Transcript

טרוורס עם פלטפורמה הפודקאסט של אורי ורן על תוכנה+ פפ שלום לכולם וברוכים הבאים לפודקאסט מספר 455 של אוניברסיטה. פלטפורמה. התאריך היום הוא שביעי בפברואר 20, 23. ואנחנו שוב בבית של אורי בכרכור, והיום אנחנו מתכוונים לארח את חיים טורקל. ערב טוב אז היי, אורי והיי חיים, ברוך הבא אנחנו הולכים לדבר היום על dbt. תכף נדבר גם מה זה, אבל קצת לפני איזה חיים קצת עליך ערב טוב. קודם כל כבוד הוא לי להיות פה הערב אתכם אם אני נמצא בעצם בתחום כבר 20 שנה. עברתי הרבה מאוד שפות c++ סלאש דלפין מי שזוכר, זוכר, זוכר, זוכר? פעם צריך לעשות כאן לא האמת. אלפי לא יצא לי זה כי. יוצא לפסקל לפני אז לשאול פסקל. כן, כן, זה מאוד לעשות משחק שכל אחד אומר שפה אסור לחזור על השפה פעמיים, ומי שאין לו שוטה בהחלט, אז דלפי כן מוסיפים לזה גם java. פייתון סקאלה, גומה הרבה שפות. גם עבדתי בתחום הדיור. לאחרונה אני מתמחה הרבה יותר בתחום של הבגדי את הפלטפורמה. אם ובאמת, הפאשן האחרון של הייתי אומר זה באמת פלטפורמה שזה הדבר שאני מרגיש מאוד נצרך בשוק. הים ואני עובד בחברה שנקראת טיקאל. אני gl שם שם אני מנטור לאנשים גם בתחום המקצועי וגם בתחום הבין אישי והמנטור בשביל לעזור להם. זה לעובדים של טיקאל או ללקוחות לעובדים של טיקאל ויפה שאתה מעלה להנחתה, אנחנו מאוד רוצים גם להרחיב את זה ללקוחות. זה אחד מאגדות שלנו. אז בהחלט כמה מילים על טיקאל. אז טיקאל באמת יש שני רגליים. הייתי אומר אחד זה עבור הלקוח, אנחנו מתי רגליים בד"כ שלום פשוט. אז תצטרך לסלוח לי על הטעויות האלה. אז רגל אחת היא בעצם עבור הלקוח. זאת אומרת, אנחנו באים וה משתדלים להביא כמה שיותר עד עת ולא ואנשים עם איכות והרבה ניסיון וכמה שיותר מהר לחברה. ומהצד השני אנחנו גם משקיעים בעובדים עצמם, עושים להם רודפים ומנטור שיפ כדי להשביח ולקדם את הקריירה שלהם. אז שם אני אמצא gl זה גרופ לידר. בבקשה. יש לנו כמה קבוצות שם. The box מובייל פרונט אנד אז הזכרת שם פלטפורמה ולא שכחתי לך. אז מה? מה אתה מתכוון? מה זה סאב פריים פלטפורמה? סמסונג, פלטפורמה זה באמת איזשהו אבולוציה, שאני לאט לאט רואה, זה מתקשר למונחים כמו דייט ממש, וכל מיני דברים כאלה. זה לא רק להרים את התשתיות עת היתה אלא להנגיש אותם לכל החברה שלו. אני איש צוות דייט, הפלטפורמה צריך לעשות את כל העבודה בדברים שאני לא מכיר אלא אני מעלה תשתיות שכל החברה יכולים להיות שותפים בה. לעולם הזה, דאטה, קטלוג סמנטי קלר כאלה. זאת אומרת אם אני רוצה להנגיש לך דייט אתה צריך לדעת איך למצוא אותו. אז הדת על קטלוג יעזור לך למצוא אותו במקום שירים אלי טלפון של סלק, תגיד לי, איפה הדייט הזה? והזה תשתמש בקטלוג. לא כתבת באיזה גם כלים שעוזרים לי להשתמש בדאטה בייס בלי שאני אצטרך אותך כאדם, אינסטלטור שהיא תבוא ואת הסביר. ספציפית היום אנחנו נדבר על אחד מהכלים האלה על dbt אז מזה dbt מהדי ביטי ומתי אני צריך אותו? אז dbt הוא באמת שחקן מאוד משמעותי וחדש בשוק, אני עוד זוכר לפני באר 3, 4 שנים כתבתי פלטפורמה בלי dbt. Dbt, הייתי אומר, נכנס בתחום של הייתי אלים של הטרנספורמציות, של המילוי. נניח שאלה dbt דרך אגב זה גם משעשע קצת אם תחפש dbt באינטרנט אתה תמצא שיטת טיפול באריסטי, אז זה לא זה. חייב להגיד שגם nlp זה לא זה נכון, נכון? עדיף לחפש גדי ביתי ולא dbt. אז dbt זה בעצם דיאטת טרנספר. זאת אומרת, הם לקחו את ה etl ושינו את המודל שלו אמרו. במקום לעשות אקסטרה לא טרנספר בוא נעשה לורד ואז טרנספר. זאת אומרת התפיסה שלהם בה, ואומרת, שניה אם אני מסתכל על הדיאטה פלטפורמה רוחבי אז אנשים בדרך כלל נתקעת קשים באזור של האנס. בוא נכניס את זה ועל הדרך טרנספורמציה, הם אמרו שנייה בוא נביא את הכל עד עכשיו שהטכנולוגיות הבשילו והם יכולים בעצם לסחוב את כל הדאטה הזה. והרום אנשים יודעים, גם לא אנשי תוכנה, אז הם יכולים לכתוב את כל הטרנספורמציות, אבל הטרנספורמציות. בעצם קורות בפנים בתוך המכונה, בתוך הדטה בייס הם קוראים. זו. חשובה, כי אנשים מבלבלים בבתי dbt הוא ספרייה. הוא לא עושה את ההילינג בעצמו. נעשה על ידי עדי טוויטו, בן, אם זה דאטה, בריקס צ'יפס או כל האחרים, והוא תומך בכולם. Dbt. הוא שכבת אבסטרקטי שאני מנגיש אותו ויש אדפטורים שיודעים להריץ את זה על כל פלטפורמה זאת אומרת שאני אכתוב את הלוגיקה הזו שאולי בעבר את הלוגיקה, את הטרנספורמציה במקום לכתוב אותה בגבה או בבית, או בכל שפה אחרת שאיתה נהוג לעשות טרנספורמציה. אתה אומר עכשיו אפשר לכתוב אותה? והמנוע כבר ידאג לזה, שזה יעבוד בצורה שהיא. ואילו סבירה? נכון, גם אם נסתכל על שאר הכלים בשוק, יש לנו גם ספק וגם פלינג כולם הלכו לכיוון של בוא נוסיף sql. אז אם יש לי את כל התסכול הזה בוא נשחרר אותך מהכלים המסורבלים האלה, ופשוט ננגיש לך ישירות את ה sql. יותר יעיל. מה יותר יעיל לעבודה כאילו, איתיאל או? אייפק? Elp זה שאלה מעניינת, של איך אתה מגדיר יעיל? ומן הסתם תלוי גם בתשתית שלך ובמה אתה. בלידתה ביסט המשתמש. נכון, וזה גם חשוב, מה חשוב לך, העלות או זמן עיבוד זמן הנתונים. יש פה הרבה שיקולים. בוא נסתכל על זמן מה אני חושב שאני יכול. אני אעשה אם ברשותך אני אנסח את השאלה קצת אחרת, איזה י קיז טובים, איזה י כיף נכונים ל dvt ואיזה לא. מתי זה לא נכון להשתמש בו? אז האמת שלדעתי תמיד טוב להשתמש בבתי. יחד עם זאת, אם חברה כפר יש למידול, השתמשו באיזשהו כלי סנופלייק או מה שלא יהיה, וכבר כתבו והעמידו. יש להם לא משתנה הרבה, אז לא בהכרח הייתי מה שכתב אותו בבתי. אז אתה אומר, הם מתחילים מאפס, זה לא טעות להשתמש באדים איתי בכל הסיטואציות. לדעתי זה זה מאוד טוב. אפילו הייתי אומר הקונספט, אם הייתי מסכם עדי ביטי עושה הוא מביא קונספטים של סופטוור לעולם של הדיאטה. אז במקום שתכתוב לי sql, אם, בכל מיני וורקר בן, אם זה ביקורי או מה שלא יהיה בו, תיכתבו את זה בגבת תיכתבו. את זה מסודר ci, cd טסטים הכל ואז הוא ירוץ. אז רגע, אתה חייב לנו להסביר לנו עליו קצת יותר נכון? אז dbt, במה שנקרא שתי מילים, מרכיב כמה דברים יש לך קבצים, אתה כותב קובץ sql נלווה לקובץ sql הזה, קובץ שאתה מתאר. בנוסף, לסקי הוסיפה ג'ינג'ר טמפלייט שדרך הג'ינג'י הטמפלייט אתה עושה רפרנסים בין טבלאות. ודרך זאת אומרת אני, כותב סלקט* פארם, ואני לא כותב שהם טבלה. אני כותב. ראפרית? דרך ג'ינג'ר טמפלייט ודרך אותו רפי פרץ עכשיו מאחורי הקלעים הוא יודע ששני התבלות קשורות אחת לשנייה, אז הוא גם יודע לבנות קטלוג בלי שאני אצטרך לתאר לו את כל הדברים. ואם אמרתי ועשיתי את העבודה שלי וגם תיארתי את שם הטבלה מה היא עושה את התורים, את הטיפים. על הדרך גם קיבלתי דייט, הקטלוג בלי שאני אצטרך להתאמץ ולעשות את זה אחרי זה. בוא, בוא, אני אתן לך דוגמא אצלנו בחברה יש המון המון תהליכים שרצים על ספר, הרבה מהם כתובים בסקאלה, חלקם בפייתון תהליכים מורכבים, שעושים כל מיני טרנספורמציות. הם גם מתחילים מדי את האינטרסים מסיימים מדי טקסט. אוקיי, הם לא עושים את זה אפליה, אבל קשה לתחזק אותם. אוקי כי הספארק זה לא זה חיה. זה לא חיה לא פשוטה. עכשיו יכול להיות שאולי חלק מהם באמת היה אפשר ליתן לה, שכתב כעסק יואל מעל ספארק, ואולי זה היה קצת יותר קשה, קצת יותר קל לתחזוקה, אבל עדיין זה לא פשוט. כל הסיפור הזה. האם נגיד יוז כזה היית בא ואומר זה יושב כמו כפפה על היד? ל dvt זה יושב בכפפה. עד כדי כך שאני יכול לנרמל את הטרנספורמציות. להזכיר זאת אומרת גם רוב החברות. הרי זה בדיוק האבולוציה שאתה מתאר, הם כותבים לבד את ההשכלה. אחרי זה כותבים שכבת אבסטרקציה שנותנת לי ימים וקצת sql, וגם dbt דרך אגב, יודע לרוץ על ספארק ישירות. אז אני לא אפסיד את הביצועים אבל מאוד יכול להיות שאת. האינדקס המינימלי שאני חייב נגיד להביא אותו מכקה לתוך הדייט. אני לא אכתוב בדיתי. אני אשתמש בכלי אחר. אבל מי שמע dbt? אוקיי, אז אתה אומר שדיברתי זו ספרייה. למעשה, קוד פתוח אני נחש או שלא קוד פתוח. שני וריאנטים, הם עובדים במידול העסקי, שלהם שזה אופן סורס, אבל יש להם הוסטינג שנקרא dbt קלאוד, שאני חייב לומר עד היום לא ממש הבנתי את המודל העסקי. בינתיים אני חושב שאני יודע לאיפה הם הולכים, אבל היום זה לא= לדעתי לעבור לשם אוקי אז זו ספרייה שנותנת לך יכולות של טרנספורמציה של דת הטובות ועם עקרונות של הנדסת תוכנה, כמו שאמרת, ואפשר למעשה להלביש אותה מעל. Com תשנ ג כלשהו, בין אם זה ספר או אחרים. עד כאן, נכון אוקי בסדר. מה יש עוד דומה לזה בעולם או איזה אלטרנטיבות? אם במקרה dbt לא מתאים לי, אז מה מה כן יכול להתאים? אז באמת רשם נו את השאלה הזאתי ועשיתי את שיעורי בית, אז אחד לאחד אין משהו אחר, אבל אם אני מסתכל על המכלול אז יש לי אינסטנט. יש לי טרנספורם ישן באמצע ויש לי את הרפורמים ואת הטקסט בצד השני. אז מה שקורה ששני הצדדים שאין בבתי מנסים לנגוס, אז אם יש לי או פסול בצד אחד. או כל מיני כלים שיודעים לעשות עם ג סטין הם כבר מוכרים לי על הדרך, גם נעשה לך טרנספורמציה. שן בדרך כלל לא מסודר כמו dbt, ולכן אחרי זה חברות נתקלות בקשיים, אבל זה שם גם בצד השני. אם הכנסתי סייסנס או הכנסתי כל מיני כלים אחרים מהסוג הזה, אז גם כן. לוקר של גוגל הם גם נותנים חמידות והם גם יודעים לעשות טרנספורמציות. אז אמנם יש להם התמחויות אחרות, אבל הם מנסים לגשר את הגיף הזה, אבל dbt יושב שם טוב באמצע. והפלטפורמות לא, זאת אומרת. דבליו אס. סי. פי החכמות יותר, מתחילות לתמוך בביבי אז הגרסה האחרונה של דייט בריקס יש לה ג'וב קלאסטר שאתה יכול להגדיר אותה מסוג dbt והוא יודע להריץ את ה dbt. הבנתי בסדר, זאת אומרת מבחינת ספריות, זאת אומרת חיה דומה ל dvt. אתה לפחות לא מכיר כרגע. נכון אחד לאחד. אני לא מכיר שוב יש כלים אחרים שנוגסים בתחום עד כמה זה נפוץ? זאת אומרת כמה ארגונים למיטב ידיעתך. נגיד פה בישראל, משתמשים בו מכל בעולם. צעיר או ותיק הוא כבר הביתא שלא יצא לפני חצי שנה נראה לי. היום הם בגרסה 1 4. הוא תפס הייפ מטורף, משקיעים בו כמות מטורפת של כסף פה בארץ. גם כן שוב, בהיותי ביתי, קהלני קצת יותר נחשף ללקוחות שונים. לאחרונה אני מרגיש את זה יותר ויותר שאנשים פונים אלינו ושואלים אותנו במיוחד. אני רוצה לנהל את הדיאטה שלי. איך אני עושה את זה אז אם אתה ישר הלכת לכלי כמו סנופלייק או ביקורי, אז אתה יכול לנהל את הרוב גם שם, אבל לא תקבל את האמת, ואילו של dbt יהיה לי בלאגן ובצדק. ואני לא יודע איפה הקבצים שלי ואין להם וינינג. בוודאי שאין לי קטלוג שוב. כל הכלים האלה מנסים להוסיף+ דברים בשביל לגשר על זה, אבל הם לא שם. אוקיי, אז היה משטח אנטי ומחבר בוקר. אני רוצה להטמיע dbt, איך מתחילים? מה מה הדרך הנכונה, מה הצעדים הראשונים לעשות את זה מתקשר אליי? אז כמובן גם צריך לציין, הרי dbt זה אופן סורס, אבל הוא לא מכתיב לך איך לעבוד. אז, כפי שאמרנו, יש לי אוסף של תיקיות אוסף של קבצים שכל קובץ היא sql, שמייצגת, טבלה. איך לבנות את זה. הם לא מכתיבים לך. יש להם בהחלט קומיוניטי מאוד גדול עם בפריז שמאוד כדאי לקרוא על זה ולראות כי הם אומרים לך מה כדאי ואיך כדאי לבנות. יש גם בלוגים על זה. אני גם כתבתי כמה בלוגים בנושא, אבל בגדול אתה מתחיל באיזשהו פרויקט. אני מניח שהדייט הכפר בווירוס אחרת, גם זה צריך לדבר עליו. ואז אתה מתחיל בפרויקט הראשון אני רוצה לבנות. יש לי סילבר בונזו גולד. כל השכבות האלה גם בבתי אתה לא חייב מאוד ממליץ לעשות את זה. אוקיי, עכשיו, מעבר לצד הטכנולוגי, יש פה גם איזשהו צד תרבותי. זאת אומרת אמרת שאתה רוצה לייצר פלטפורמה של דאטה או ספסל. עכשיו צריך גם לגרום לאלה שלא היו רגילים לזה עד עכשיו לבוא והשתמש אחרת, איך עושים את הטרנספורמציה הזו? סליחה על האוברול של המילה? אז בהחלט בדיוק נתקלתי השבוע בחברה. אנשים באו ואמרו לי הייתי צריך לעשות לימון בורדינג לפרויקט dbt, והם אמרו לי מה זאת אומרת? כבר כתבתי בסניף לייק. מה, מה אתה מוכר לי בבתי? זה סתם עבודה קשה בשבילי. אני מקווה שהצלחתי לשכנע אותם, ברגע שהראיתי להם שזה מנוהל ויש ci cd, ושאלתי אותם איך אתם מנהלים וארגונים וקשרים ודיפלומט אני רוצה לעשות דיכוי לגרסה אחת לעשות רולדה. כל הניהול הזה אין לך בשער הכלים. אז שטה מציג את זה, אז זה נותן. אני חושבת אביב שלו ואנשים מבינים, יש פה כוח עצום. אני גם לא לוקח מהם כוח, אלא להפך, אני נותן להם יותר אחריות ויותר כוח. אבל. האם זה לא קצת כמו מפעם? האם זה לא מכריח את אנשי הפלטפורמה, את אנשי הדת לנהוג אחרת והייתה משתמשים שלא ידעת? זאת, אומרת המפתחים לנהוג אחרת. האם זה לא מכריח אותם לשנות דפוסי פעולה? בהחלט, הם צריכים לעבוד בצורה אחרת, אבל לדעתי בסוף זה מקל עליהם. זאת אומרת הצוות דאטה, פלטפורמה מנגיש להם כלים שיעזרו להם. אז אם לפני זה הייתי צריך לחשוב על סטיילינג שזה נושא שצריך לדבר עליו. הוא חסר בבתי, אבל אם אני נותן אותו כחלק מהפלטפורמה, אז הם רק מתעסקים בתוכן. הם לא מתעסקים בכל הכלים המסביב. זה מתיישב כמו כפפה להמון צרכים. שיש כאילו אחת הבעיות הגדולות זה שאנשי דת העובדים או רגילים לעבוד בגישה אופרטיבית ולא בגישה, נקרא לה הנדסית. שבה אתה מתייחס למה שאתה עושה כקוד והיא צריכה להיות אסט בל, ואתה רוצה אתה רוצה דיפלומת פייפליין של של קוד זה. אני לא יודע. חברה ציבורית, אתה אתה נדרש לדברים האלה. יש לך דיפלומט פייפליין מסודר הסוקס שלך הרבה יותר קל. זה הכל בקרות שהם. נדרשות עכשיו פתאום יש לך דאטה קטלוג, אז אתה אתה יודע מה קורה, איזה שינויים נעשו? איזה טרנספורמציות השתנו. כל הוילות הזאת היא מאוד מאוד חשובה. הייתי אפילו מוסיף על זה חלק מהעקרונות של דייט ממש זה דיאטה. איזה פרוייקט אתה הופך להיות הפרויקט אונר של הדיאטה שלך? אתה לא איזה מיקרו סוויס שכתבת את המיקרו סרוויס. ומה עושים עם הדיאטה שלך? אתה לא יודע, אתה אחראי. הרי אתה מכיר את הדיאטה שלך אז אתה אחראי לא רק לקרוא, אלא להביא את כל הדאטה הזה לפלטפורמה לעשות לו את כל המסך, והיא טרנספורמציות ולהנגיש אותו. ולהביא לי אותו כבר לעוס, וברמה של גולד שכל החברה עכשיו יכולה לצרוך את הדבר הזה. כן, פה זה באמת השינוי. שרן מדבר עליו. זה השינוי שבך. בתרבות האדס מפתחים אברומי. אני רק כותב את הקוד שלה. דאטה שלי בבה פרודקשן. ובמקרה הזה המקבילה, היא. המקרה שלי מייצר דאטה. אני גם אומר של מה קורה איתו אחר כך. איזה טרנספורמציות עושים לו איך הוא נילס. בסוף אל הדוחות, לא רק זה חלק. זה התפיסה שלי של דייט הפלטפורמה. אני מנגיש לך את כל הדברים. זאת אומרת אתה גם יודע מהפרסומת של הדיאטה שלך, מתי הוא צריך להתעדכן כל כמה זמן ע"פ הסוסים, כי אתה מכיר אז אתה לתוך המערכת, אתה תגדיר אותו, אני רוצה. של כל 6 שעות תעריצו אותי כל 6 שעות אתה תכניס את כל ההגדרות, לסגור, לסגור, אבל כחלק מהפלטפורמה לא תצטרך לכתוב. פה אנחנו נגזרת אוטומטית את הערפל בזכות dbt זאת אומרת, ברגע שזה מה פורמלי בימין וכל מיני דברים כאלה. עכשיו אני יכול לגזור משם ולעשות הרבה אוטומציה ולחסוך לך הרבה עבודה. אוקיי, מה? מה אתה יודע להגיד על הקהילה? זאת אומרת אם אני, אחד הדברים שמסקרנים, מישהו שנכנס טכנולוגיה חדשה זה את מי אפשר לשאול? אתה יודע כמה תשובות יש בסתיו הקרוב מי אפשר להתייעץ בישראל ואז, חוץ מחיים, מיד בסיפור. אז אני חייב לומר לו אני- משתמש. יש להם סלע קומיוניטי מאוד מאוד גדול, נכנסים לסלק ועונים. יחסית מהר, נתקלתי רק השבוע באיזשהו בעיה של תשתיות ב-1 מהפיצויים שלהם כתבתי להם והם יחסית מהר. אפשר גם לפתוח קישואים בגיטהאב. אני פתחתי שמא היה זה שמשהו שלא אהבתי ונייד דיון שלם לא קיבלו את דעתי בסוף, אבל היה דיון לא התעלמו ממני, וזה תוך ימים ספורים קיבלתי תשובה מהם. יש להם גם בדיסקורד הרבה דברים, אז הקהילה שם מאוד מאוד פעילה מזה. הם זה עדיין קהילה או שיש כבר חברה מאחורי כבר לא זוכר, מישהו קנה אותם בהרבה מאוד כסף ומקפיא, הוא בעקבות הרה ארגון. נעשו, יש שם הרבה כספים שזורמים. ואני כבר לא זוכר את שם החברה צריך לחפש ולראות. אוקיי, רק שזה לא מתחרים שלכם עכשיו נניח שלא בסדר. אז דיברנו על לא מעט יתרונות, אבל אם יש משהו תנגבי לי, זאת אומרת שאתה מגיע, נגיד החברה ואתה בא ואומר ממחר בבוקר יהיה לכם יותר. זאת אומרת אורית, למשל, הזכיר סוקס. אוקיי, אבל כשאתה בא לדבר על מפתחים אתה אומר למי מחר בבוקר יהיה לכם יותר קל לעשות. מה, מה, מה, מה, מה הם אותם סיילינג פוינט שאתה יכול לתאר להם? יהיה לך יותר קל לנהל את מה שקורה ולדעת ולתפעל אותו. זאת אומרת אם אתה מחפש איזשהו דייטה יהיה לך קטלוג שכבר השלים אותו עם המנהל הבכיר, יבוא אליך ויגיד אני רוצה שתביא לי דייט. אתה לא תוכל להגיד, שמתי אותו בווירוס, כאילו אני לא יודע מה קורה איתו. אני אוכל ואתה תוכל להגיד לי תשמע, הנה הכנתי אותו, נתתי אותו אליך לדיוור לצוות. הבעיה היא פתאום, יש הרבה יותר אינטגרציה בין צוותים, הם מדברים אחד עם השני. דרך העולם הזה, כי אני בעצם תיעדתי את כל הדברים שאני עושה. בואי ניקח איזה מקבילה מעולם. הווייב יכולתי לייצר api, נגיד, איזה שהוא הורס את ה api, והוא שוכב לו שם בחושך ואם תקרא לו נכון אז זה יעבוד רק שאף אחד לא יודע איך לקרוא לו הדבר הנכון לעשות זה לתעד אותו עם סוואגר. רואים איזשהו בדיוק רציתי להגיד זה מאוד מגביל קצת לשגר זאת אומרת לא רק זה גם בעולם פה. הרי שמתי לך טבלאות בדאטה בייס אז אתה תיגש לזה שאתה רוצה. אני אומר לו אני לא רוצה שתיגש. איפה שאתה רוצה אני אעשה אצלי פרייבט פרויקט ורק את הפליק. אני רוצה שתיגע, ואת כל זה אני יכול לעשות בבתי. יפה, אהבתי את הפריט. יש יותר מדי שדות בדאטה בייס, ותמיד זה מבלבל. לרובם יש מעט מאוד דומים, ותמיד זה שאתה מחפש זה, עם השם המבלבל ביותר, בהחלט בסדר. חסרונות איזה דברים צריכים להכיר בבתי שככה לפני שצוללים פנימה. א. חיסרון מרכזי הוא קודם כל צריך לקירוב. הוא לא סטרימינג, הוא לא תומך בכלל. בסטרימינג זה זה שהוא עולם שהוא צריך עוד להיכנס אליו. מבחינת הרמפה הייתי אומר שהחסרונות שלו זה גם הפלטפורמה של איך אתה מנגיש את זה לחברה. לי לקח קצת זמן בביג פנדה, מכרנו את זה על ידי קוד ספייס, חיברנו את זה בשביל לתת ממש חוויה מושלמת, כמעט לצרכן הסופי זה לא בא, בילט אין בדעתי. אתה צריך לעשות את זה. כל הישג לא אין לו אותו בדיוידי. הם מנסים לגשר את זה בבתי קלאוד. לדעתי כרגע עדיין לא מספיק טוב. אז יש עוד עבודה, אלא רק לקחת את dbt אאוט. אוף דה בוקס. יש שם הרבה עבודה מסביב. אוקיי? ואיך איך נראה העתיד של dbt? עם זאת אומרת למיטב ידיעת חלה זאת אומרת, אתה מכיר, רהוט מאבא שלהם, אתה? אז חלק מהם, אני רואה לאיפה הם הולכים והם עושים דברים מאוד יפים. זאת אומרת אם אני מסתכל מה באמת חסר והם קצת. אם אני מבין אותם הולכים לשם. עד היום היית חייב לכתוב רק sql מגירסא, 1, 3 הם הוסיפו יכולת לכתוב פייתון. ובעצם אתה מקבל ביד דייט הפריים ופנדל ואתה יכול לעשות כל מיני פעולות כאלה. כיוון שלדעתי, מה שמאוד חסר זה ml, זאת אומרת כל המשים לרנינג, איכשהו יצא החוצה מהעולם התוכנה. יצא לעצמו נישה שם בצד וחייבים להחזיר אותה ודיברתי לא שם מתחילים, יש ניצנים, יש פרויקטים שמרזים שזה הכיוון ולדעתי זה אני. מאוד מקווה שזה יחזיר אותם פנימה. את זה בהרבה פינות חמות אחרות, זאת אומרת, רואים את זה גם בדייט בריקס. התמיכה בממש אי פי איי של פנדה, אז צריך להגיד שזה התחלה יפה הסרטניים מגיע מהתחום הזה, זה התחלה נחמדה, אבל למעשה מה שחסר זה ישב של ה compute עצמו, של תמיכה בעסקי לאון או ספריות דומות, שבאמצעותם אתה יכול לא רק להכין את הדטה, אלא גם לייצר את את המודלים עצמם בצורה שלילית. אבל זה אני מניח, יהיה השלב הבא, אני רק אזכיר שביתי הוא ספרייה, ולכן הפרוסה זה הדבר. אז אחרי שכולם יוסיפו את התמיכה גם dvt אוכל. כן כן, רק שיש דברים לא טריוויאליים. להוסיף זאת אומרת, לבנות מודל בצורה מפוזרת. לפעמים זה די מורכב. זאת אומרת יש. יש כמה שנגיד פתרו בעולם השכלה, אם הם אלים שלהם אבל כמה בודדים ולא הכל פתור. ויש את אינסוף. קלאוד וכאלה אבל אבל זה לא זה לא לא בעיה פתורה באופן כללי. אז אמנם לא חקרתי את זה, אבל גם ביקורי וגם סנופלייק. הם יודעים להריץ מודלים. אז במסגרת הזאת יש פתרונות של dbt. זה אחד מהדברים שאני באמת רוצה להיכנס אליהם, וקצת ללמוד יותר ולראות האם הם נותנים מענה טוב. הייתי בטוחה קצת לשתף על נשאר שלך של הטמעה, של dbt בכמה מקומות שעשית זאת אומרת נגיד, כמה זמן זה לקח? עם מי עבדת, איזה אתגרים. מסוימים היו שם איזה אומץ. היו שם, כמה באו ולחצו לך את היד אחר כך. אני חייב לומר זה התאמת ציפיות, זה מאוד מאוד קריטי כי חושבים נו מה הסיפור? אתה מכניס לי dvt. כמה השקיעו עלים? חודשיים 3. סיימנו והם לא מבינים שבעצם מאחורי הקלעים היתה חייו פלטפורמה, אז התחלתי את המסע הזה. ביוט פה שמע להגיע לבשלות ממש טובה. לקח לנו קרוב לשנה עם 3 אנשים. ביג פנדה גם ציפו או 3 חודשים בוא תביא את זה כבר עובד עם 4 אנשים. זה לא באמת קורה. זה מסע כי זה לוקח זמן לחברה להבין שזה פלטפורמה שלמה שאתה צריך להנגיש וזה מאוד חסר. זה לא רק dbt בוא תדפוק לי כמה עסקיים וזהו כן. אז אתה אומר סדר גודל של מספר אנשים לתקופה של חצי שנה, חצי שנה או שנה, תלוי כמובן בגודל הדת, הגודל החברה וגודל כל מיני גדלים כנראה, אבל זה זה הסדר גודל. בסדר, ובסופו של דבר זאת אומרת היו כל מיני תובנות. זאת אומרת מבחינת החברה מבחינתך שלך נכון יותר לעשות את זה. איזה איזה זאת אומרת אתה יודע? פעם הבאה שתעשה את זה? האם תעשה את זה אחרת? אז כל פרויקט הוא נראה אחרת. זאת אומרת אני פעם חשבתי לפתוח, התחלתי אפילו איזשהו אופן סורס, ואז ראיתי, אבל כל חברה מנהלת את התהליכים אחרת שאני בא ומישהו אומר לי dvt אני לא רוצה להכניס dbt. אני רוצה להכניס דיאטה, פלטפורמה דייט, הפלטפורמה זה מקצה לקצה. זה אומר שאני בונה לך cli שהוא אינטראקטיבי, ואתה בקונסול שלך כותב קריאת מודל. ואני שואל. זה סטייג'ינג זה מרצ. איזה סוג מודל אתה רוצה? אני מצטערת בשבילך את הסתיו עם ההתחלתיים כדי שתוכל לעבוד באותם קליקים. אתה רוצה גם את האינסטנט? אנחנו עושים את זה ביג פנדה, קריאת פייפליין והוא מקנה פג תוקף סולבר בשבילך, ואוטומטית כבר משחיל אותו לתרדמת היא בשלב הבא. אוקיי, אז קראתי איזשהו פרויקט אופן סורס שעבדת עליו. מה מהו? אז התחלתי זה לדעתי צריך שם ספונסרים. חשבתי, זה יהיה משהו בקטנה. כבר הבהרתי כמה הרצאות על הדברים שעשיתי. גם בהיות פה ואחרים וכל הקהל אמר, מתי אתם משחררים אופן סורס גם להיות פה מאוד רצו לשחררו, פנסו עדיין לא עשו את זה כי אופן סורס זה מאוד קשה. אתה צריך להביא אותו לרמת בשלות וגמישות ודברים כאלה, אז זה לא טריוויאלי. אם וככל שאני עושה יותר פרויקטים. אני רואה שזה יותר מורכב, אבל לדעתי זה חייבים את זה. אבל מה המהות שלו בעצם? מה מה הוא עשה? המהות שלו זה אבסטרקציה כמו שדיווחתי עושה אבסטרקטיות על מודלים לעשות את אותו רמת אבסטרקציה לכל הדעות. הפלטפורמה, בעזרת כלים, שקודם כל עושים לך הכוונה. זה לא dbt שתעשה מה שאתה רוצה, אלא אני אומר לך יש לך סטייג'ינג, יש לך סוס, אם יש לך אמרתי מה זה הצורה שעובדים איך מנהלים דו מיניים בתוך החברה. איך אני מפריד? Dbt הוא קצת? רוב הטכנולוגיות החדשות חושבות בצורה מונוליטית ולוקח זמן להגיע לדיון. גם dvt אומרים בוא תתחיל במונית, אבל ברגע שאתה מגיע לדיון, זה מתחיל להיות מסובך יותר. אני רוצה להפריד את הפרויקטים. אני חייב כי אחרת הבלתי ים שלי הוא מטורף. הדיפלומט הוא מטורף. זה אתגרים שבתי לא פוטר ואת זה אני חייב דרך המסגרת שלי לתת לך את זה. מה שאתה בונה זה שינהל את הקונטיינר הזה+ כל מיני מפלצות אחרות בדיוק בחלום שלי. בסוף היינו בכמה קליקים במחשב עושה, תביא לי מאיזשהו דאטה בייס מכל מיני מקומות. תביא לי אותו לבל תעשה לו לעיסה פה ותפלות אותו ללוקר כבר ממודל בלוקר והביאה יכולים כבר להריץ אותו. עכבר קליק עם העכבר על המקלדת שיהיה ברור. בסדר, אז קודם כל זה זה זה מרתק. אני חייב להגיד שאני שומע הרבה זמן על הכלי, אבל מעולם לא השתמשתי בו. אז אולי סוף סוף יגיע רגע, אז זה היה סופר סופר מעניין, יש משהו שככה יש איזשהו שר הטבעות שתרצה? להציג לאנשים לפני שאנחנו מסיימים בגדול. לקרוא לאנשים להשתתף זאת אומרת להיכנס אם יש מיטאפים בנושא אז תבואו מאוד. אני שמח לשמוע את הדעות השונות את הדברים, כי זה מאוד מפרה שפתאום אתה רואה סצנה או אחר שלא חשבת עליו. אתה אומר וואו, זה, כאילו גם בטרנספורמציה של הדיאטה. איך מנהלים דייטה? האם אני לוקח רוט דיאטה, ושם אותו בדטה בייס עושה לו משהו אחר, כל הדבר הזה. אני הייתי שמח של איזשהו קהילה. אני זוכר עוד לפני 15 שנה היו עושים את זה, היו נפגשים פעם בחודש לדבר על מיקרוסופט sql, סרבר, החוסים. הייתי שמח שה נבנה איזשהו קהילה כזאת. היא פה בארץ. אז זה לא היה מתפאר מתהווה, אבל אז זה היה אנשים קבועים. פעם בחודש היית מגיע? כל אחד היה מעלה את הבעיה שלו. זה היה שיח פתוח ראונד טייבל כזה יותר מדי. כן, אז בוא תרגל ונשים לינק. אז אנחנו חושבים על זה, זה מצריך אופרציה ומצריך את ההנאה הראשונית, לדאוג שאנשים יבואו וזה לא פשוט כי אני לא צריך פיצות ובירות. לפחות זה הפוסט קורונה. גם הסעד שלו. טוב מצויין, תודה רבה. אז אם יהיה מה שאנחנו נשמח לשים את זה בשעות וזהו. תודה רבה, חיים שבאת ודיברנו על זה. תודה רבה, מאוד נהנתי מאוד.