פרסום תחזיות טכנולוגיות ברבים הוא הזדמנות מצוינת להוכיח עד כמה אתה עלול לטעות (רק תשאלו את Steve Ballmer).
ובכל זאת, אנסה את מזלי ובסוף הפוסט אסביר גם למה.
אז לאן יתקדמו מודלי השפה הגדולים (LLM's) כמו ChatGPT וחבריו?
אני מזהה שתי תמורות טכנולוגיות שיחדיו צפויות לשנות משמעותית את החוויה של כולנו בעבודה מול GenAI.
1. חלונות הקונטקסט (context windows) של המודלים גדלים באופן משמעותי. ל- GPT-3 היה חלון קונטקסט, כלומר זיכרון, של כ-1,536~ מילים, ואילו כיום יש לו כ- 24,000~ (בעוד של-Claude יש כ-150,000~ ול-Gemini 1.5 של Google יש גודל בלתי נתפס של כ-750,000~ מילים).
2. עלות תפעול המודלים הגדולים הופכת להיות זולה יותר בזכות אופטימיזציות. את זה מרגישים בעיקר אלו שעובדים עם ה- API, אך זה משפיע בעיקר על חברות ה- AI עצמן. GPT-4 Turbo היה זול משמעותית מ-GPT-4, ו-GPT-4o החדש זול (ומהיר) אף יותר עד כדי כך שהם פתחו אותו חינם לקהל הרחב.
ייתכן שההתקדמויות הטכנולוגיות הללו נשמעות לכם לא רלוונטיות באופן אישי, אך הן תהוונה את הבסיס למהפכה!
עד כה, כדי לקבל תשובות שימושיות ממודל שפה, נדרש לעסוק מעט ב"הנדסת פרומפטים" (prompt engineering) כדי לספק למודל את כל הקונטקסט הנדרש ולעודד אותו להפעיל את החלקים הרלוונטיים ביותר במאגר הידע העצום שלו. הדרישה הזו לשינוי התנהגות כה דרסטי מונעת ממרבית האנשים לאמץ את השימוש במודלי שפה בפעילות היומיומית שלהם.
אולם כעת, עם חלונות הקונטקסט גדולים ועלות הפעלה נמוכה, ענקיות הטכנולוגיה יכולות להטמיע את מודלי השפה בפלטפורמות עצמן (כלומר, במחשב, בסמארטפון ובדפדפן). לא בצורה שטחית של חלון טקסט מנותק מכל ידע מעבר למה שהוזן לו, אלא כסוכן שמודע לכל מה שאתם עושים עד הרגע שתפנו אליו, כך שהשיחה איתו תוכל להתחיל בצורה אינטואיטיבית וללא הסברים מיותרים, ממש כמו עם קולגה שעוקב אחר כל מה שעשיתם עד כה (קצת מקריפ) או כמו שטוני סטארק משוחח עם ג'רביס. אותם "פרומפטים נהיבים" שעד כה הובילו לתשובות חסרות ערך, יהיו מספיקים כדי לקבל תשובות מדויקות ורלוונטיות, מפני שהם מחוזקים בכל הקוטנקטס הנדרש על ידי מעקב אחר כל מה שעשיתם עד כה (לאורך זמן רב).
עכשיו כששימוש אינטואיטיבי נראה בהישג יד, המירוץ האמיתי בין ענקיות הטכנולוגיה לעוזר/ת האישי/ת של כל אחד מאיתנו יצא לדרך.
פתחתי את הפוסט בהבטחה שאסביר את הרציונל מאחורי פרסום תחזיות טכנולוגיות שעלולות להיות שגויות ומביכות. הסיבה הפשוטה היא שבעוד שאני משתף ברעיונות הללו עם הקרובים אליי כבר זמן רב, לאחרונה אני רואה אותם רוקמים עור וגידים עם פיצ'ר ה- recall החדש של Copilot מבית Microsoft, שכרגע מכוון ככלי עזר למשתמשים, אך לדעתי היעד האמיתי שלו הוא לספק קונטקסט למודל עצמו, או בדמו המרשימים של OpenAI, שמטשטשים את ההבדל בין ההווה שלנו לתסריטי מדע בדיוני עם עוזרות קוליות בעלות קול סקסי.
בקיצור, אני רוצה לכתוב את זה עכשיו, כדי שיהיה לי את הזכות והעונג לומר לכם בעתיד הקרוב: אמרתי לכם!