Meta - מודלים פתוחים ו-LLaMA 4

ההימור של Meta על קוד פתוח

בעולם שבו OpenAI, Anthropic ו-Google שומרות את המודלים החזקים ביותר שלהן סגורים, Meta הלכה בכיוון ההפוך: היא משחררת את מודלי Llama שלה כ-open weights, כך שכל מפתח יכול להוריד, להריץ ולכוונן אותם. זו החלטה שמעוררת מחלוקת — מבקרים מזהירים מפני שימוש לרעה — אבל מבחינה עסקית יש לה היגיון קר: כשהמתחרים מוכרים גישה למודל, Meta בונה אקוסיסטם, ובאקוסיסטם רחב היא מרוויחה גם בלי לגבות על כל שיחה.

התוצאה: Llama הפך לאחד המודלים הפתוחים הנפוצים בעולם, עם מאות מיליוני הורדות, ורשת עצומה של כלים וספריות שנבנתה סביבו. זה יתרון שאף מודל סגור לא יכול לשחזר.

Llama 4: מה באמת השתנה

באפריל 2025 השיקה Meta את Llama 4, שמסמן קפיצת מדרגה ארכיטקטונית. ראשית, הוא מולטימודאלי מטבעו — מעבד טקסט ותמונה יחד. שנית, הוא בנוי כ-Mixture of Experts: רק חלק קטן מהפרמטרים פעיל בכל שאילתה, מה שמוריד את עלות ההרצה בלי לוותר על קנה המידה.

המשפחה מתחלקת לשלוש שכבות: Scout, עם כ-17 מיליארד פרמטרים פעילים וחלון הקשר של 10 מיליון טוקנים — אחד הארוכים בשוק, שמאפשר למשל להכניס מאגר מסמכים שלם לפרומפט אחד. Maverick, עם כ-400 מיליארד פרמטרים בסך הכול ו-128 מומחים, מכוון לביצועים תחרותיים במשימות מורכבות. ו-Behemoth, מודל ענק של כשני טריליון פרמטרים, ששימש כמורה לאימון האחרים ולא שוחרר לציבור.

חלון הקשר של 10 מיליון טוקנים: למה זה משנה

חלון הקשר של Scout — 10 מיליון טוקנים — הוא אולי התכונה החשובה ביותר של הדור. ברוב המערכות, הזיכרון קצר והפרומפט חייב להכיל רק את המינימום. עם חלון כזה, אפשר להכניס בסיס ידע ארגוני שלם, היסטוריית שיחה ארוכה או קוד של פרויקט גדול, ולתת למודל לעבוד עם ההקשר המלא. זה משנה את ארכיטקטורת היישומים: פחות צורך ב-RAG מתוחכם ובחיתוך מסמכים, כי הכול נכנס.

מצד שני, חלון ארוך עולה כסף ורוחב פס — וככל שהפרומפט ארוך יותר, כך המודל צריך לסנן יותר רעש. היכולת להחזיק הרבה הקשר אינה תחליף ליכולת להתמקד במה שחשוב.

Hyperion: התשתית שמאחורי הקוד הפתוח

אימון מודלים בסדר גודל של Llama דורש תשתית ענק. Meta בונה את Hyperion, מרכז נתונים ענק בשיתוף Blue Owl בהשקעה של כ-27 מיליארד דולר, בנוסף למשפחת שבבי ההסקה MTIA שהיא מפתחת. המסר: "פתוח" לא אומר "זול לבנייה" — ההשקעה בתשתית היא מה שמאפשר לשחרר את המשקולות בלי תשלום.

Meta AI בתוך הפלטפורמות

הצד הצרכני הוא מטא AI, העוזר המוטמע ב-Facebook, Instagram ו-WhatsApp — פלטפורמות עם מיליארדי משתמשים. זה נותן ל-Meta את מה שחסר לרוב מעבדות ה-AI: הפצה מיידית. אותו מודל שמשרת שיחה בקבוצת WhatsApp יכול גם לייצר תמונות, לסכם הודעה ארוכה או לענות על שאלה — בלי שהמשתמש צריך לפתוח אפליקציה נפרדת.

המודל העסקי לא תלוי במכירת המודל, אלא בהפיכת המוצרים הקיימים לדביקים יותר — ואולי, בהמשך, במודעות בתוך חוויית העוזר.

הדיון על בטיחות הקוד הפתוח

ההחלטה של Meta לשחרר משקולות פתוחות עוררה ויכוח שנמשך עד היום: מצד אחד, שקיפות מאפשרת מחקר, ביקורת וחדשנות — אוניברסיטאות וסטארטאפים יכולים לכוונן מודל חזק בלי חוזה עם מעבדה גדולה. מצד שני, משקולות פתוחות ניתנות לשימוש לרעה בלי יכולת למשוך אותן בחזרה, והחשש הוא שמודלים חזקים יגיעו לידיים שלא היו עוברות את מסנני הגישה של ספק מסחרי.

זו לא שאלה תיאורטית. היא מעצבת רגולציה: האיזון בין קידום חדשנות פתוחה לבין הגבלת סיכון הוא אחד הקווים שמפרידים היום בין גישות הממשל בארה"ב ובאירופה, והוא ישפיע על מה שמותר לשחרר בעתיד. למי שבונה על מודלים פתוחים, זה סיכון שיש לתמחר: החופש של היום אינו מובטח לנצח.

Llama בעולם המעשי: הרצה מקומית וישראל

הסיבה שמפתחים אוהבים את Llama היא מעשית: אפשר להריץ גרסאות מכווצות שלו על חומרה מקומית, בלי לשלוח נתונים לענן. לארגון שמטפל במידע רגיש — בריאות, ביטחון, מידע פיננסי — זו דרך לשמור על פרטיות ועל שליטה, במחיר של ביצועים נמוכים ממודל הדגל הסגור. בעזרת כלי ההרצה הקהילתיים, גם צוות קטן יכול להעמיד מודל מקומי תוך שעות.

לישראל יש כאן עניין מיוחד: ריבונות נתונים היא שיקול מרכזי אצל לקוחות ביטחוניים וממשלתיים, ומודלים פתוחים שמאפשרים הרצה מלאה באתר הם לעתים הדרך היחידה לשלב AI במערכות שמידע לא יוצא מהן. זה מקרה שבו "פתוח" אינו אידיאולוגיה אלא דרישה הנדסית.

Ray-Ban ומעבר למסך

אחת ההימורים הפחות מתוקשרים של Meta הוא החומרה הלבישה: משקפי Ray-Ban Meta עם עוזר קולי מובנה, מצלמה ויכולת לתרגם, לזהות חפצים ולענות שאלות בלי לשלוף טלפון. זה ניסוי במה ש-Meta מכנה "הפלטפורמה שאחרי הטלפון" — ממשק שבו ה-AI יושב באוזן ובעין, לא במסך.

הקשר ל-Llama ישיר: עוזר שפועל על חומרה לבישה חייב להיות מהיר וזול להרצה, ולכן מודלים יעילים שרצים קרוב למשתמש הם קריטיים. אם ההימור יצליח, Meta תחזיק גם את המודל וגם את המכשיר — שליטה כפולה שתזכיר את המודל של אפל. גם אם יצליח חלקית, זה כיוון שממחיש לאן Meta חושבת שהשוק הולך.

מה זה אומר למי שבונה

הדואליות של Meta — מודלים פתוחים מצד אחד, מוצרים סגורים מצד שני — מלמדת שערך אמיתי נוצר לא במודל אלא סביבו. למפתחים, Llama פתח דלת לריצה מקומית, לפרטיות ולעלויות נמוכות, במיוחד עם כלי ההרצה הקהילתיים. הפשרה היא שביצועי השיא עדיין נמצאים אצל המודלים הסגורים — אבל הפער מצטמצם, והשליטה במשקולות שווה לארגונים רבים יותר מהפרש של נקודה בבנצ'מרק.