להריץ LLM משלכם: מדריך מעשי לבחירה, פיין-טיונינג והרצה על חומרה שלכם

"אני רוצה מודל AI משלי" זו בקשה שחוזרת הרבה, והיא כמעט תמיד מסתירה שלוש שאלות שונות לגמרי: להריץ מודל קיים על חומרה שלכם, להתאים מודל קיים לתחום שלכם, או לאמן מודל מאפס.

השלישית כמעט אף פעם אינה התשובה הנכונה — אימון מודל בסיס מאפס עולה מיליוני דולרים ודורש צוות מחקר. שתי הראשונות בהחלט בהישג יד, ומדריך זה עוסק בהן. הוא בנוי לפי סדר ההחלטות האמיתי, כי הטעות היקרה ביותר כאן היא לקנות חומרה לפני שהחלטתם מה בכלל אתם פותרים.

מה שחשוב לדעת

• פיין-טיונינג אינו מוסיף עובדות למודל — לזה משתמשים ב-RAG. הוא משנה סגנון, פורמט ואוצר מילים
• נוסחת ה-VRAM: מספר פרמטרים במיליארדים כפול הבתים לפרמטר, ועוד 20%–40% ל-KV cache
• Q4 חוסך 72% זיכרון ושומר על כ-94.7% מהאיכות — אבל פוגע קשה במתמטיקה ובחשיבה
• Ollama מול vLLM: פער של פי 16–20 בתפוקה תחת עומס מרובה משתמשים
• נקודת האיזון מול API היא גבוהה בהרבה ממה שרוב הצוותים מעריכים
• הרישיון חשוב: חלק מהמודלים ה"פתוחים" מטילים תקרות הכנסה או חובת ייחוס

ההחלטה הראשונה: האם אתם בכלל צריכים את זה

זה השלב שהכי הרבה צוותים מדלגים עליו — וגם זה שחוסך הכי הרבה כסף.

הראיות כאן חד-משמעיות למדי. מחקר על שאלות רב-שלביות בשלושה מודלים בגודל 7B מצא ש-RAG יותר מהכפיל את הדיוק של פיין-טיונינג בשאלות שדרשו ידע שהמודל לא ראה באימון. מחקר מקביל בתחום הרפואי, על חמש משפחות מודלים, הראה את אותה תוצאה — והפער היה הגדול ביותר דווקא בשאלות עובדתיות עדכניות.

המסקנה המעשית: אם הבעיה שלכם היא שהמודל לא יודע משהו, פיין-טיונינג לא יפתור אותה. הוא פותר בעיות אחרות לגמרי.

הבעיה	הפתרון הנכון
המודל לא מכיר את המסמכים שלנו	RAG
המידע מתעדכן כל חודש	RAG
צריך פורמט פלט קבוע ונוקשה	פיין-טיונינג
צריך טון ושפה אחידים	פיין-טיונינג
אסור שהדאטה יצא מהארגון	הרצה עצמית
עלויות ה-API גבוהות מדי	בדקו את נקודת האיזון לפני שמחליטים

בפועל, השילוב הוא מה שעובד: פיין-טיונינג לטון ולפורמט, RAG לעובדות ולציטוטים.

בחירת המודל — והמלכודת שברישיון

נכון לספטמבר 2026 יש מבחר רחב של מודלים במשקולות פתוחות. אלה המרכזיים:

מודל	גודל	רישיון	הערה
DeepSeek V4 Pro	1.7T (49B פעילים)	MIT	מסחרי חופשי לחלוטין
GLM-5.2	753B (40B פעילים)	MIT	מסחרי חופשי לחלוטין
Kimi K3	2.8T (104B פעילים)	מותאם	תקרת הכנסה של 20 מיליון דולר
Llama 4 Scout	109B (17B פעילים)	קהילתי	עד 700 מיליון משתמשים חודשיים
Qwen3.8-Max	2.4T (95B פעילים)	מותאם	מגבלות לפי הכנסה ומשתמשים
Gemma 4	26B–31B	Apache 2.0	הורדה חופשית, בלי אישור
Phi-4	14B	MIT	קטן, חזק, בלי מגבלות

המונח "קוד פתוח" לא אחיד כאן. MIT ו-Apache 2.0 הם באמת חופשיים. הרישיונות המותאמים — של Kimi, Llama ו-Qwen — מטילים תנאים: תקרות הכנסה, ספי משתמשים, חובת ייחוס בשם המוצר. חברה ישראלית שגדלה מהר עלולה לחצות סף בלי לשים לב. כתבנו בהרחבה על הרישיון של Qwen, והוא דוגמה טובה למגמה.

סייג אחד שכדאי להכיר: לא כל מה שמוצג כמודל "פתוח" באמת פתוח. Muse Spark של Meta, למשל, נשאר קנייני — מה שכן שוחרר בקוד פתוח הוא Muse Glimmer, מודל קטן בהרבה תחת Apache 2.0.

כמה VRAM אתם באמת צריכים

הנוסחה פשוטה: מספר הפרמטרים במיליארדים, כפול מספר הבתים לפרמטר. ב-FP16 זה 2 בתים, ב-INT8 בית אחד, ב-4 ביט חצי בית.

גודל המודל	FP16	INT8	4 ביט
8B	14GB	7GB	3.5GB
27B	54GB	27GB	13.5GB
70B	140GB	70GB	35GB

אבל המספרים האלה הם למשקולות בלבד. ה-KV cache הוא מה שמפיל צוותים בייצור: מודל 70B בהקשר של 128 אלף טוקנים צורך כ-42GB נוספים רק למטמון. חישוב שנראה נוח על הנייר מתפוצץ ברגע שמגיעים אליו כמה משתמשים במקביל עם מסמכים ארוכים. הוסיפו 20%–40% מעל חישוב המשקולות, ובדקו תחת עומס אמיתי ולא בבדיקה של משתמש יחיד.

מה אפשר להריץ על מה

חומרה	מחיר משוער	מה זה מריץ	מהירות
RTX 4060 Ti 16GB	כ-400 דולר	8B ב-Q4	כ-89 טוקנים לשנייה
RTX 4090 24GB	כ-2,200 דולר (יד שנייה)	27B בנוחות, 70B בדוחק	כ-104 טוקנים לשנייה
RTX 5090 32GB	4,300 דולר ומעלה	32B בנוחות, 70B ב-Q4	כ-213 טוקנים לשנייה
Mac M4 Max 64GB	כ-3,500 דולר	30B MoE מצוין, 70B סביר	כ-130 טוקנים לשנייה ב-30B
מעבד בלבד	קיים אצלכם	3B–4B בלבד	כ-12 טוקנים לשנייה

הזיכרון המאוחד של Apple הוא יתרון אמיתי כאן: אין צוואר בקבוק של PCIe, ו-64GB של זיכרון מאוחד מספיקים כדי להריץ מודלים שבעולם ה-PC דורשים שני כרטיסים גרפיים. מנגד, במשימות שדורשות תפוקה גבוהה למשתמשים רבים, NVIDIA עדיין מובילה בפער.

קוונטיזציה: איפה חוסכים ואיפה משלמים

קוונטיזציה מקטינה את המודל על חשבון דיוק. הטבלה הזאת מסכמת את מה שחשוב:

רמה	שמירת איכות	למה זה מתאים
Q8	99.96%	כמעט חסר אובדן, כשיש זיכרון
Q5_K_M	98.6%	איזון טוב לקוד וחשיבה
Q4_K_M	94.7%	נקודת המתיקות לרוב השימושים
Q3	כ-90%	רק כשאין ברירה

הנקודה הקריטית שמדריכים רבים מפספסים: הפגיעה אינה אחידה בין משימות. מחקר מ-2026 שבחן את מנגנוני הכשל של קוונטיזציה מצא שב-4 ביט, סיכום, סיווג והשלמת קוד סובלים מירידה קלה בלבד — אבל מתמטיקה, יצירת קוד וחשיבה נפגעות קשה. בהערכות בסינית נמדדה ירידה של 15%–20%.

אם המוצר שלכם עושה חישובים או חשיבה רב-שלבית, אל תרדו מתחת ל-Q5, ובדקו את האיכות על המשימות שלכם ולא על בנצ'מרק כללי.

איך מריצים: הכלי הנכון למשימה

שני שמות מכסים את רוב המקרים, והבחירה ביניהם אינה עניין של טעם:

• Ollama — פקודה אחת, עובד על כל מערכת הפעלה, מצוין לפיתוח ולמשתמש יחיד. תחת עומס של עשרה משתמשים במקביל הוא מגיע לכ-41 טוקנים לשנייה.
• vLLM — הגדרה מורכבת יותר, אבל באותו תרחיש בדיוק הוא מגיע לכ-793 טוקנים לשנייה. פער של פי 16–20, בזכות ניהול זיכרון בשם PagedAttention וקיבוץ בקשות רציף.

הכלל פשוט: Ollama לפיתוח, vLLM לייצור. מי שמריץ Ollama בייצור עם משתמשים מרובים משלם על זה בחומרה מיותרת. שווה לדעת גם ש-TGI של Hugging Face נכנס למצב תחזוקה בלבד, וההמלצה הרשמית היא לעבור ל-vLLM או ל-SGLang.

פיין-טיונינג: מה זה עולה באמת

אם הגעתם לכאן והחלטתם שפיין-טיונינג אכן פותר את הבעיה שלכם, הבשורה הטובה: זה זול הרבה יותר ממה שרוב האנשים מניחים.

תרחיש	חומרה	זמן	עלות
QLoRA על 8B	RTX 4090	2–4 שעות	1–2 דולר
QLoRA על 34B	A100 80GB	6–10 שעות	8–14 דולר
QLoRA על 70B	H100	8–12 שעות	15–30 דולר

נקודת הפתיחה המומלצת ב-2026 היא QLoRA עם דירוג 16 ואלפא 16, עם DoRA מופעל. הכלי המהיר ביותר למשתמש יחיד הוא Unsloth, שמגיע לפי 2–5 מהמהירות של המימוש הסטנדרטי ומאפשר אימון של מודל 8B בפחות מ-10GB זיכרון.

אבל המספרים בטבלה מטעים, כי הם רק עלות ה-GPU. ההוצאה האמיתית היא הכנת הדאטה וההערכה. פרויקט בקנה מידה קטן, של אלף עד עשרת אלפים דוגמאות, עולה בסך הכול 1,200–2,400 דולר — מתוכם רק 100–500 דולר על מחשוב. כל השאר הוא עבודה אנושית.

ולגבי הכמות: 500 דוגמאות נקיות ומתוחזקות ידנית מנצחות באופן עקבי 5,000 דוגמאות שנגרדו אוטומטית. איכות מנצחת כמות בפער גדול.

הרצה עצמית מול API: המספרים האמיתיים

וכאן מגיעה ההפתעה הגדולה של המדריך הזה. נקודת האיזון גבוהה בהרבה ממה שנדמה:

• מול מודלי דגל כמו Claude Opus או GPT: כ-160–256 מיליון טוקנים בחודש
• מול ספקי API זולים למודלים פתוחים: 2.5 מיליארד טוקנים בחודש ומעלה

דווקא המספר השני מפתיע. אם אתם משווים את ההרצה העצמית מול API זול למודל פתוח, אתם צריכים נפח עצום כדי להצדיק אותה כלכלית. ועוד לפני כן — העלות התפעולית האמיתית של הרצה עצמית היא פי 1.3 עד 2 ממחיר ה-GPU הגולמי, כשמחשיבים תחזוקה, כוננות ותאימות גרסאות.

יש עדיין שלוש סיבות טובות מאוד להריץ בעצמכם: רגולציה ופרטיות שאוסרות על הוצאת דאטה, שליטה מלאה בגרסת המודל בלי שהספק ישנה אותה תחתיכם, ועצמאות מהחלטות רישוי של חברות זרות. בישראל, תיקון 13 לחוק הגנת הפרטיות דוחף בדיוק לכיוון הזה — בבריאות, בפיננסים ובביטחון — כתבנו על מגמת ה-AI הריבוני בהרחבה.

הדפוס שעובד לרוב הארגונים הוא היברידי: מודל מקומי לרוב הבקשות, והסלמה ל-API רק לאחוזים הבודדים הקשים באמת. ארגונים שמיישמים את זה מדווחים על חיסכון של 60%–80% בבקשות פשוטות.

מה מפיל צוותים בייצור

זה החלק שרוב המדריכים משמיטים, והוא החשוב ביותר.

אבטחה היא הסיכון הגדול ביותר. בין אוקטובר 2025 לינואר 2026 נרשמו יותר מ-91 אלף תקיפות על נקודות קצה חשופות של מודלים. חולשה ב-LMDeploy נוצלה בפועל תוך פחות מ-13 שעות מרגע הפרסום, וחולשה ב-Ollama אפשרה חילוץ זיכרון בשלוש קריאות API בלבד. הדפוס חוזר על עצמו: מישהו מרים שרת לבדיקה, פותח פורט, ושוכח אותו. אל תחשפו נקודת קצה של מודל לאינטרנט בלי אימות.

חישובי זיכרון שנעשו למשתמש יחיד. מודל 70B על שני כרטיסי A100 עם 80GB נראה מרווח — עד שמגיעים חמישים משתמשים במקביל עם הקשר של 4,000 טוקנים כל אחד, וה-KV cache מפיל את המערכת.

הפתעות קוונטיזציה. מודל שנבדק על סיכום ועבר יפה, ואז נכשל בייצור על משימות חישוב. בדקו על המשימה האמיתית.

מה שהספק נתן לכם בחינם ונעלם. כשעוברים להרצה עצמית מאבדים את שכבות הבטיחות של הספק — סינון תוכן, הגנה מפני הזרקת פרומפט, הגבלת קצב. את כל אלה צריך לבנות מחדש.

שאלות נפוצות

אפשר לאמן מודל מאפס? טכנית כן, מעשית לא. העלות היא מיליוני דולרים וצוות מחקר. כמעט תמיד עדיף להתחיל ממודל קיים.

מה הכי משתלם להתחיל איתו? מודל בגודל 8B ב-Q4 על כרטיס עם 16GB, דרך Ollama. זו הדרך הזולה ביותר להבין אם הכיוון הזה בכלל מתאים לכם.

האם מודלים פתוחים מדביקים את הפער? בקידוד ובחשיבה הפער הצטמצם מאוד — המובילים שבהם מגיעים לטווח של 5%–15% ממודלי הדגל הסגורים. שימו לב שרוב הבנצ'מרקים של מודלים פתוחים מפורסמים על ידי היצרן, ורק חלק קטן עבר אימות עצמאי.

לקנות כרטיס או לשכור בענן? בניצולת של פחות מ-20% תמיד עדיף לשכור. מעל 70% ניצולת רציפה, קנייה מחזירה את עצמה בתוך 14–20 חודשים. רוב הצוותים נמצאים בטווח של 40%–65%, ושם הענן עדיין זול יותר.

שורה תחתונה

הרצת מודל משלכם היא היום נגישה הרבה יותר משהייתה לפני שנה: כרטיס ב-400 דולר מריץ מודל 8B, פיין-טיונינג עולה דולרים בודדים, והמודלים הפתוחים המובילים קרובים מאוד למודלי הדגל בקידוד.

אבל הסדר חשוב. תחילה החליטו אם הבעיה שלכם היא ידע (ואז RAG), פורמט (ואז פיין-טיונינג) או פרטיות (ואז הרצה עצמית). רק אחר כך תבחרו מודל, ורק אחר כך חומרה. הטעות היקרה היא לקנות GPU ואז לחפש מה להריץ עליו.

ואם אתם עולים לייצור — התייחסו לזה כמו לכל תשתית אחרת. אימות, ניטור, בדיקות עומס וטיפול באבטחה. אלפי נקודות הקצה החשופות שנתקפו השנה השתייכו כמעט כולן למי שחשב שזה רק ניסוי.