מודל AI מתקדם שרץ אצלכם בבית בחינם – אבל האם המחשב שלכם מסוגל להפעיל אותו?

צוות Qwen של עליבאבא שחרר את Qwen3.8-27B, מודל בינה מלאכותית פתוח שניתן להוריד ולהפעיל באופן מקומי – בלי מפתח API, בלי תשלום לפי מספר טוקנים ובלי להעביר את המידע לענן.
המשקולות פורסמו ב־Hugging Face וב־ModelScope תחת רישיון Apache 2.0, המתיר גם שימוש מסחרי בכפוף לתנאי הרישיון. מדובר במודל צפוף של כ־27 מיליארד פרמטרים, הכולל מקודד ראייה ותומך בטקסט, בתמונות ובווידאו.
למודל חלון הקשר טבעי של 262,144 טוקנים, שאותו ניתן להרחיב עד מיליון טוקנים באמצעות YaRN. הוא מסוגל לעבוד במצב חשיבה, לעבור למענה ישיר ולבצע משימות מורכבות הכוללות קוד, שימוש בכלים ותפעול סביבות מחשב.

קפיצה משמעותית בביצועים

המספרים שפרסם צוות Qwen מצביעים על שיפור ניכר לעומת Qwen3.6-27B, אף ששני המודלים נמצאים באותה קטגוריית גודל.
ב־SWE-bench Pro, שבוחן פתרון בעיות ותיקון תקלות במאגרי קוד, עלה הציון מ־53.5 ל־61.7. ב־Terminal-Bench 2.1, הבוחן השלמת משימות באמצעות הטרמינל, נרשמה עלייה מ־63.4 ל־73.0.
הקפיצה הגדולה ביותר נרשמה ב־OSWorld-Verified, מבחן המדמה הפעלה ממשית של מחשב, לרבות עבודה עם חלונות, תפריטים ויישומים. שם עלה הציון מ־63.9 ל־84.3. לפי כרטיס המודל הרשמי, השיפור הושג בלי להגדיל משמעותית את מספר הפרמטרים.
עם זאת, חשוב לסייג את ההתלהבות: אלה תוצאות שפורסמו בידי צוות Qwen עצמו, וחלק מהמבחנים נערכו באמצעות סביבת בדיקה והגדרות שבחרה החברה. בשלב מוקדם זה עדיין אין מספיק בדיקות עצמאיות שיאשרו כי אותם ביצועים מתקבלים גם בהרצה ביתית ובתרחישים יום־יומיים.

האם הוא באמת רץ על כרטיס מסך אחד?

כן, אבל התשובה תלויה בגרסה שמורידים ובאורך השיחה.
חבילת Q4_K_M הזמינה כיום ב־Ollama שוקלת כ־18 ג׳יגה־בייט, כולל מודל מקוונטט ומקודד הראייה. המשמעות היא שניתן להפעיל אותה על מחשב המצויד בכרטיס מסך עם 24GB זיכרון, כמו RTX 4090, אך רק עם חלון הקשר מוגבל ובכפוף לזיכרון שדורשת תוכנת ההרצה.
RTX 5090 כולל 32GB זיכרון, ולכן מעניק מרווח גדול יותר למשקולות, לזיכרון ההקשר ולפעולות נוספות. גם מחשבי Mac עם לפחות 32GB זיכרון מאוחד עשויים להפעיל גרסת 4 ביט, אך הביצועים והיקף ההקשר יהיו תלויים בדגם, במערכת ההפעלה ובתוכנת ההרצה.
גרסת BF16 המלאה דורשת כ־56GB רק עבור משקולות המודל, לפני זיכרון ההקשר ותקורת התוכנה. זו כבר אינה הרצה טיפוסית על מחשב ביתי רגיל.

המלכודת נמצאת בזיכרון ההקשר

גודל קובץ המודל הוא רק חלק מהסיפור. ככל שהשיחה, המסמך או מאגר הקוד ארוכים יותר, נדרש זיכרון נוסף כדי לשמור את ההקשר.
לפי מבנה המודל שפורסם, זיכרון ה־KV בשכבות הקשב המלאות עשוי להגיע לכ־64 קילובייט לכל טוקן ב־BF16. חלון מלא של 262 אלף טוקנים דורש לכן כ־16GB נוספים – עוד לפני תקורת מערכת ההרצה ורכיבים אחרים.
בפועל, כרטיס עם 24GB יכול להפעיל את גרסת 4 הביט, אך אינו יכול להחזיק במקביל גם את המשקולות וגם את מלוא חלון ההקשר הטבעי בזיכרון הכרטיס. הארכה למיליון טוקנים באמצעות YaRN עשויה לדרוש יותר מ־60GB עבור זיכרון ההקשר לבדו.
לכן עדיפה בדרך כלל גרסה מקוונטטת שנשאר לה מרווח זיכרון, על פני גרסה מדויקת יותר שמגיעה לקצה היכולת וקורסת באמצע משימה.

כך מפעילים את המודל

הדרך הפשוטה ביותר היא להתקין את Ollama ולהריץ:

ollama run qwen3.8:27b

הפקודה מורידה את המודל ומפעילה אותו. הפקודה ollama pull qwen3.8:27b מורידה את הקבצים בלבד, בלי לפתוח שיחה עם המודל.

ניתן להפעיל גרסאות GGUF גם באמצעות llama.cpp, או לבחור קוונטיזציה מתאימה דרך LM Studio. חשוב לבדוק מי יצר את ההמרה: קובצי GGUF וגרסאות MLX רבות מופצים בידי גורמים בקהילה ולא בידי צוות Qwen עצמו.

חינם - אבל לא ללא עלות

המודל עצמו ניתן להורדה ללא תשלום ואין חיוב עבור כל בקשה. מי שכבר מחזיק במחשב חזק מקבל למעשה עוזר AI מקומי שיכול לעבוד גם ללא חיבור קבוע לענן.ֿ
אבל החומרה, צריכת החשמל והחום אינם בחינם. הפעלה ממושכת מעמיסה על כרטיס המסך, צורכת חשמל ועלולה למנוע שימוש בו למשחקים או לעבודות גרפיות במקביל.
גם פרטיות מלאה תלויה באופן השימוש: השיחה נשארת במחשב כאשר המודל פועל מקומית, אך חיבור לכלים, מנועי חיפוש או שירותים חיצוניים עשוי להעביר אליהם מידע.
Qwen3.8-27B אינו הופך מחשב ביתי לחוות שרתים, אך הוא מצמצם פעם נוספת את הפער בין מודלים מקומיים לבין שירותי הבינה המלאכותית בענן. עבור מי שכבר מחזיק בחומרה מתאימה ומוכן להסתפק בחלון הקשר מעשי יותר, מדובר באחד המודלים המקומיים המעניינים שפורסמו השנה.