טוקן (Token)
Token בעברית — תרגום, פירוש ומשמעות:
יחידת הטקסט הבסיסית שמודל שפה קורא ומייצר — פיסת מילה, מילה שלמה או סימן, ולפיה גם נמדדת עלות השימוש.
טוקן (Token) הוא יחידת הטקסט הבסיסית שמודל בינה מלאכותית עובד איתה. בניגוד למה שנדמה, המודל לא קורא מילים שלמות אלא מפרק כל טקסט לחתיכות קטנות — לפעמים מילה שלמה, לפעמים חצי מילה, לפעמים סימן פיסוק בודד. בעברית, שבה יש הרבה תחיליות ונטיות, מילה אחת מתפרקת פעמים רבות לכמה טוקנים. כלל אצבע גס: בטקסט אנגלי טוקן שקול לכ-4 תווים, ובעברית קצת פחות.
למה בעל עסק צריך בכלל לשמוע על זה? כי הטוקן הוא הבסיס לשני דברים מעשיים: הוא קובע כמה טקסט מודל שפה יכול לעכל בבת אחת, והוא היחידה שלפיה מתמחרים שימוש ב-AI. כשאתה שומע שלמודל יש “חלון הקשר של 200 אלף טוקנים”, המשמעות היא כמה טקסט הוא זוכר בשיחה אחת. וכשאתה משלם על שירות שמבוסס על מודל, אתה משלם לפי כמות הטוקנים שנכנסו ויצאו — לא לפי מספר השאלות.
למה זה חשוב בעבודה עם AI
שני מספרים חשובים בכל מודל: כמה טוקנים הוא מקבל בקלט וכמה הוא מייצר בפלט. אם הפרומפט שלך ארוך ומכיל מסמך שלם, אתה “מוציא” הרבה טוקני קלט עוד לפני שקיבלת מילה בתשובה. וכשאתה מבקש תשובה ארוכה, גם הפלט נספר. עסק שבונה אוטומציה מבוססת AI — למשל מענה אוטומטי לפניות — חייב להבין את זה, כי כאן נקבעת העלות התפעולית האמיתית.
דוגמה מהשטח
נניח שאתה מזין למודל טקסט של עמוד שירות שלם ומבקש לנסח ממנו חמש כותרות. הטקסט המקורי הוא הקלט, חמש הכותרות הן הפלט, וסכום שניהם הוא מה שנמדד. אם תזין רק את הפסקה הרלוונטית במקום את העמוד כולו, תקבל בדיוק אותה תוצאה בשבריר מהטוקנים. זו הסיבה שאני מקפיד לתמצת קלט: פרומפט ממוקד לא רק זול יותר, הוא גם מדויק יותר ומצמצם הזיות.
שאלות נפוצות
טוקן זה בדיוק מילה? לא. מילים קצרות ושכיחות הן לרוב טוקן בודד, אבל מילים ארוכות או נדירות מתפצלות לכמה. בעברית, בגלל התחיליות (ב, ה, ל, מ, ש) והסיומות, המילה הממוצעת שוקלת יותר טוקנים מאשר באנגלית — ולכן טקסט עברי “יקר” מעט יותר לעיבוד.
איך זה משפיע על העלות שלי? כמעט כל שירות מבוסס AI מתמחר לפי טוקנים. ככל שהקלט והפלט קצרים וממוקדים, כך העלות לכל פעולה נמוכה יותר. בעסק שמריץ אלפי פעולות בחודש, ההבדל הזה מצטבר לסכום ממשי.
מה הקשר בין טוקנים לחלון הקשר? חלון ההקשר הוא כמות הטוקנים המרבית שהמודל מחזיק בזיכרון בשיחה אחת. כשחורגים ממנו, המודל “שוכח” את ההתחלה. בעבודה על מסמכים ארוכים זה בדיוק הגבול שצריך להכיר.
להעמקה על העולם הזה, ראה המדריך המלא ל-GEO.