الخلاصة في نقاط
- النموذج لا يقرأ كلمات بل توكنات: أجزاء من الكلمات.
- في الإنجليزية يعادل التوكن نحو 4 أحرف أو ثلاثة أرباع الكلمة تقريبًا بحسب OpenAI.
- تُحسب بالتوكنات حدود نافذة السياق وأسعار الاستخدام عبر واجهات البرمجة.
التوكن (Token) هو الوحدة الأساسية التي يقسّم إليها النموذج اللغوي الكبير النص قبل معالجته. قد يكون التوكن كلمة كاملة مثل «إدارة»، أو جزءًا من كلمة مثل «ال» أو «ات»، أو علامة ترقيم. وتقدّر OpenAI أن التوكن الواحد في النص الإنجليزي يعادل نحو 4 أحرف، أي أن 100 توكن تقارب 75 كلمة.
لماذا يهمك التوكن؟
| الجانب | التأثير |
|---|---|
| التكلفة | واجهات البرمجة تُسعّر لكل مليون توكن، مع سعر مختلف للمدخلات والمخرجات |
| الحدود | طول ما يستطيع النموذج قراءته دفعة واحدة يُقاس بالتوكنات (نافذة السياق) |
| طول الإجابة | يمكن تحديد أقصى عدد من توكنات الإخراج |
| اللغة | يختلف عدد التوكنات للمعنى نفسه بين اللغات والنماذج؛ وقد تحتاج العربية إلى توكنات أكثر في بعض النماذج بسبب بنيتها الصرفية |
مثال
قد يقسم نموذج ما كلمة «والمستخدمين» إلى أجزاء مثل: «وال» + «مستخدم» + «ين». ولهذا قد يكون نص عربي من 500 كلمة أطول بالتوكنات من نظيره الإنجليزي في بعض النماذج، وأقصر في نماذج صُممت مقطّعاتها للعربية.
أسئلة شائعة
كم كلمة في ألف توكن؟
في الإنجليزية نحو 750 كلمة تقريبًا، وفي العربية يختلف العدد حسب النموذج وطريقة التقطيع.
هل يعني عدد توكنات أكبر إجابة أفضل؟
لا. التوكنات مقياس للطول والتكلفة لا للجودة.
كيف أعرف عدد توكنات نصي؟
توفر شركات النماذج أدوات لحساب التوكنات، مثل Tokenizer من OpenAI، كما تعرض واجهات البرمجة عدد التوكنات المستخدمة في كل طلب.
المراجع
- OpenAI Help Center. What are tokens and how to count them? help.openai.com.
- Google for Developers. Machine Learning Glossary: token. developers.google.com.