كلما ذُكر سعر الذكاء الاصطناعي أو ذاكرته ظهرت كلمة «التوكنات». لا، ليست قطع ألعاب الملاهي. وإن كانت الفكرة قريبة: تدفع على كل جولة.
التوكنات في جملة واحدة
لا يقرأ نموذج اللغة كلمات كاملة، بل يقطّع النص إلى أجزاء تسمى توكنات. قد يكون التوكن كلمة قصيرة، أو جزءاً من كلمة طويلة، أو فاصلة مغرورة.
لماذا تُحتسب التوكنات (حرفياً)
- السعر: معظم خدمات الذكاء الاصطناعي تفوتر حسب عدد التوكنات المرسلة والمستلمة. للثرثرة ثمن.
- الذاكرة: لكل نموذج حد من التوكنات يعالجه دفعة واحدة، يسمى «نافذة السياق». بعده ينسى البداية، مثلنا في نهاية اجتماع من ثلاث ساعات.
- السرعة: كلما كثرت التوكنات المطلوب كتابتها تأخر الجواب. الرواية تأخذ وقتاً أطول من رسالة قصيرة.
التوكنات في شركة صغيرة: عقد من 80 صفحة
تريد أن يجيب الذكاء الاصطناعي عن أسئلة حول عقودك. إرسال الصفحات الثمانين مع كل سؤال يشبه قراءة القاموس كاملاً للتحقق من إملاء كلمة. الأفضل أن تعطيه المقاطع المفيدة فقط: وهذا مبدأ RAG، أي البحث في مستنداتك.
عادة مفيدة: قبل أي مشروع، خذ عشرة مستندات حقيقية، واحسب التوكنات التي تنتجها بأدوات المزوّد، ثم اضربها في حجمك الشهري. ساعة عمل واحدة تجنّبك اكتشاف التكلفة بعد الإطلاق. ونصيحة إضافية: قد تنتج النصوص العربية عدداً مختلفاً من التوكنات مقارنة بنص إنجليزي بالمعنى نفسه، فلا تنسخ تقديرات غيرك دون اختبار.
الحدود (هنا نتوقف عن المزاح)
يختلف عدد التوكنات لكل كلمة حسب اللغة والنموذج: قدّر التكلفة على عيّنة حقيقية من نصوصك، لا بالتخمين.
في أوكتوبوت نقيس هذه التكلفة منذ النموذج الأولي لتفادي المفاجآت. لتقدير مشروعك دون عدّ التوكنات بيدك، جرّب محاكي عروض الأسعار. ولاختيار الذكاء المناسب، اقرأ التعلّم الآلي أم التوليدي.
