تۆکن چییە؟ و چۆن ژیریی دەستکرد لە کوردى تێدەگات؟
کاتێک لەگەڵ مۆدێلەکانی ژیریی دەستکرددا وەک ChatGPT یان هەر مۆدێلێکی تربە کوردی یاخود ئینگلیزی دەست بە گفتوگۆ دەکەین، پرۆسەکە زۆر ئاسایی و سادە دەبینین. بەڵام ئایا تا ئێستا بیرت لەوە کردۆتەوە کە ئەم سیستمە چۆن لە نووسینەکانمان تێدەگات و وەڵاممان دەداتەوە؟
ڕاستییەکەی، کۆمپیوتەر و ژیریی دەستکرد بە شێوەیەکی ڕاستەوخۆ لە زمانی مرۆڤ تێناگەن؛ جیهانی ئەوان تەنها لە ژمارەکان پێکهاتووە. بۆیە کاتێک ئێمە شتێک دەنووسین، سیستمەکە دەقەکە دەگۆڕێت بۆ ژمارە، پرۆسێسی دەکات بۆ ئەوەی لە ماناکەی تێبگات، و دواتر بە هەمان شێوە ژمارەکان دەکاتەوە بە دەق و وەڵامەکەمان دەداتەوە.
ئەم پرۆسەیە لە ڕێگەی یەکەیەکی بنەڕەتییەوە دەکرێت کە پێی دەوترێت تۆکن(Token) . تۆکن داتاکان دەگۆڕێت بۆ ژمارە و بەپێی درێژی و پێکهاتەی دەقەکە، دەکرێت یەکێک لەم شێوانە بێت:
- وشەیەکی تەواو: بۆ نموونە: (کتێب)
- بەشێک لە وشە (بڕگە: (بۆ نموونە: وشەی (خوێندەوار) دەکرێتە دوو تۆکن: خوێند و ەوار
- یەک پیت یان هێما: بۆ نموونە: پیتی "ب" یان نیشانەکانی وەک "،" و "؟"
لە زمانی ئینگلیزیدا، بە شێوەیەکی گشتی هەر تۆکنێک یەکسانە بە ٤ پیت (یاخود سێ لەسەر چواری وشەیەک). بەڵام لەبەر ئەوەی زۆربەی سەرچاوە و بنەماکانی گەشەپێدانی ئەم تەکنەلۆژیایە لەسەر زمانی ئینگلیزین، زمانەکانی تر —لەوانەش زمانی کوردی کە شێوازی نووسینی جیاوازە— ڕووبەڕووی کێشە دەبنەوە. ئەم جیاوازییە وا دەکات مۆدێلەکە ناچار بێت وشە کوردییەکان بۆ بڕگەی زۆر بچووکتر دابتاشێت، بە جۆرێک کە زۆرجار هەر وشەیەکی کوردی زیاتر لە ٢ تۆکن لەسەر سیستمەکە هەژمار دەکات.
