எல்எல்எம்களில் டோக்கனைசேஷன்

வரையறை

டோக்கனைசேஷன் என்பது உரையை சொற்கள், துணைச் சொற்கள் அல்லது எழுத்துக்கள் போன்ற சிறிய அலகுகளாக (டோக்கன்கள்) பிரிக்கும் செயல்முறையாகும், அவை மொழி மாதிரிகளுக்கு உள்ளீடுகளாக செயல்படுகின்றன.

நோக்கம்

எல்.எல்.எம்-களில் பயிற்சி மற்றும் அனுமானத்திற்காக உரையை நிர்வகிக்கக்கூடிய கூறுகளாக தரப்படுத்துவதே இதன் நோக்கமாகும்.

முக்கியத்துவம்

• NLP-யில் அடிப்படை முன் செயலாக்கப் படி.
• சொல்லகராதி அளவு மற்றும் செயல்திறனை பாதிக்கிறது.
• டோக்கனைசேஷன் தேர்வுகள் துல்லியத்தையும் செயல்திறனையும் பாதிக்கின்றன.
• உட்பொதித்தல் மற்றும் மாதிரி பயிற்சி தொடர்பானது.

எப்படி இது செயல்படுகிறது

1. டோக்கனைசேஷன் திட்டத்தை (சொல், துணைச்சொல், எழுத்து) வரையறுக்கவும்.
2. உள்ளீட்டு உரைக்கு டோக்கனைசரைப் பயன்படுத்தவும்.
3. எண் ஐடிகளுக்கான வரைபட டோக்கன்கள்.
4. செயலாக்கத்திற்கான மாதிரியில் டோக்கன்களை ஊட்டவும்.
5. வெளியீட்டு டோக்கன்களை மீண்டும் உரையாக மாற்றவும்.

உதாரணங்கள் (உண்மையான உலகம்)

• GPT மாதிரிகளில் பயன்படுத்தப்படும் பைட் ஜோடி குறியாக்கம் (BPE).
• BERT-இல் பயன்படுத்தப்படும் வேர்டுபீஸ்.
• பன்மொழி NLP-யில் பயன்படுத்தப்படும் வாக்கியத் துண்டு.

குறிப்புகள் / மேலும் படித்தல்

• சென்ரிச் மற்றும் பலர். “துணைச்சொல் அலகுகளுடன் அரிய சொற்களின் நரம்பியல் இயந்திர மொழிபெயர்ப்பு.” ACL.
• கூகிள் சென்டென்ஸ்பீஸ் ஆவணம்.
• ஜூராஃப்ஸ்கி & மார்ட்டின். பேச்சு மற்றும் மொழி செயலாக்கம்.