அளவுரு-திறமையான ஃபைன்-ட்யூனிங் (PEFT)

வரையறை

அளவுரு-திறமையான நுண்-சரிப்படுத்தும் முறை (PEFT) என்பது முழு மாதிரிக்கும் பதிலாக ஒரு சிறிய அளவுரு துணைக்குழுவை மட்டும் புதுப்பிப்பதன் மூலம் பெரிய முன் பயிற்சி பெற்ற மாதிரிகளை புதிய பணிகளுக்கு ஏற்ப மாற்றுவதற்கான ஒரு நுட்பமாகும்.

நோக்கம்

வலுவான பணி செயல்திறனைப் பராமரிக்கும் அதே வேளையில் கணக்கீட்டு செலவு மற்றும் சேமிப்பகத் தேவைகளைக் குறைப்பதே இதன் நோக்கமாகும்.

முக்கியத்துவம்

• பாரிய வளங்கள் இல்லாத நிறுவனங்களுக்கு நேர்த்தியான சரிசெய்தலை சாத்தியமாக்குகிறது.
• முழு மாதிரி பயிற்சியுடன் ஒப்பிடும்போது கார்பன் தடயத்தைக் குறைக்கிறது.
• உற்பத்தியில் திறமையான பணி மாற்றத்தை அனுமதிக்கிறது.
• LoRA மற்றும் அடாப்டர்கள் போன்ற முறைகளுடன் தொடர்புடையது.

எப்படி இது செயல்படுகிறது

1. ஒரு பெரிய முன் பயிற்சி பெற்ற அடிப்படை மாதிரியைத் தேர்ந்தெடுக்கவும்.
2. அளவுரு துணைக்குழுக்களை அடையாளம் காணவும் (எ.கா., குறைந்த தர அடாப்டர்கள்).
3. இலக்கு பணித் தரவில் இந்த துணைக்குழுக்களை மட்டும் பயிற்றுவிக்கவும்.
4. மற்ற அளவுருக்களை உறைய வைக்கவும்.
5. குறைந்தபட்ச வள மேல்நிலையுடன் பயன்படுத்தவும்.

உதாரணங்கள் (உண்மையான உலகம்)

• லோரா (லோ-ரேங்க் அடாப்டேஷன்): எல்எல்எம்களை நன்றாகச் சரிசெய்வதில் பரவலாகப் பயன்படுத்தப்படுகிறது.
• கட்டிப்பிடிக்கும் முகம் PEFT நூலகம்: திறமையான ஃபைன்-ட்யூனிங் கருவித்தொகுப்பு.
• கூகிள் ஆராய்ச்சி: பன்மொழி NLP பணிகளுக்கான அடாப்டர்கள்.

குறிப்புகள் / மேலும் படித்தல்

• ஹு மற்றும் பலர். “LoRA: பெரிய மொழி மாதிரிகளின் குறைந்த-தர தழுவல்.” arXiv.
• ஹவுல்ஸ்பி மற்றும் பலர். “NLP-க்கான அளவுரு-திறமையான பரிமாற்ற கற்றல்.” ACL.
• கட்டிப்பிடிக்கும் முகம் PEFT ஆவணம்.