முன் பயிற்சி

வரையறை

முன் பயிற்சி என்பது குறிப்பிட்ட பணிகளில் நன்றாகச் சரிசெய்வதற்கு முன், பெரிய பொது-நோக்க தரவுத்தொகுப்புகளில் இயந்திர கற்றல் மாதிரியின் ஆரம்பப் பயிற்சியாகும்.

நோக்கம்

பல பணிகளுக்கு மாற்றும் பரந்த பிரதிநிதித்துவங்களுடன் மாதிரிகளை வழங்குவதே இதன் நோக்கமாகும், இது தரவு மற்றும் கீழ்நிலை தழுவலுக்கான கணக்கீட்டுத் தேவைகளைக் குறைக்கிறது.

முக்கியத்துவம்

• நவீன எல்.எல்.எம் மற்றும் தொலைநோக்கு மாதிரிகளுக்கான அடித்தளம்.
• பல்வேறு பணிகளில் செயல்திறனை மேம்படுத்துகிறது.
• தரவு மற்றும் கணக்கீட்டின் அடிப்படையில் விலை அதிகம்.
• சார்புகளைத் தவிர்க்க கவனமாக தரவுத்தொகுப்பு கணக்கீடு தேவைப்படுகிறது.

எப்படி இது செயல்படுகிறது

1. மிகப்பெரிய பொதுவான தரவுத்தொகுப்புகளை (உரை, படங்கள்) சேகரிக்கவும்.
2. மேற்பார்வை செய்யப்படாத அல்லது சுய மேற்பார்வையிடப்பட்ட கற்றல் பணிகளை வரையறுக்கவும்.
3. பொதுவான அம்சங்களை அறிய மாதிரிகளைப் பயிற்றுவிக்கவும்.
4. மீண்டும் பயன்படுத்த முன் பயிற்சி பெற்ற எடைகளை சேமிக்கவும்.
5. சிறிய பணி சார்ந்த தரவுத்தொகுப்புகளை நன்றாகச் சரிசெய்யவும்.

உதாரணங்கள் (உண்மையான உலகம்)

• விக்கிபீடியா மற்றும் புத்தகங்கள் கார்பஸில் BERT முன் பயிற்சி பெற்றது.
• பட-உரை ஜோடிகளில் CLIP பயிற்சி பெற்றது.
• பெரிய அளவிலான இணைய உரையில் முன்கூட்டியே பயிற்சி பெற்ற GPT மாதிரிகள்.

குறிப்புகள் / மேலும் படித்தல்

• டெவ்லின் மற்றும் பலர். “பெர்ட்: ஆழமான இருதிசை மின்மாற்றிகளின் முன் பயிற்சி.” NAACL 2019.
• ராட்ஃபோர்டு மற்றும் பலர். "மொழி மாதிரிகள் மிகக் குறைந்த எண்ணிக்கையிலான கற்றவர்கள்." நியூரிஐபிஎஸ் 2020.
• OpenAI GPT-4 தொழில்நுட்ப அறிக்கை.