AI பயிற்சி தரவு

2026 ஆம் ஆண்டில் இயந்திர கற்றலுக்கு உங்களுக்கு உண்மையில் எவ்வளவு பயிற்சி தரவு தேவை?

ஒரு வெற்றிகரமான இயந்திர கற்றல் மாதிரியானது உயர்தர பயிற்சித் தரவுகளிலிருந்து தொடங்குகிறது. ஆனால், ஒரு செயற்கை நுண்ணறிவுத் திட்டத்தின் தொடக்கத்தில் குழுக்கள் கேட்கும் மிகவும் பொதுவான கேள்விகளில் ஒன்று: எவ்வளவு பயிற்சித் தரவு போதுமானது? என்பதுதான்.

நேர்மையான பதில் என்னவென்றால், ஒவ்வொரு திட்டத்திற்கும் வேலை செய்யும் நிலையான எண் இல்லை. உங்களுக்குத் தேவையான தரவின் அளவு பணி, மாதிரியின் சிக்கலான தன்மை, வகுப்புகளின் எண்ணிக்கை, தரவு தரம், லேபிள் துல்லியம் மற்றும் நீங்கள் அடைய விரும்பும் செயல்திறன் தரத்தைப் பொறுத்தது.

நடைமுறையில், பயிற்சி தரவுத் தேவைகளை மதிப்பிடுவதற்கான சிறந்த வழி, ஒரு பிரதிநிதி மாதிரியுடன் தொடங்கி, படிப்படியாக பெரிய துணைக்குழுக்களைப் பற்றி பயிற்சி செய்து, மாதிரி செயல்திறன் எப்போது சமன் செய்யத் தொடங்குகிறது என்பதை அளவிடுவதாகும். இது செலவு, காலவரிசை, குறிப்பு முயற்சி மற்றும் எதிர்பார்க்கப்படும் விளைவுகள் குறித்து குழுக்கள் தகவலறிந்த முடிவுகளை எடுக்க உதவுகிறது.

இந்த வலைப்பதிவில், பயிற்சி தரவு அளவைப் பாதிக்கும் முக்கிய காரணிகளை நாங்கள் பிரித்துள்ளோம், நடைமுறையில் தேவைகளை எவ்வாறு மதிப்பிடுவது என்பதை விளக்குகிறோம், மேலும் உங்கள் AI சாலை வரைபடத்தை தாமதப்படுத்தாமல் கூடுதல் தரவு தேவைப்படும்போது என்ன செய்ய வேண்டும் என்பதைக் காட்டுகிறோம்.

பயிற்சி தரவு ஏன் முக்கியமானது?

பயிற்சித் தரவுதான் ஒவ்வொரு இயந்திரக் கற்றல் முறைக்கும் அடித்தளமாகும். வழிமுறை எவ்வளவு மேம்பட்டதாக இருந்தாலும், அதைப் பயிற்றுவிக்கப் பயன்படுத்தப்படும் தரவில் உள்ள வடிவங்களை மட்டுமே அது கற்றுக்கொள்ள முடியும். தரவு முழுமையடையாமல், சார்புடையதாக, சத்தமாக அல்லது மிகவும் குறைவாக இருந்தால், மாதிரியை உண்மையான உலகில் பொதுமைப்படுத்துவதில் சிரமப்படும்.

வலுவான பயிற்சி தரவு அணிகளுக்கு உதவுகிறது:

  • மாதிரி துல்லியத்தை மேம்படுத்தவும்
  • சார்பு மற்றும் குருட்டுப் புள்ளிகளைக் குறைத்தல்
  • திட்ட செலவு மற்றும் சாத்தியக்கூறுகளை இன்னும் துல்லியமாக மதிப்பிடுதல்
  • மாதிரி மறு செய்கையின் போது மறுவேலையைக் குறைக்கவும்.
  • மிகவும் நம்பகமான சரிபார்ப்பு மற்றும் சோதனை குழாய்களை உருவாக்குதல்.

இதனால்தான் தரவு சேகரிப்பு, சுத்தம் செய்தல், லேபிளிங் மற்றும் சரிபார்ப்பு ஆகியவை பெரும்பாலும் AI திட்டங்களில் அதிக முயற்சியை எடுக்கின்றன. தரவு பலவீனமாக இருந்தால், கணிப்புகளும் பலவீனமாக இருக்கும்.

உலகளாவிய எண் இல்லை - ஆனால் அதை மதிப்பிடுவதற்கு ஒரு நடைமுறை வழி இருக்கிறது.

பல கட்டுரைகள் இந்தக் கேள்விக்கு ஒற்றை எண்ணைக் கொண்டு பதிலளிக்க முயற்சிக்கின்றன. அது அரிதாகவே பயனுள்ளதாக இருக்கும்.

எளிமையான பைனரி வகைப்பாட்டிற்கான ஒரு மாதிரி ஒப்பீட்டளவில் சிறிய தரவுத்தொகுப்புடன் சிறப்பாகச் செயல்படக்கூடும், அதே நேரத்தில் ஒரு பெரிய மொழி மாதிரி ஃபைன்-ட்யூனிங் பணிப்பாய்வு அல்லது விளிம்பு நிகழ்வுகளுக்கான கணினி பார்வை அமைப்புக்கு கணிசமாக அதிக எடுத்துக்காட்டுகள் தேவைப்படலாம். சிறந்த கேள்வி "மேஜிக் எண் என்ன?" என்பது அல்ல, ஆனால்:

இந்தப் பயன்பாட்டு நிகழ்விற்கான இலக்கு செயல்திறனை அடைய தேவையான குறைந்தபட்ச உயர்தர, பிரதிநிதித்துவ பயிற்சி தரவு எவ்வளவு?

இதற்கு பதிலளிக்க ஒரு நடைமுறை வழி கற்றல் வளைவுகளைப் பயன்படுத்துவது: அதிகரிக்கும் தரவு அளவுகள் குறித்து மாதிரியைப் பயிற்றுவித்து, ஒவ்வொரு படியிலும் செயல்திறன் எவ்வளவு மேம்படுகிறது என்பதைக் கவனியுங்கள். முன்னேற்றம் தட்டையாகத் தொடங்கும் போது, ​​அதிக தரவைச் சேகரிப்பது முதலீட்டிற்கு மதிப்புள்ளதா என்பது பற்றிய தெளிவான சமிக்ஞை உங்களுக்குக் கிடைக்கும். இந்த அணுகுமுறை பொதுவாக நடைமுறை ML பணிப்பாய்வுகளில் பரிந்துரைக்கப்படுகிறது.

உங்களுக்கு எவ்வளவு பயிற்சி தரவு தேவை என்பதை தீர்மானிக்கும் 7 காரணிகள்

1. மாதிரி வகை: கிளாசிக்கல் எம்எல் vs ஆழமான கற்றல்

மாதிரியின் வகை தரவுத் தேவைகளில் பெரும் தாக்கத்தை ஏற்படுத்துகிறது. லாஜிஸ்டிக் பின்னடைவு, முடிவு மரங்கள் அல்லது சாய்வு பூஸ்டிங் போன்ற கிளாசிக்கல் இயந்திர கற்றல் மாதிரிகள் பெரும்பாலும் சிறிய கட்டமைக்கப்பட்ட தரவுத்தொகுப்புகளில் சிறப்பாகச் செயல்படும், குறிப்பாக அம்சங்கள் நன்கு வடிவமைக்கப்பட்டிருக்கும் போது.

ஆழமான கற்றல் மாதிரிகள் பொதுவாக அதிக தரவு தேவைப்படுகின்றன, ஏனெனில் அவை அம்சங்களை தானாகவே கற்றுக்கொள்கின்றன மற்றும் பல அளவுருக்களைக் கொண்டுள்ளன. படம், ஆடியோ மற்றும் மொழி பணிகளுக்கு, ஆழமான மாதிரிகள் பொதுவாக கூடுதல் தரவு அளவு மற்றும் பன்முகத்தன்மையிலிருந்து கணிசமாக பயனடைகின்றன.

2. மேற்பார்வையிடப்பட்ட vs மேற்பார்வையிடப்படாத கற்றல்

மேற்பார்வையிடப்பட்ட கற்றலுக்கு லேபிளிடப்பட்ட தரவு தேவைப்படுகிறது, இது பெரும்பாலும் சேகரிப்பது கடினமானது மற்றும் விலை உயர்ந்தது. உங்கள் மாதிரியில் படங்களை சிறுகுறிப்பு செய்ய, ஆடியோவை படியெடுக்க, நிறுவனங்களை டேக் செய்ய அல்லது ஆவணங்களை வகைப்படுத்த மனிதர்கள் தேவைப்பட்டால், தரவுத் தேவை அளவு மற்றும் லேபிளிடுதல் முயற்சி இரண்டையும் கணக்கில் எடுத்துக்கொள்ள வேண்டும்.

மேற்பார்வை இல்லாத கற்றலுக்கு பெயரிடப்பட்ட தரவு தேவையில்லை, ஆனால் அது இன்னும் பெரிய, பிரதிநிதித்துவ தரவுத்தொகுப்புகளிலிருந்து பயனடைகிறது. லேபிள்கள் இல்லாவிட்டாலும், அர்த்தமுள்ள வடிவங்கள் மற்றும் கட்டமைப்பைக் கண்டறிய மாதிரிக்கு போதுமான பாதுகாப்பு தேவைப்படுகிறது. 

3. பணி சிக்கலான தன்மை மற்றும் வகுப்புகளின் எண்ணிக்கை

ஒரு எளிய பைனரி வகைப்பாடு பணி, பல-வகுப்பு மருத்துவ இமேஜிங் சிக்கல் அல்லது பன்மொழி பேச்சு அங்கீகார அமைப்பிலிருந்து மிகவும் வேறுபட்டது.

பணி சிக்கலானது அதிகரிக்கும் போது, ​​பயிற்சி தரவு தேவைகள் பொதுவாக உயரும், ஏனெனில் மாதிரி கற்றுக்கொள்ள வேண்டும்:

  • மேலும் வகுப்புகள்
  • வகைகளுக்கு இடையிலான நுணுக்கமான வேறுபாடுகள்
  • மேலும் எட்ஜ் கேஸ்கள்
  • அதிக சூழல் மாறுபாடு

எடுத்துக்காட்டாக, "பூனை" மற்றும் "நாய்" ஆகியவற்றை வேறுபடுத்துவது, ஒளி நிலைமைகள், கேமரா கோணங்கள் மற்றும் பின்னணிகள் முழுவதும் பார்வைக்கு ஒத்த டஜன் கணக்கான தயாரிப்பு குறைபாடுகளை அடையாளம் காண்பதை விட மிகவும் எளிதானது.

4. தரவு தரம் மற்றும் லேபிள் துல்லியம்

தரம் மோசமாக இருந்தால், அதிக தரவு எப்போதும் சிறப்பாக இருக்காது.

துல்லியமான லேபிள்கள், சமச்சீர் பிரதிநிதித்துவம் மற்றும் சீரான வடிவமைப்பு ஆகியவற்றைக் கொண்ட ஒரு சிறிய தரவுத்தொகுப்பு, பெரிய ஆனால் சத்தமில்லாத தரவுத்தொகுப்பை விட சிறப்பாகச் செயல்படும். குறைந்த தரமான லேபிள்கள், நகல் பதிவுகள், பலவீனமான வகுப்பு வரையறைகள், காணாமல் போன மெட்டாடேட்டா மற்றும் சீரற்ற குறிப்பு வழிகாட்டுதல்கள் அனைத்தும் மாதிரி செயல்திறனைக் குறைக்கின்றன.

கூடுதல் தரவுகளைச் சேகரிப்பதற்கு முன், குழுக்கள் கேட்க வேண்டும்:

  • லேபிள்கள் சீரானவையா?
  • நாங்கள் அனைத்து முக்கியமான பயனர் சூழ்நிலைகளையும் உள்ளடக்குகிறோமா?
  • இந்தத் தரவு உற்பத்தி நிலைமைகளைப் பிரதிநிதித்துவப்படுத்துகிறதா?
  • ரயில், சரிபார்ப்பு மற்றும் சோதனைத் தொகுப்புகள் சரியாகப் பிரிக்கப்பட்டுள்ளனவா?

பல திட்டங்களுக்கு, தரவு தரத்தை மேம்படுத்துவது தரவு அளவை அதிகரிப்பதை விட விரைவான ஆதாயங்களை உருவாக்குகிறது.

5. பன்முகத்தன்மை, பாதுகாப்பு மற்றும் வகுப்பு சமநிலை

ஒரு மாதிரி, பயன்படுத்தலுக்குப் பிறகு எதிர்கொள்ளும் நிஜ உலக மாறுபாட்டிலிருந்து கற்றுக்கொள்ள வேண்டும். அதாவது தரவுத்தொகுப்பு வெவ்வேறு காட்சிகள், பயனர் குழுக்கள், சாதன வகைகள், உச்சரிப்புகள், சூழல்கள், ஆவண வடிவங்கள், பட நிலைமைகள் மற்றும் விளிம்பு நிகழ்வுகளைப் பிரதிபலிக்க வேண்டும்.

ஒரு வகுப்பு அல்லது பிரிவு குறைவாக பிரதிநிதித்துவப்படுத்தப்பட்டால், அந்த மாதிரி ஒட்டுமொத்தமாக துல்லியமாகத் தோன்றலாம், அதே நேரத்தில் முக்கியமான துணைக்குழுக்களில் மோசமாகத் தோல்வியடையும். இதனால்தான் பன்முகத்தன்மை மற்றும் வர்க்க சமநிலை ஆகியவை மூல அளவைப் போலவே முக்கியம்.

பல சந்தர்ப்பங்களில், கேள்வி "நம்மிடம் போதுமான தரவு இருக்கிறதா?" என்பதல்ல, மாறாக "சரியான தரவு போதுமான அளவு உள்ளதா?" என்பதே.

6. பரிமாற்ற கற்றல் மற்றும் முன் பயிற்சி பெற்ற மாதிரிகள்

நீங்கள் முன் பயிற்சி பெற்ற மாதிரியிலிருந்து தொடங்கினால், புதிதாகப் பயிற்சி பெறுவதை விட மிகக் குறைவான பணி சார்ந்த தரவு உங்களுக்குத் தேவைப்படலாம்.

இது குறிப்பாக உண்மை:

  • பார்வை முதுகெலும்புகளைப் பயன்படுத்தி பட வகைப்பாடு
  • மின்மாற்றி அடிப்படையிலான மாதிரிகளைப் பயன்படுத்தி NLP பணிகள்
  • புதிய உச்சரிப்பு அல்லது களத்திற்கு ஏற்றவாறு மாற்றியமைக்கப்பட்ட பேச்சு மாதிரிகள்.
  • டொமைன் தழுவல் பணிப்பாய்வுகள்

பரிமாற்றக் கற்றல், ஏற்கனவே உள்ள பெரிய தரவுத்தொகுப்புகளில் கற்றுக்கொண்ட அறிவை மீண்டும் பயன்படுத்த குழுக்களை அனுமதிக்கிறது, இது குறிப்புச் சுமையை வியத்தகு முறையில் குறைக்கும். அசல் கட்டுரை ஏற்கனவே இதை நன்கு விவரித்துள்ளது; அது அப்படியே இருக்க வேண்டும், ஆனால் தெளிவான எடுத்துக்காட்டுகளுடன்.

7. சரிபார்ப்பு உத்தி மற்றும் இலக்கு செயல்திறன்

உங்களுக்குத் தேவையான தரவின் அளவு, மாதிரி எவ்வளவு சிறப்பாக இருக்க வேண்டும் என்பதைப் பொறுத்தும் வடிவமைக்கப்படுகிறது.

ஒரு முன்மாதிரி, குறைந்த அளவிலான தரவுகளுடன் செயல்படக்கூடும். சுகாதாரம், நிதி, காப்பீடு, வாகனத் துறை அல்லது இணக்க விதிகள் அதிகம் தேவைப்படும் சூழல்களில் உள்ள ஒரு உற்பத்தி மாதிரிக்கு, வலுவான தரவுக் கவரேஜ், தெளிவான குறியீடுகள், சிறந்த சரிபார்ப்பு மற்றும் சிக்கலான சூழல்களில் கூட மிகவும் நம்பகமான செயல்திறன் தேவைப்படும். ஏற்றுக்கொள்ளக்கூடிய பிழை விகிதம் எவ்வளவு கடுமையாக இருக்கிறதோ, அந்த அளவிற்கு உங்கள் தரவுத்தொகுப்பு வலுவானதாக இருக்க வேண்டும்.

நடைமுறையில் பயிற்சி தரவு தேவைகளை எவ்வாறு மதிப்பிடுவது

யூகிப்பதற்குப் பதிலாக, ஒரு கட்டமைக்கப்பட்ட மதிப்பீட்டு செயல்முறையைப் பயன்படுத்தவும்.

படி 1: பிரதிநிதித்துவ பைலட் தரவுத்தொகுப்புடன் தொடங்கவும்.

சிக்கல் பகுதியின் சிறிய ஆனால் பிரதிநிதித்துவ மாதிரியைச் சேகரிக்கவும். முக்கியமான வகுப்புகள், வடிவங்கள், பயனர் வகைகள் மற்றும் நிஜ உலக மாறுபாடுகளைச் சேர்க்கவும்.

படி 2: தரவை முறையாகப் பிரிக்கவும்

தனித்தனி பயிற்சி, சரிபார்ப்பு மற்றும் சோதனைத் தொகுப்புகளை உருவாக்கவும். சோதனைத் தொகுப்பு உற்பத்தி நிலைமைகளைப் பிரதிபலிக்கிறது என்பதையும், பயிற்சியின் போது ஒருபோதும் பயன்படுத்தப்படுவதில்லை என்பதையும் உறுதிப்படுத்திக் கொள்ளுங்கள்.

படி 3: படிப்படியாக பெரிய மாதிரிகளில் பயிற்சி செய்யுங்கள்.

தரவுத்தொகுப்பின் அதிகரிக்கும் பகுதிகளான 10%, 20%, 40%, 60%, 80% மற்றும் 100% ஆகியவற்றைப் பயன்படுத்தி மாதிரியைப் பயிற்றுவிக்கவும்.

படி 4: ஒரு கற்றல் வளைவை வரையவும்.

தரவுத்தொகுப்பு அளவு அதிகரிக்கும் போது துல்லியம், F1 மதிப்பெண், நினைவுகூருதல், துல்லியம் அல்லது பணி சார்ந்த தர அளவீடுகள் போன்ற செயல்திறன் அளவீடுகளைக் கண்காணிக்கவும்.

படி 5: பீடபூமியைத் தேடுங்கள்

அதிக தரவுகளுடன் மாதிரி செயல்திறன் கூர்மையாக மேம்பட்டால், உங்களுக்கு இன்னும் அதிகமாகத் தேவைப்படலாம். மேம்பாடுகள் தணிந்தால், உங்கள் தடை இனி அளவாக இருக்காது - அது லேபிள் தரம், அம்ச வடிவமைப்பு, மாதிரி தேர்வு அல்லது வகுப்பு ஏற்றத்தாழ்வாக இருக்கலாம்.

படி 6: பிரிவு-நிலை செயல்திறனை மதிப்பாய்வு செய்யவும்

மாதிரியின் செயல்திறனை ஒட்டுமொத்தமாக மட்டுமல்லாமல், முக்கியப் பிரிவுகள் மற்றும் விளிம்புநிலைச் சூழல்களிலும் சரிபார்க்கவும். ஒரு மாதிரி, சிறுபான்மைப் பிரிவுகளில் மோசமாகச் செயல்படாமல் இருக்கும்போதே, ஒட்டுமொத்தமாக ஒரு தேக்கநிலையை அடையக்கூடும். இந்த முறை, எவ்வளவு கூடுதல் தரவுகளைச் சேகரிப்பது பயனுள்ளது என்பது குறித்த மிகவும் யதார்த்தமான மதிப்பீட்டைப் பங்குதாரர்களுக்கு வழங்குகிறது.

உங்களிடம் போதுமான பயிற்சி தரவு இருக்கும்போது எப்படி அறிவது

உங்களிடம் போதுமான தரவு இருக்கும்போது:

  • கூடுதல் தரவு சேர்க்கப்படுவதால் மாதிரி செயல்திறன் ஓரளவு மட்டுமே மேம்படுகிறது.
  • சரிபார்ப்பு முடிவுகள் பல ரன்கள் அல்லது மடிப்புகளில் நிலையானவை.
  • பெரும்பான்மை வகுப்பு மட்டுமல்ல, முக்கியமான வகுப்புகள் ஏற்றுக்கொள்ளத்தக்க வகையில் செயல்படுகின்றன.
  • செயல்திறன் ஒரு சுத்தமான, தொடப்படாத சோதனைத் தொகுப்பில் உள்ளது.
  • மீதமுள்ள பிழைகள் எடுத்துக்காட்டுகள் இல்லாததால் ஏற்படுவதை விட லேபிள் சத்தம் அல்லது தெளிவின்மையால் ஏற்படுகின்றன.

உங்களுக்கு கூடுதல் தரவு தேவைப்படும்போது:

  • கற்றல் வளைவு இன்னும் ஏறிக்கொண்டே இருக்கிறது.
  • அரிய வகுப்புகள் மோசமாக செயல்படுகின்றன.
  • பொதுவான நிஜ உலக மாறுபாடுகளில் இந்த மாதிரி தோல்வியடைகிறது.
  • ஓட்டங்களுக்கு இடையில் முடிவுகள் பெரிதும் மாறுபடும்.
  • சரிபார்ப்பு செயல்திறனுடன் ஒப்பிடும்போது சோதனை செயல்திறன் கூர்மையாகக் குறைகிறது.

பயிற்சி தரவு தேவைகளை எவ்வாறு குறைப்பது

சில நேரங்களில் சவால் மாதிரி வடிவமைப்பு அல்ல - அது தரவு பற்றாக்குறை, பட்ஜெட் அல்லது சந்தைக்கு நேரம். அந்த சந்தர்ப்பங்களில், அணிகள் சரியான உத்திகள் மூலம் பாரிய தரவு அளவுகளை சார்ந்திருப்பதைக் குறைக்கலாம்.

தரவு பெருக்கம்

தரவு பெருக்குதல் என்பது ஏற்கனவே உள்ள தரவிலிருந்து புதிய பயிற்சி உதாரணங்களை உருவாக்குகிறது. கணினி பார்வையில், இதில் செதுக்குதல், சுழற்றுதல், புரட்டுதல் அல்லது பிரகாசத்தை சரிசெய்தல் ஆகியவை அடங்கும். NLP மற்றும் பேச்சில், பெருக்குதல் மிகவும் கவனமாக இருக்க வேண்டும், ஆனால் கட்டுப்படுத்தப்பட்ட மாற்றங்கள் இன்னும் உதவக்கூடும்.

சரியாகப் பயன்படுத்தினால், பெருக்குதல் வலிமையை மேம்படுத்துகிறது மற்றும் மாதிரிகள் சிறப்பாகப் பொதுமைப்படுத்த உதவுகிறது. மோசமாகப் பயன்படுத்தினால், அது சத்தம் அல்லது நம்பத்தகாத உதாரணங்களை அறிமுகப்படுத்தலாம்.

பரிமாற்ற கற்றல்

பரிமாற்றக் கற்றல், பூஜ்ஜியத்திலிருந்து பயிற்சி செய்வதற்குப் பதிலாக, ஏற்கனவே உள்ள மாதிரியை ஒரு புதிய பணிக்காக மாற்றியமைக்க உங்களை அனுமதிக்கிறது. பயிற்சி தரவுத் தேவைகளைக் குறைப்பதற்கான மிகவும் பயனுள்ள வழிகளில் இதுவும் ஒன்றாகும்.

முன் பயிற்சி பெற்ற மாதிரிகள்

BERT போன்ற NLP மாதிரிகள் அல்லது நிறுவப்பட்ட பார்வை முதுகெலும்புகள் போன்ற முன் பயிற்சி பெற்ற மாதிரிகள் வலுவான தொடக்க புள்ளிகளை வழங்க முடியும். புதிதாக எல்லாவற்றையும் கற்றுக்கொள்வதற்குப் பதிலாக, மாதிரி பயனுள்ள முன் அறிவுடன் தொடங்குகிறது.

செயலில் கற்றல்

லேபிளிங் விலை உயர்ந்ததாக இருந்தால், செயலில் கற்றல் முதலில் மிகவும் தகவல் தரும் எடுத்துக்காட்டுகளுக்கு முன்னுரிமை அளிக்க உதவும். இது குறிப்பு செயல்திறனை மேம்படுத்துகிறது மற்றும் பயனுள்ள செயல்திறனை அடைய தேவையான லேபிள்களின் எண்ணிக்கையைக் குறைக்கலாம்.

செயற்கை தரவு

நிஜ உலகத் தரவு பற்றாக்குறையாகவோ, உணர்திறன் மிக்கதாகவோ அல்லது சேகரிக்க கடினமாகவோ இருக்கும்போது, ​​குறிப்பாக சுகாதாரப் பராமரிப்பு, நிதி, தன்னாட்சி அமைப்புகள் மற்றும் எட்ஜ்-கேஸ் சிமுலேஷன் போன்ற துறைகளில் செயற்கைத் தரவு பயனுள்ளதாக இருக்கும். ஆனால் அது உண்மையான, பிரதிநிதித்துவத் தரவை குருட்டுத்தனமாக மாற்றாமல் கூடுதலாக வழங்க வேண்டும்.

குறைந்தபட்ச தரவுத்தொகுப்புகளுடன் கூடிய இயந்திர கற்றல் திட்டங்களின் நிஜ உலக எடுத்துக்காட்டுகள்

சில லட்சிய இயந்திரக் கற்றல் திட்டங்களை குறைந்தபட்ச மூலப்பொருட்களைக் கொண்டு செயல்படுத்துவது சாத்தியமற்றதாகத் தோன்றினாலும், சில நிகழ்வுகள் வியக்கத்தக்க உண்மை. ஆச்சரியப்படுவதற்கு தயாராகுங்கள்.

Kaggle அறிக்கைஹெல்த்கேர்மருத்துவ ஆன்காலஜி
இயந்திர கற்றல் திட்டங்களில் 70% க்கும் அதிகமானவை 10,000 மாதிரிகளுடன் முடிக்கப்பட்டதாக Kaggle ஆய்வு தெரிவிக்கிறது.500 படங்களுடன், ஒரு எம்ஐடி குழு கண் ஸ்கேன் மூலம் மருத்துவப் படங்களில் நீரிழிவு நரம்பியல் நோயைக் கண்டறிய ஒரு மாதிரியைப் பயிற்றுவித்தது.ஹெல்த்கேர் உதாரணத்தைத் தொடர்ந்து, ஸ்டான்போர்ட் பல்கலைக்கழகக் குழு 1000 படங்களுடன் தோல் புற்றுநோயைக் கண்டறியும் மாதிரியை உருவாக்க முடிந்தது.

படித்த யூகங்களை உருவாக்குதல்

பயிற்சி தரவு தேவையை மதிப்பிடுதல்

தேவையான குறைந்தபட்ச அளவு தரவு பற்றி எந்த மேஜிக் எண் இல்லை, ஆனால் நீங்கள் ஒரு பகுத்தறிவு எண்ணை அடைய பயன்படுத்தக்கூடிய சில கட்டைவிரல் விதிகள் உள்ளன.

10 விதி

ஒரு பொது விதியாக , ஒரு திறமையான செயற்கை நுண்ணறிவு மாதிரியை உருவாக்க, தேவைப்படும் பயிற்சித் தரவுத்தொகுப்புகளின் எண்ணிக்கை, மாதிரியின் ஒவ்வொரு அளவுருவையும் (சுதந்திரத்தின் அளவுகள் என்றும் அழைக்கப்படுகிறது) விட பத்து மடங்கு அதிகமாக இருக்க வேண்டும். இந்த '10 மடங்கு' விதியானது, தரவுகளின் மாறுபாட்டைக் கட்டுப்படுத்தி, அதன் பன்முகத்தன்மையை அதிகரிப்பதை நோக்கமாகக் கொண்டுள்ளது. எனவே, தேவைப்படும் தரவுத்தொகுப்புகளின் அளவு குறித்த ஒரு அடிப்படை யோசனையை உங்களுக்கு வழங்குவதன் மூலம், இந்தப் பொது விதி உங்கள் திட்டத்தைத் தொடங்க உதவும்.

ஆழமான கற்றல்

கணினிக்கு அதிக தரவு வழங்கப்பட்டால், ஆழ்ந்த கற்றல் முறைகள் உயர்தர மாதிரிகளை உருவாக்க உதவுகின்றன. மனிதர்களுக்கு இணையாக செயல்படக்கூடிய ஒரு ஆழமான கற்றல் வழிமுறையை உருவாக்க, ஒரு வகைக்கு 5000 லேபிளிடப்பட்ட படங்கள் போதுமானதாக இருக்கும் என்பது பொதுவாக ஏற்றுக்கொள்ளப்படுகிறது. விதிவிலக்காக சிக்கலான மாதிரிகளை உருவாக்க, குறைந்தபட்சம் 10 மில்லியன் லேபிளிடப்பட்ட உருப்படிகள் தேவை.

கணினி விஷன்

பட வகைப்பாட்டிற்கு நீங்கள் ஆழ்ந்த கற்றலைப் பயன்படுத்துகிறீர்கள் என்றால், ஒவ்வொரு வகுப்பிற்கும் 1000 லேபிளிடப்பட்ட படங்களின் தரவுத்தொகுப்பு நியாயமான எண் என்று ஒருமித்த கருத்து உள்ளது. 

கற்றல் வளைவுகள்

கற்றல் வளைவுகள் தரவு அளவுக்கு எதிராக இயந்திர கற்றல் அல்காரிதம் செயல்திறனை நிரூபிக்க பயன்படுத்தப்படுகின்றன. Y- அச்சில் மாதிரித் திறன் மற்றும் X- அச்சில் பயிற்சி தரவுத்தொகுப்பைக் கொண்டிருப்பதன் மூலம், தரவுகளின் அளவு திட்டத்தின் முடிவை எவ்வாறு பாதிக்கிறது என்பதைப் புரிந்து கொள்ள முடியும்.

மிகக் குறைந்த தரவு வைத்திருப்பதன் செலவு

வரையறுக்கப்பட்ட, குறுகிய அல்லது சார்புடைய தரவுத்தொகுப்புகளில் குழுக்கள் பயிற்சி பெறும்போது, ​​அந்த மாதிரி வளர்ச்சியில் நம்பிக்கைக்குரியதாகத் தோன்றலாம், ஆனால் உற்பத்தியில் தோல்வியடையும்.

மிகக் குறைந்த தரவு இதற்கு வழிவகுக்கும்:

  • அதிகப்படியான பொருத்தம்
  • பலவீனமான பொதுமைப்படுத்தல்
  • நிலையற்ற கணிப்புகள்
  • சிறுபான்மை வகுப்புகளில் மோசமான செயல்திறன்
  • அதிக சார்பு ஆபத்து
  • பின்னர் மேலும் மறு செய்கை நேரம்

வேறு வார்த்தைகளில் கூறுவதானால், உங்கள் பயிற்சித் தரவில் உள்ள வரம்புகள் பெரும்பாலும் உங்கள் தயாரிப்பின் வரம்புகளாக மாறும்.

உங்களுக்கு கூடுதல் தரவுத்தொகுப்புகள் தேவைப்பட்டால் என்ன செய்வது

தரவு சேகரிப்பின் நுட்பங்கள்/ஆதாரங்கள்

நீங்கள் ஒரு தரவு இடைவெளியைக் கண்டறியும்போது, ​​தீர்வு எப்போதும் "எல்லாவற்றையும் சேகரிப்பது" அல்ல. தரவுத்தொகுப்பை மூலோபாய ரீதியாக விரிவுபடுத்துவதே சிறந்த அணுகுமுறையாகும்.

1. திறந்த தரவுத்தொகுப்புகளை கவனமாகப் பயன்படுத்தவும்.

திறந்த தரவுத்தொகுப்புகள் முன்மாதிரி அல்லது தரப்படுத்தலுக்கு உதவும், ஆனால் அவை எப்போதும் உற்பத்தி பயன்பாட்டிற்கு ஏற்றதாக இருக்காது. குழுக்கள் அவற்றைச் சார்ந்து இருப்பதற்கு முன்பு தோற்றம், ஒப்புதல், தரம், பொருத்தம் மற்றும் கவரேஜ் ஆகியவற்றை மதிப்பாய்வு செய்ய வேண்டும்.

2. உங்கள் பயன்பாட்டு வழக்கிற்கான தனிப்பயன் தரவைச் சேகரிக்கவும்

இலக்கு சூழல் மிகவும் குறிப்பிட்டதாக இருந்தால், தனிப்பயன் தரவு சேகரிப்பு பெரும்பாலும் சிறந்த தேர்வாகும். சுகாதாரப் பராமரிப்பு AI, உரையாடல் AI, கணினி பார்வை விளிம்பு வழக்குகள் மற்றும் பன்மொழி அமைப்புகள் போன்ற டொமைன்-கனமான பணிப்பாய்வுகளுக்கு இது குறிப்பாக உண்மை.

3. குறிப்பு மூலம் ஏற்கனவே உள்ள தரவை மேம்படுத்தவும்

பல குழுக்கள் ஏற்கனவே மூலத் தரவைக் கொண்டுள்ளன, ஆனால் கட்டமைப்பு இல்லை. குறிப்பு, மறுபெயரிடுதல், வகைபிரித்தல் சுத்தம் செய்தல் மற்றும் தர மதிப்பாய்வு ஆகியவை புத்தம் புதிய தரவுத்தொகுப்புகளைச் சேகரிப்பதை விட விரைவாக மதிப்பைத் திறக்கும்.

4. பிரதிநிதித்துவம் குறைவாக உள்ள வகுப்புகளை மறு சமநிலைப்படுத்துதல்

குறிப்பிட்ட வகைகளில் செயல்திறன் பலவீனமாக இருந்தால், முழு தரவுத்தொகுப்பையும் சமமாக விரிவுபடுத்துவதற்குப் பதிலாக, அந்த அதிக தாக்கத்தை ஏற்படுத்தும் இடைவெளிகளில் சேகரிப்பு மற்றும் லேபிளிங்கில் கவனம் செலுத்துங்கள்.

5. பொருத்தமான இடங்களில் செயற்கை அல்லது பெரிதாக்கப்பட்ட தரவைச் சேர்க்கவும்.

உண்மையான தரவு குறைவாகவோ அல்லது உணர்திறன் மிக்கதாகவோ இருக்கும்போது, ​​செயற்கை மற்றும் பெரிதாக்கப்பட்ட தரவு கவரேஜை மேம்படுத்த உதவும் - ஆனால் அது நிஜ உலக விநியோகங்களுடன் கவனமாக சரிபார்க்கப்பட வேண்டும்.

6. ஒரு சிறப்பு தரவு கூட்டாளருடன் பணிபுரிதல்

உற்பத்தி AI-ஐ அளவில் உருவாக்கும் குழுக்களுக்கு, உயர்தர பயிற்சித் தரவைச் சேகரிக்க, உரிமம் வழங்க, குறிப்பு எழுத, சரிபார்க்க மற்றும் நிர்வகிக்கக்கூடிய ஒரு வழங்குநருடன் கூட்டு சேர்வது திட்ட அபாயத்தைக் கணிசமாகக் குறைத்து, பயன்படுத்தலை விரைவுபடுத்தும்.

இறுதி எண்ணங்கள்

இயந்திர கற்றலில் பயிற்சி தரவுகளுக்கு எந்த மாய எண் இல்லை. சரியான அளவு பயன்பாட்டு வழக்கு, மாதிரி வகை, தரவு தரம், வகுப்பு பன்முகத்தன்மை, சரிபார்ப்பு உத்தி மற்றும் இலக்கு செயல்திறன் ஆகியவற்றைப் பொறுத்தது.

பயிற்சி தரவுத் தேவைகளை மதிப்பிடுவதற்கான மிகச் சிறந்த வழி, ஒரு பிரதிநிதி மாதிரியுடன் தொடங்கி, கற்றல் வளைவுகளைப் பயன்படுத்தி செயல்திறனை அளவிடுவதும், மாதிரி இன்னும் எங்கு தோல்வியடைகிறது என்பதைப் பொறுத்து தரவுத்தொகுப்பை மூலோபாய ரீதியாக விரிவுபடுத்துவதும் ஆகும்.

சில திட்டங்களுக்கு, ஒரு சாதாரணமான, உயர்தர தரவுத்தொகுப்பு போதுமானதாக இருக்கலாம். மற்றவற்றுக்கு, குறிப்பாக அதிக பங்குகள் அல்லது மிகவும் மாறுபட்ட சூழல்களுக்கு, வெற்றி என்பது பெரிய, கவனமாக ஒழுங்கமைக்கப்பட்ட மற்றும் நன்கு விளக்கப்பட்ட தரவுத்தொகுப்புகளைப் பொறுத்தது.

அதிகத் தரவுகளை வைத்திருப்பது மட்டுமல்ல, சரியான தரவுகளை வைத்திருப்பதே மிகவும் முக்கியமானது.

உங்கள் மனதில் ஒரு சிறந்த திட்டம் இருக்கிறதா, ஆனால் உங்கள் மாடல்களுக்குப் பயிற்சி அளிக்க உங்களுக்கென பிரத்யேகமாக உருவாக்கப்பட்ட தரவுத்தொகுப்புகளுக்காகக் காத்திருக்கிறீர்களா அல்லது உங்கள் திட்டத்திலிருந்து சரியான முடிவைப் பெற சிரமப்படுகிறீர்களா? பல்வேறு திட்டத் தேவைகளுக்காக நாங்கள் விரிவான பயிற்சித் தரவுத்தொகுப்புகளை வழங்குகிறோம். இன்றே எங்கள் தரவு விஞ்ஞானிகளில் ஒருவருடன் பேசி , கடந்த காலத்தில் வாடிக்கையாளர்களுக்கு நாங்கள் எவ்வாறு உயர் செயல்திறன் கொண்ட, தரமான தரவுத்தொகுப்புகளை வழங்கியுள்ளோம் என்பதைப் புரிந்துகொள்வதன் மூலம் ஷைப்பின் ஆற்றலைப் பயன்படுத்திக் கொள்ளுங்கள்.

நிலையான எண் எதுவும் இல்லை. சரியான அளவு பணி, மாதிரி சிக்கலான தன்மை, லேபிள் தரம், வகுப்பு சமநிலை மற்றும் இலக்கு துல்லியம் ஆகியவற்றைப் பொறுத்தது. அதை மதிப்பிடுவதற்கான மிகவும் நம்பகமான வழி, துணைக்குழுக்களை அதிகரிப்பதில் பயிற்சி அளித்து செயல்திறன் மேம்பாடுகளை அளவிடுவதாகும்.

தரவு அளவு அதிகரிக்கும் போது மாதிரி செயல்திறன் தொடர்ந்து மேம்பட்டால், அரிதான வகுப்புகள் மோசமாகச் செயல்பட்டால், அல்லது ரன்கள் முழுவதும் முடிவுகள் நிலையற்றதாக இருந்தால், உங்களுக்கு கூடுதல் பயிற்சித் தரவு தேவைப்படும்.

ஆம். பரிமாற்றக் கற்றல், முன்னர் பயிற்சி பெற்ற அமைப்புகளிலிருந்து பெறப்பட்ட அறிவை மாதிரிகள் மீண்டும் பயன்படுத்த அனுமதிக்கிறது, இது பணி சார்ந்த லேபிளிடப்பட்ட தரவின் அளவைக் கணிசமாகக் குறைக்கும்.

அவசியமில்லை. குறைந்த தரம் அல்லது மோசமாக லேபிளிடப்பட்ட தரவு செயல்திறனைப் பாதிக்கலாம். பல சந்தர்ப்பங்களில், தரவு தரம், சமநிலை மற்றும் பிரதிநிதித்துவத்தை மேம்படுத்துவது வெறுமனே அளவை அதிகரிப்பதை விட மதிப்புமிக்கது.

ஆழமான கற்றல் மாதிரிகள் பொதுவாக கிளாசிக்கல் இயந்திர கற்றல் மாதிரிகளை விட அதிக தரவு தேவைப்படுகின்றன, குறிப்பாக படம், பேச்சு மற்றும் மொழி பணிகளுக்கு. இருப்பினும், முன் பயிற்சி பெற்ற மாதிரிகள் மற்றும் பரிமாற்ற கற்றல் இந்தத் தேவையைக் குறைக்கலாம்.

இந்தக் கட்டுரை உங்களுக்குப் பிடித்திருந்ததா? மேலும் தகவல்களுக்கு லிங்க்ட்இனில் ஷைப்பைப் பின்தொடரவும்.

சமூக பகிர்