LLM மற்றும் AI பயிற்சிக்கான உரிமம் பெற்ற உரைத் தரவுத்தொகுப்புகள்
LLM, NLP மற்றும் உருவாக்க AI பயிற்சிக்காக, உங்கள் திட்டத்திற்கேற்ப வடிவமைக்கப்பட்ட, உரையாடல் கேள்வி-பதில், குறியீடு, செய்திகள், மருத்துவ, கல்விசார் மற்றும் பன்மொழித் தரவுகள் அடங்கிய, பயன்படுத்தத் தயாரான உரைத் தொகுப்புகளுக்கு உரிமம் பெறுங்கள்.
LLM மற்றும் NLP பயிற்சிக்கான உரிமம் பெற்ற உரைத் தரவுத்தொகுப்புகள்
ஷைப்பின் உரைத் தரவுப் பட்டியல், செயற்கை நுண்ணறிவு அணிகளுக்குப் பெரிய மொழி மாதிரிகள் (LLMகள்) மற்றும் இயற்கை மொழிச் செயலாக்க (NLP) அமைப்புகளுக்குப் பயிற்சி அளிக்கவும், செம்மைப்படுத்தவும், மதிப்பீடு செய்யவும் உரிமம் பெறத் தயாரான உரைத் தரவுத் தொகுப்புகளை வழங்குகிறது. இது எட்டு வகைகளை உள்ளடக்கியுள்ளது. ஒவ்வொரு தரவுத் தொகுப்பும் நிஜ உலகப் பொருட்களிலிருந்து பெறப்பட்டது மற்றும் உங்கள் திட்டத்திற்கு ஏற்றவாறு அதன் வரையறையை மாற்றியமைக்க முடியும்.
இந்தப் பட்டியலில் , நவீன தரநிலை அரபு மற்றும் சவுதி, எமிராட்டி, எகிப்திய மற்றும் லெவண்டைன் வட்டார மொழிகளை உள்ளடக்கிய, ஆங்கிலம் மற்றும் அரபு மொழிகளில் உரையாடல் கேள்வி-பதில் மற்றும் அறிவுறுத்தல் தரவுத்தொகுப்புகள் உள்ளன. மேலும், இதில் ஒன்பது நிரலாக்க மொழிகளில் குறியீடு களஞ்சியத் தரவுத்தொகுப்புகள் உள்ளன, அவற்றில் பல முழுமையான புல்-ரிக்வெஸ்ட் மற்றும் கமிட் வரலாற்றைக் கொண்டுள்ளன. நடப்பு நிகழ்வுகள் மாதிரிகள் மற்றும் RAG-க்காக, ஆங்கிலம், ஸ்பானிஷ் மற்றும் அரபு மொழிகளில் செய்தித் தரவுத்தொகுப்புகள் உள்ளன , இதில் 1999-ஆம் ஆண்டு வரையிலான 975,000 கட்டுரைகளைக் கொண்ட ஒரு காப்பகமும் அடங்கும். சுகாதார AI குழுக்கள் , அடையாளம் நீக்கத்துடன் கூடிய கோல்டன் மற்றும் சில்வர் தொகுப்புகளாகக் கிடைக்கும் மருத்துவக் கேள்வி-பதில் மற்றும் வழக்குத் தரவுத்தொகுப்புகளைப் பயன்படுத்தலாம்.
முன் பயிற்சிக்காக, 20 மில்லியன் சொற்களைக் கொண்ட அரபு மொழித் தொகுப்பு உட்பட, மூல உரை மற்றும் இணைய அளவிலான தரவுத் தொகுப்புகள் உள்ளன . ஸ்கேன் செய்யப்பட்ட ஆவணத் தரவுத் தொகுப்புகள், ஆவணச் செயற்கை நுண்ணறிவு மற்றும் தகவல் பிரித்தெடுத்தலுக்குத் துணைபுரிகின்றன. கல்வி மற்றும் பதிப்பக உரைகள் பன்னிரண்டு அறிவியல் மற்றும் பொறியியல் பாடங்களையும், திரைக்கதை எழுதப்பட்ட பொழுதுபோக்கு உரைகள் திரைப்படம், தொலைக்காட்சி, அனிமேஷன் மற்றும் குறுநாடகங்களையும் உள்ளடக்கியுள்ளன.
ஒவ்வொரு தரவுத்தொகுப்பும் தெளிவான உரிமம் மற்றும் தர மதிப்பாய்வுடன் வருகிறது. நீங்கள் வாங்குவதற்கு முன் ஒரு தரவுத்தொகுப்பை மதிப்பீடு செய்வதற்காக மாதிரிகள் கிடைக்கின்றன. கீழே உள்ள ஒரு வகையைத் தேர்ந்தெடுக்கவும் அல்லது தனிப்பயன் உரைத் தரவு சேகரிப்பு குறித்து விவாதிக்க எங்களைத் தொடர்பு கொள்ளவும்.
உரையாடல் கேள்வி பதில் மற்றும் அறிவுறுத்தல் தரவுத்தொகுப்புகள்
இந்தத் தரவுத்தொகுப்புகள், நவீன தரநிலை அரபு மொழியுடன் சவூதி, எமிராட்டி, எகிப்திய மற்றும் லெவண்டைன் வட்டார மொழிகளையும் உள்ளடக்கி, அரபு மற்றும் ஆங்கிலத்தில் மனிதர்களால் உருவாக்கப்பட்ட கேள்வி-பதில் இணைகளையும் கற்பித்தல் பாணித் தூண்டுதல்களையும் கொண்டுள்ளன. துறை சார்ந்த தொகுப்புகள் STEM, உணவு மற்றும் விவசாயம் ஆகியவற்றை உள்ளடக்கியுள்ளன. பிராந்திய வட்டார மொழி உள்ளடக்கம் மற்றும் கலாச்சார அடிப்படையிலான அறிவு ஆகியவை முக்கியத்துவம் வாய்ந்த இடங்களில், மொழி மாதிரிகளின் கற்பித்தல் சரிசெய்தல், நுணுக்கமாகச் சரிசெய்தல் மற்றும் மதிப்பீடு ஆகியவற்றுக்கு இவை துணைபுரிகின்றன.
குறியீடு மற்றும் மென்பொருள் களஞ்சிய தரவுத்தொகுப்புகள்
C#, React, TypeScript, Angular, Java, Go, PHP, Swift மற்றும் BrightScript ஆகிய மொழிகளில், உண்மையில் வெளியிடப்பட்ட மென்பொருளிலிருந்து எடுக்கப்பட்ட உற்பத்தி குறியீட்டுத் தொகுப்புகள். பல உள்ளீடுகளில் முழுமையான புல்-ரிக்வெஸ்ட் மற்றும் கமிட் வரலாறு உள்ளது, இது மதிப்பாய்வின் கீழ் குறியீடு எவ்வாறு மாற்றப்பட்டது என்பதைக் காட்டுகிறது. உரிமம் பெறுவதற்கு முன்பு மதிப்பீட்டிற்காகக் கிடைக்கக்கூடிய களஞ்சியங்களுடன், இவை குறியீடு-முழுமையாக்கம், குறியீடு-உருவாக்கம், குறியீடு-புரிந்துகொள்ளுதல் மற்றும் குறியீடு-மதிப்பாய்வு மாதிரிப் பயிற்சிக்கு ஆதரவளிக்கின்றன.
செய்தி மற்றும் பத்திரிகை உரைத் தரவுத்தொகுப்புகள்
ஒரு முக்கிய சர்வதேச செய்தி நிறுவனத்தால் தொழில்முறையாக எழுதப்பட்டுத் திருத்தப்பட்ட செய்திக் கட்டுரைகள், ஆங்கிலம், ஸ்பானிஷ் மற்றும் அரபு மொழிகளில் தொடர் ஊட்டமாகவும், 1999 முதல் வெளியிடப்பட்ட 975,000 கட்டுரைகளின் காப்பகத் தொகுப்பாகவும் கிடைக்கின்றன. ஒவ்வொரு கட்டுரையும் எழுதியவர் பெயர், தேதி, தலைப்பு, உள்ளடக்கம் மற்றும் தலைப்புக் குறியீடுகளைக் கொண்டுள்ளது. இவை நடப்பு நிகழ்வுகள் மாதிரிப் பயிற்சி, மீட்டெடுப்பு-உதவி உருவாக்கம் மற்றும் காலப் பகுத்தறிவுப் பணிகளுக்கு ஏற்றவை.
மருத்துவ கேள்வி பதில்கள் மற்றும் வழக்கு தரவுத்தொகுப்புகள்
சுகாதாரத்தை மையமாகக் கொண்ட மாதிரிப் பயிற்சி மற்றும் மதிப்பீட்டிற்கான மருத்துவக் கேள்வி-பதில் தொகுப்புகள், மருத்துவ வழக்குச் சுருக்கங்கள் மற்றும் முழு உரை மருத்துவக் கட்டுரைகள். கோல்டன் மற்றும் சில்வர் தரவுத்தொகுப்புகள் கிடைக்கின்றன; இவற்றில், முந்தையது ஒப்பீட்டு அளவீட்டிற்காக உயர் மதிப்பாய்வுத் தரத்தில் தயாரிக்கப்பட்டுள்ளது. மூலப் பொருளில் தனிப்பட்ட முறையில் அடையாளம் காணக்கூடிய அல்லது பாதுகாக்கப்பட்ட சுகாதாரத் தகவல்கள் அடங்கியிருக்கும் இடங்களில், திருத்தம் செய்தல், அடையாளம் நீக்குதல் மற்றும் மறைத்தல் ஆகியவை இந்தச் செயல்பாட்டின் வரம்பிற்குள் அடங்கும்.
மூல உரை மற்றும் இணைய அளவிலான தொகுப்புகள்
நவீன தரநிலை அரபு மற்றும் பிராந்திய வட்டார மொழிகளை உள்ளடக்கிய, 20 மில்லியன் சொற்களைக் கொண்ட ஒரு மூலத் தொகுப்பு உட்பட, பெரிய அளவிலான மூல உரை, கட்டளைத் தூண்டல் மற்றும் உரையிலிருந்து பேச்சாக மாற்றும் எழுத்து வடிவத் தொகுப்புகள். இவை, நவீன தரநிலை அரபியை (MSA) நன்கு கையாளும் ஆனால் பேசப்படும் பிராந்திய வகைகளில் மோசமாகச் செயல்படும் மாதிரிகளில், மொழி மாதிரி முன் பயிற்சிக்கும், சொல்லகராதி மற்றும் வட்டார மொழி உள்ளடக்கத்தின் விரிவாக்கத்திற்கும் துணைபுரிகின்றன.
ஆவணம் மற்றும் ஸ்கேன் செய்யப்பட்ட உரைத் தொகுப்புகள்
செயற்கையான ரெண்டர்களுக்குப் பதிலாக, நிஜ உலக ஸ்கேன் செய்யப்பட்ட ஆவணங்கள் மற்றும் கட்டமைக்கப்பட்ட படிவங்கள், அசல் தளவமைப்புகள் மற்றும் ஸ்கேன் தரத்தில் PDF-களாக வழங்கப்படுகின்றன. அவை ஆவணச் செயற்கை நுண்ணறிவு, OCR-சார்ந்த இயற்கை மொழி செயலாக்கம் மற்றும் தகவல் பிரித்தெடுத்தல் ஆகியவற்றை ஆதரிக்கின்றன; குறிப்பாக, உரையைப் போலவே தளவமைப்பிற்கும் முக்கியத்துவம் உள்ள திறவு-மதிப்பு (key-value) மற்றும் அட்டவணை வடிவ ஆவணங்களைப் புரிந்துகொள்வதற்கு இவை உதவுகின்றன.
கல்வி மற்றும் பதிப்பாளர் உரை தரவுத்தொகுப்புகள்
ஒரு கல்விசார் பதிப்பகத்திடமிருந்து உரிமம் பெற்று, API வழியாக வழங்கப்படும் முழு உரை நூல்கள் மற்றும் ஆய்விதழ்க் கட்டுரைகள், வானியல், உயிர்மருத்துவம், குடிமுறை, மின் மற்றும் மின்னணுவியல், ஆற்றல், தொழில்துறை, பொருள் அறிவியல், இயந்திரவியல், நானோ தொழில்நுட்பம், இயற்பியல், பாலிமர் அறிவியல் மற்றும் பாதுகாப்பு மேலாண்மை ஆகிய இயற்பியல் அறிவியல் மற்றும் பொறியியல் துறைகளைச் சார்ந்த பன்னிரண்டு பாடப்பிரிவுகளை உள்ளடக்கியுள்ளன. இவை, அறிவியல் மற்றும் தொழில்நுட்ப முன் பயிற்சிக்கும், சக மதிப்பாய்வு செய்யப்பட்ட மூலப் பொருட்களிலிருந்து தகவல்களைப் பெறுவதற்கும் ஏற்றவையாக உள்ளன.
திரைக்கதை எழுதப்பட்ட பொழுதுபோக்கு மற்றும் கதை உரை
திரைப்படங்கள், தொலைக்காட்சி, அனிமேஷன் மற்றும் குறுநாடகங்கள் எனப் பலதரப்பட்ட வகைகளையும், நாடகம், நகைச்சுவை, அறிவியல் புனைவு, வெஸ்டர்ன், ஆக்ஷன், மர்மம், காதல், த்ரில்லர் மற்றும் சமய நம்பிக்கை சார்ந்த வகைகளையும் உள்ளடக்கிய ஒரு பெரிய திரைக்கதை சார்ந்த பொழுதுபோக்குத் தொகுப்பிலிருந்து எடுக்கப்பட்ட தயாரிப்புத் திரைக்கதைகள், எழுத்துப்படிவங்கள் மற்றும் கதை உரைகள். இவை கதை மற்றும் உரையாடல் உருவாக்கம், திரைக்கதை வடிவமைப்பு மாதிரியாக்கம் மற்றும் திரைக்கதையை காட்சிக்கு ஏற்றவாறு சீரமைத்தல் ஆகியவற்றுக்கு உதவுகின்றன.
அடிக்கடி கேட்கப்படும் கேள்விகள் (FAQ)
1. செயற்கை நுண்ணறிவுப் பயிற்சிக்கான உரைத் தரவுத்தொகுப்புகள் என்றால் என்ன?
செயற்கை நுண்ணறிவுப் பயிற்சிக்கான உரைத் தரவுத்தொகுப்புகள் என்பவை, பெரிய மொழி மாதிரிகள் (LLMs) மற்றும் இயற்கை மொழிச் செயலாக்க (NLP) அமைப்புகளுக்கு முன் பயிற்சி அளிக்கவும், அவற்றைச் செம்மைப்படுத்தவும், மதிப்பீடு செய்யவும் பயன்படுத்தப்படும் கேள்வி-பதில் ஜோடிகள், அறிவுறுத்தல்கள், கட்டுரைகள், குறியீடுகள், மருத்துவப் பதிவுகள், புத்தகங்கள் மற்றும் எழுத்துப்படிவங்கள் போன்ற எழுதப்பட்ட மொழியின் கவனமாகத் தொகுக்கப்பட்ட சேகரிப்புகளாகும். ஷைப்பின் உரைத் தரவுப் பட்டியல், எட்டு வகைகளில் உரிமம் பெறத் தயாரான தரவுத்தொகுப்புகளை வழங்குகிறது; இவை ஒவ்வொன்றும் நிஜ உலகப் பொருட்களிலிருந்து பெறப்பட்டவை.
2. ஷைப் எந்த வகையான உரைத் தரவுத்தொகுப்புகளை வழங்குகிறது?
இந்த அட்டவணை எட்டு வகைகளை உள்ளடக்கியுள்ளது: உரையாடல் கேள்வி-பதில் மற்றும் அறிவுறுத்தல் தரவுத்தொகுப்புகள், குறியீடு மற்றும் மென்பொருள் களஞ்சியத் தரவுத்தொகுப்புகள், செய்தி மற்றும் பத்திரிகை உரைகள், மருத்துவக் கேள்வி-பதில் மற்றும் வழக்குத் தரவுத்தொகுப்புகள், மூல உரை மற்றும் இணைய அளவிலான தரவுத்தொகுப்புகள், ஸ்கேன் செய்யப்பட்ட ஆவணத் தரவுத்தொகுப்புகள், கல்வி மற்றும் பதிப்பாளர் உரைகள், மற்றும் திரைக்கதை வடிவிலான பொழுதுபோக்கு மற்றும் கதை உரைகள்.
3. எந்தெந்த மொழிகள் மற்றும் வட்டார வழக்குகள் உள்ளடக்கப்பட்டுள்ளன?
தரவுத்தொகுப்புகள் ஆங்கிலம், அரபு மற்றும் ஸ்பானிஷ் மொழிகளில் கிடைக்கின்றன. அரபு மொழிப் பட்டியலில் நவீன தரநிலை அரபு மொழியுடன் சவூதி, எமிராட்டி, எகிப்திய மற்றும் லெவண்டைன் வட்டார மொழிகளும் அடங்கும். இது, நவீன தரநிலை அரபு மொழியை நன்கு கையாளும் ஆனால் பேசப்படும் பிராந்திய வேறுபாடுகளைக் கையாளச் சிரமப்படும் மாதிரிகளுக்கு உதவுகிறது.
4. இந்தத் தரவுத்தொகுப்புகள் எந்தெந்த செயற்கை நுண்ணறிவுப் பயன்பாட்டு நிகழ்வுகளை ஆதரிக்கின்றன?
பொதுவான பயன்பாட்டு நிகழ்வுகளில் LLM முன் பயிற்சி, அறிவுறுத்தல் சரிசெய்தல் மற்றும் நுணுக்கமாகச் சரிசெய்தல், மாதிரி மதிப்பீடு மற்றும் தரப்படுத்தல், மீட்டெடுப்பு-மேம்படுத்தப்பட்ட உருவாக்கம் (RAG), குறியீடு நிறைவு மற்றும் குறியீடு ஆய்வு, சுகாதாரத் துறை செயற்கை நுண்ணறிவு, ஆவணச் செயற்கை நுண்ணறிவு மற்றும் தகவல் பிரித்தெடுத்தல், மற்றும் உரையாடல் மற்றும் திரைக்கதை உருவாக்கம் ஆகியவை அடங்கும்.
5. ஒரு தரவுத்தொகுப்பிற்கு உரிமம் வழங்குவதற்கு முன் அதை மதிப்பீடு செய்ய முடியுமா?
ஆம். நீங்கள் ஒரு தரவுத்தொகுப்பிற்கு உரிமம் பெறுவதற்கு முன்பு, மாதிரிகள் அல்லது மதிப்பீட்டுக்கான அணுகலை ஏற்பாடு செய்யலாம். இதன்மூலம், உங்கள் குழு அதன் பொருத்தம், வடிவம் மற்றும் தரத்தைச் சரிபார்க்க முடியும். தொடர்புடைய பிரிவிலிருந்து ஒரு மாதிரியைக் கோருவதற்கு, உங்கள் பயன்பாட்டுச் சூழலுடன் எங்களைத் தொடர்புகொள்ளவும்.
6. தனிப்பட்ட முறையில் அடையாளம் காணக்கூடிய தகவல் (PII) மற்றும் சுகாதாரத் தகவல் (PHI) போன்ற முக்கியமான தரவுகள் எவ்வாறு கையாளப்படுகின்றன?
மருத்துவத் தரவுகளைப் போல, மூலப் பொருளில் தனிப்பட்ட முறையில் அடையாளம் காணக்கூடிய அல்லது பாதுகாக்கப்பட்ட சுகாதாரத் தகவல்கள் அடங்கியிருக்கும் பட்சத்தில், அந்தத் தரவு உங்கள் தனியுரிமை மற்றும் இணக்கத் தேவைகளைப் பூர்த்தி செய்யும் வகையில், திருத்தம், அடையாளம் நீக்குதல் மற்றும் மறைத்தல் ஆகியவை இந்த ஒப்பந்தத்தின் ஒரு பகுதியாக உள்ளடக்கப்பட்டுள்ளன.
7. கோல்டன் மற்றும் சில்வர் தரவுத்தொகுப்புகளுக்கு இடையே உள்ள வேறுபாடு என்ன?
கோல்டன் தரவுத்தொகுப்புகள் உயர் மதிப்பாய்வுத் தரத்திற்கு ஏற்பத் தயாரிக்கப்படுகின்றன, மேலும் அவை ஒப்பீட்டு அளவீடு மற்றும் மதிப்பீட்டிற்கு மிகவும் பொருத்தமானவை. சில்வர் தரவுத்தொகுப்புகள் வழக்கமான மதிப்பாய்வுக்கு உட்படுத்தப்படுகின்றன, மேலும் அளவு முக்கியத்துவம் வாய்ந்த பெரிய அளவிலான பயிற்சிக்கு அவை மிகவும் பொருத்தமானவை.
8. தரவுத்தொகுப்புகளைத் தனிப்பயனாக்கவோ அல்லது விரிவாக்கவோ முடியுமா?
ஆம். தரவுத்தொகுப்புகளை உங்கள் திட்டத்திற்கு ஏற்றவாறு மொழி, துறை, அளவு அல்லது வடிவத்தின் அடிப்படையில் வரையறுக்கலாம். பட்டியல் உங்களுக்குத் தேவையானதை உள்ளடக்கவில்லை என்றால், ஷைப் உங்கள் விவரக்குறிப்புகளுக்கு ஏற்ப தனிப்பயன் உரைத் தரவைச் சேகரித்து, அதில் குறிப்புகளைச் சேர்க்கும்.
9. என்ன உரிம விருப்பங்கள் உள்ளன?
தரவுத்தொகுப்பு, அதன் அளவு, நோக்கம் மற்றும் கால அளவு ஆகியவற்றின் அடிப்படையில் ஒவ்வொரு ஒப்பந்தத்திற்கும் உரிமம் வழங்கப்படுகிறது. செய்தி உள்ளடக்கம் போன்ற சில தரவுத்தொகுப்புகள், தொடர்ச்சியான ஊட்டம் மற்றும் ஒருமுறை மட்டும் பயன்படுத்தக்கூடிய காப்பகத் தொகுப்பு ஆகிய இரண்டு வடிவங்களிலும் கிடைக்கின்றன.
10. தரவுத்தொகுப்புகள் எவ்வாறு வழங்கப்படுகின்றன?
வழங்கல் என்பது தரவுத்தொகுப்பைப் பொறுத்தது. கட்டமைக்கப்பட்ட கோப்புகள், ஸ்கேன் செய்யப்பட்ட ஆவணங்களுக்கான PDFகள், செய்திகளுக்கான தொடர் ஊட்டங்கள், மற்றும் கல்வித்துறை மற்றும் பதிப்பாளர் உள்ளடக்கத்திற்கான API வழங்கல் ஆகியவை விருப்பங்களில் அடங்கும். வழங்கல் வடிவத்தை உங்கள் பயிற்சி செயல்முறையுடன் சீரமைக்கலாம்.
11. உரைத் தரவுத்தொகுப்புகளின் விலை எவ்வளவு?
விலையானது வகை, அளவு, பிரத்தியேக உரிமை மற்றும் உரிம விதிமுறைகளைப் பொறுத்து அமையும். உங்கள் திட்டத்திற்கு ஏற்ற விலைப்புள்ளியைப் பெற, உங்கள் தேவைகளை எங்கள் குழுவுடன் பகிர்ந்து கொள்ளுங்கள்.
12. நான் எப்படி தொடங்குவது?
உங்கள் பயன்பாட்டுக்கு ஏற்ற வகையைத் தேர்ந்தெடுத்து, பின்னர் உங்கள் தேவைகளுடன் ஷைப்பைத் தொடர்பு கொள்ளுங்கள். எங்கள் குழு தரவுத்தொகுப்பு விவரங்களைப் பகிர்ந்து, மாதிரிகளை ஏற்பாடு செய்து, உங்கள் திட்டத்திற்கான உரிமத்தின் நோக்கத்தை வரையறுக்கும்.
