வழக்கு ஆய்வு: உரையாடல் AI
3 இந்திய மொழிகளில் ASR ஐ உருவாக்க 8 மணி நேரத்திற்கும் மேலான தரவு சேகரிக்கப்பட்டு, பிரிக்கப்பட்டு, படியெடுக்கப்பட்டது.
பாஷினி திட்டத்தின் மூலம் அதன் குடிமக்கள் தங்கள் சொந்த மொழியில் இணையம் மற்றும் டிஜிட்டல் சேவைகளை எளிதாக அணுகுவதை அரசாங்கம் நோக்கமாகக் கொண்டுள்ளது.
இந்தியாவின் AI-உந்துதல் மொழி மொழிபெயர்ப்பு தளமான BHASHINI, டிஜிட்டல் இந்தியா முயற்சியின் ஒரு முக்கிய பகுதியாகும்.
செயற்கை நுண்ணறிவு (AI) மற்றும் இயற்கை மொழி செயலாக்கம் (NLP) கருவிகளை MSMEகள், ஸ்டார்ட்அப்கள் மற்றும் சுயாதீன கண்டுபிடிப்பாளர்களுக்கு வழங்க வடிவமைக்கப்பட்டுள்ள பாஷினி தளம் ஒரு பொது வளமாக செயல்படுகிறது. இந்திய குடிமக்கள் தங்கள் சொந்த மொழிகளில் நாட்டின் டிஜிட்டல் முன்முயற்சிகளுடன் தொடர்புகொள்வதன் மூலம் டிஜிட்டல் உள்ளடக்கத்தை ஊக்குவிப்பதே இதன் இலக்காகும்.
கூடுதலாக, இது இந்திய மொழிகளில் இணைய உள்ளடக்கம் கிடைப்பதை கணிசமாக விரிவுபடுத்துவதை நோக்கமாகக் கொண்டுள்ளது. இது குறிப்பாக நிர்வாகம் மற்றும் கொள்கை, அறிவியல் மற்றும் தொழில்நுட்பம் போன்ற பொது நலன் சார்ந்த பகுதிகளை இலக்காகக் கொண்டது. இதன் விளைவாக, குடிமக்கள் தங்கள் சொந்த மொழியில் இணையத்தைப் பயன்படுத்த ஊக்குவிக்கும், அவர்களின் செயலில் பங்கேற்பதை ஊக்குவிக்கும்.
உண்மையான உலக தீர்வு
தரவு மூலம் உள்ளூர்மயமாக்கலின் சக்தியை கட்டவிழ்த்து விடுதல்
இந்திய மொழிகளில் டிஜிட்டல் சேவைகளை வழங்குவதற்காக, பன்மொழி தரவுத்தொகுப்புகள் மற்றும் AI அடிப்படையிலான மொழி தொழில்நுட்ப தீர்வுகளை உருவாக்குவதில் கவனம் செலுத்தும் ஒரு தளம் இந்தியாவிற்குத் தேவைப்பட்டது. இந்த முயற்சியைத் தொடங்க, இந்திய தொழில்நுட்ப நிறுவனம், மெட்ராஸ் (IIT மெட்ராஸ்), பல மொழி பேச்சு மாதிரிகளை உருவாக்க இந்திய மொழி தரவுத்தொகுப்புகளைச் சேகரித்து, பிரித்து, படியெடுக்க ஷைப் உடன் கூட்டு சேர்ந்தது.
சவால்கள்
வாடிக்கையாளருக்கு இந்திய மொழிகளுக்கான பேச்சுத் தொழில்நுட்ப பேச்சு வழி வரைபடத்துடன் உதவ, குழுவானது AI மாதிரியை உருவாக்க பெரிய அளவிலான பயிற்சித் தரவைப் பெறவும், பிரித்து எழுதவும் வேண்டும். வாடிக்கையாளரின் முக்கியமான தேவைகள்:
தரவு சேகரிப்பு
- ஒரு மொழிக்கு 3000 பேச்சுவழக்குகளுடன் 8 இந்திய மொழிகளில் 4 மணிநேர பயிற்சி தரவைப் பெறுங்கள்.
- ஒவ்வொரு மொழிக்கும், சப்ளையர் Extempore Speech மற்றும் சேகரிப்பார்
18-60 வயதுடையவர்களிடமிருந்து உரையாடல் பேச்சு - வயது, பாலினம், கல்வி மற்றும் பேச்சுவழக்குகளின் அடிப்படையில் பலதரப்பட்ட பேச்சாளர்களின் கலவையை உறுதிப்படுத்தவும்
- விவரக்குறிப்புகளின்படி பல்வேறு பதிவு சூழல்களின் கலவையை உறுதிப்படுத்தவும்.
- ஒவ்வொரு ஆடியோ ரெக்கார்டிங்கும் குறைந்தது 16kHz ஆனால் முன்னுரிமை 44kHz ஆக இருக்க வேண்டும்
தரவு பிரிவு
- கொடுக்கப்பட்ட ஒவ்வொரு ஸ்பீக்கருக்கும் 15 வினாடிகள் கொண்ட பேச்சுப் பிரிவுகளை உருவாக்கி, ஒலியின் வகை (பேச்சு, பாப்பிள், இசை, சத்தம்), திருப்பங்கள், உச்சரிப்புகள் மற்றும் உரையாடலில் உள்ள சொற்றொடர்களுக்கு ஆடியோவை மில்லி விநாடிகளுக்கு முத்திரையிடவும்
- தொடக்கத்திலும் முடிவிலும் 200-400 மில்லி செகண்ட் பேடிங் மூலம் அதன் இலக்கு ஒலி சமிக்ஞைக்காக ஒவ்வொரு பிரிவையும் உருவாக்கவும்.
- அனைத்து பிரிவுகளுக்கும், பின்வரும் பொருள்கள் நிரப்பப்பட வேண்டும், அதாவது தொடக்க நேரம், முடிவு நேரம், பிரிவு ஐடி, ஒலி அளவு, ஒலி வகை, மொழி குறியீடு, ஸ்பீக்கர் ஐடி போன்றவை.
தரவு படியெடுத்தல்
- எழுத்துகள் மற்றும் சிறப்பு சின்னங்கள், எழுத்துப்பிழை மற்றும் இலக்கணம், பெரியெழுத்து, சுருக்கங்கள், சுருக்கங்கள், தனிப்பட்ட பேச்சு எழுத்துகள், எண்கள், நிறுத்தற்குறிகள், சுருக்கெழுத்துக்கள், தெளிவற்ற, பேச்சு, புரியாத பேச்சு, இலக்கு அல்லாத மொழிகள் போன்றவற்றின் விவரங்கள் டிரான்ஸ்கிரிப்ஷன் வழிகாட்டுதல்களைப் பின்பற்றவும்.
தரச் சரிபார்ப்பு & கருத்து
- அனைத்து பதிவுகளும் தர மதிப்பீடு மற்றும் சரிபார்ப்புக்கு உட்படுத்தப்படும், சரிபார்க்கப்பட்ட பேச்சு மட்டுமே வழங்கப்பட வேண்டும்
தீர்வு
உரையாடல் AI பற்றிய எங்கள் ஆழமான புரிதலுடன், 8 இந்திய மொழிகளில் ஆடியோ தரவுத்தொகுப்பின் பெரிய தொகுப்பை உருவாக்க, நிபுணத்துவ சேகரிப்பாளர்கள், மொழியியலாளர்கள் மற்றும் குறிப்புரையாளர்கள் குழுவுடன் தரவைச் சேகரிக்க, பிரிக்க மற்றும் படியெடுக்க வாடிக்கையாளருக்கு உதவினோம்.
Shaip-க்கான பணியின் நோக்கம், பெரிய அளவிலான ஆடியோ பயிற்சித் தரவைப் பெறுதல், ஆடியோ பதிவுகளை பலவாகப் பிரித்தல், தரவை படியெடுத்தல் மற்றும் மெட்டாடேட்டாவைக் கொண்ட தொடர்புடைய JSON கோப்புகளை வழங்குதல் [SpeakerID, வயது, பாலினம், மொழி, பேச்சுவழக்கு, தாய்மொழி, தகுதி, தொழில், டொமைன், கோப்பு வடிவம், அதிர்வெண், சேனல், ஆடியோ வகை, பேச்சாளர்களின் எண்ணிக்கை, வெளிநாட்டு மொழிகளின் எண்ணிக்கை, பயன்படுத்தப்படும் அமைப்பு, Narrowband அல்லது Wideband ஆடியோ போன்றவை] ஆகியவற்றை உள்ளடக்கியது, ஆனால் அவை மட்டும் அல்ல.
சிக்கலான திட்டங்களுக்கு பேச்சுத் தொழில்நுட்பத்தைப் பயிற்றுவிப்பதற்குத் தேவையான தரத்தை விரும்பிய அளவில் பராமரிக்கும் போது ஷைப் 3000 மணிநேர ஆடியோ தரவை அளவில் சேகரித்தார். பங்கேற்பாளர்கள் ஒவ்வொருவரிடமிருந்தும் வெளிப்படையான ஒப்புதல் படிவம் எடுக்கப்பட்டது.
1. தரவு சேகரிப்பு
2. தரவுப் பிரிவு
- சேகரிக்கப்பட்ட ஆடியோ தரவு, ஒவ்வொன்றும் 15 வினாடிகள் கொண்ட பேச்சுப் பிரிவுகளாக மேலும் பிரிக்கப்பட்டு, கொடுக்கப்பட்ட ஒவ்வொரு பேச்சாளருக்கும், ஒலியின் வகைக்கும், திருப்பங்களுக்கும், உச்சரிப்புகளுக்கும், ஒரு உரையாடலில் உள்ள சொற்றொடர்களுக்கும் மில்லி விநாடிகளுக்கு நேர முத்திரையிடப்பட்டது.
- ஒலி சமிக்ஞையின் தொடக்கத்திலும் முடிவிலும் 200-400 மில்லி விநாடிகள் திணிப்புடன் அதன் இலக்கு ஒலி சமிக்ஞைக்காக ஒவ்வொரு பிரிவையும் உருவாக்கியது.
- அனைத்து பிரிவுகளுக்கும், பின்வரும் பொருள்கள் உள்ளன மற்றும் நிரப்பப்பட்டன அதாவது, தொடக்க நேரம், முடிவு நேரம், பிரிவு ஐடி, ஒலி அளவு (உரத்த, இயல்பான, அமைதியான), முதன்மை ஒலி வகை (பேச்சு, பேபிள், இசை, சத்தம், ஒன்றுடன் ஒன்று), மொழி குறியீடு ஒலிபெருக்கி ஐடி, டிரான்ஸ்கிரிப்ஷன் போன்றவை.
3. தர சோதனை மற்றும் கருத்து
- அனைத்து பதிவுகளும் தரத்திற்காக மதிப்பிடப்பட்டன மற்றும் WER 90% மற்றும் TER 90% உடன் சரிபார்க்கப்பட்ட பேச்சுப் பதிவுகள் மட்டுமே வழங்கப்பட்டன
- தர சரிபார்ப்புப் பட்டியல் பின்வருமாறு:
» பிரிவு நீளத்தின் அதிகபட்சம் 15 வினாடிகள்
» குறிப்பிட்ட டொமைன்களில் இருந்து படியெடுத்தல், அதாவது: வானிலை, பல்வேறு வகையான செய்திகள், சுகாதாரம், விவசாயம், கல்வி, வேலைகள் அல்லது நிதி
» குறைந்த பின்னணி இரைச்சல்
» ஆடியோ கிளிப் ஆஃப் இல்லை - சிதைவு இல்லை
» டிரான்ஸ்கிரிப்ஷனுக்கான சரியான ஆடியோ பிரிவு
4. தரவு படியெடுத்தல்
தயக்கங்கள், நிரப்பு வார்த்தைகள், தவறான தொடக்கங்கள் மற்றும் பிற வாய்மொழி நடுக்கங்கள் உட்பட அனைத்து பேசும் வார்த்தைகளும் டிரான்ஸ்கிரிப்ஷனில் துல்லியமாகப் பிடிக்கப்பட்டன. மூலதனம் மற்றும் சிற்றெழுத்துகள், எழுத்துப்பிழை, தலையெழுத்து, சுருக்கங்கள், சுருக்கங்கள், எண்கள், ஆகியவற்றைச் சுற்றியுள்ள விவரங்கள் டிரான்ஸ்கிரிப்ஷன் வழிகாட்டுதல்களையும் நாங்கள் பின்பற்றினோம்.
நிறுத்தற்குறிகள், சுருக்கெழுத்துக்கள், தெளிவற்ற பேச்சு, பேச்சு அல்லாத இரைச்சல்கள் போன்றவை. மேலும் சேகரிப்பு மற்றும் படியெடுத்தலுக்குப் பின்பற்றப்படும் பணி ஓட்டம் பின்வருமாறு:
முடிவு
நிபுணத்துவ மொழியியலாளர்களின் உயர்தர ஆடியோ தரவு, இந்திய தொழில்நுட்பக் கழகம் - மெட்ராஸ், குறிப்பிட்ட நேரத்தில் 8 இந்திய மொழிகளில் வெவ்வேறு பேச்சுவழக்குகளுடன் கூடிய பன்மொழி பேச்சு அங்கீகார மாதிரிகளைத் துல்லியமாகப் பயிற்றுவிக்கவும், உருவாக்கவும் உதவும். பேச்சு அங்கீகார மாதிரிகள் இதற்குப் பயன்படுத்தப்படலாம்:
- குடிமக்களை அவர்களின் சொந்த தாய்மொழியில் உள்ள முயற்சிகளுடன் இணைப்பதன் மூலம் டிஜிட்டல் உள்ளடக்கத்திற்கான மொழித் தடையை கடக்க வேண்டும்.
- டிஜிட்டல் ஆளுகையை ஊக்குவிக்கிறது
- இந்திய மொழிகளில் சேவைகள் மற்றும் தயாரிப்புகளுக்கான சுற்றுச்சூழல் அமைப்பை உருவாக்க வினையூக்கி
- பொது நலனுக்கான களங்களில், குறிப்பாக, ஆளுகை மற்றும் கொள்கைகளில், மேலும் உள்ளூர்மயமாக்கப்பட்ட டிஜிட்டல் உள்ளடக்கம்
உரையாடல் செயற்கை நுண்ணறிவுத் துறையில் ஷைப்பின் நிபுணத்துவம் எங்களைக் கவர்ந்தது. கடுமையான காலக்கெடு மற்றும் வழிகாட்டுதல்களுக்குள், 8 மொழிகளில் உள்ள நிபுணத்துவம் வாய்ந்த மொழியியலாளர்களிடமிருந்து தேவையான பயிற்சித் தரவுகளைப் பெறுவது, பிரிப்பது, படியெடுப்பது மற்றும் வழங்குவது வரையிலான அவர்களின் ஒட்டுமொத்த திட்டச் செயலாக்கத் திறன்; அதே சமயம் ஏற்றுக்கொள்ளக்கூடிய தரத்தையும் அவர்கள் பராமரித்தனர்.
