பேச்சு அங்கீகாரத்திற்கான பயிற்சி தரவு: B2B AI குழுக்களுக்கான நடைமுறை வழிகாட்டி

நீங்கள் குரல் இடைமுகங்கள், டிரான்ஸ்கிரிப்ஷன் அல்லது மல்டிமாடல் முகவர்களை உருவாக்கினால், உங்கள் மாதிரியின் உச்சவரம்பு உங்கள் தரவால் அமைக்கப்படுகிறது. பேச்சு அங்கீகாரத்தில் (ASR), அதாவது நிஜ உலக பயனர்கள், சாதனங்கள் மற்றும் சூழல்களைப் பிரதிபலிக்கும் மாறுபட்ட, நன்கு பெயரிடப்பட்ட ஆடியோவைச் சேகரித்து அதை ஒழுக்கத்துடன் மதிப்பீடு செய்வதாகும்.

நம்பகமான தயாரிப்புகளை விரைவாக அனுப்ப, பேச்சுப் பயிற்சித் தரவை எவ்வாறு திட்டமிடுவது, சேகரிப்பது, ஒழுங்கமைப்பது மற்றும் மதிப்பீடு செய்வது என்பதை இந்த வழிகாட்டி உங்களுக்குக் காட்டுகிறது.

"பேச்சு அங்கீகாரத் தரவு" என எதைக் கணக்கிடலாம்?

குறைந்தபட்சம்: ஆடியோ + உரை. நடைமுறையில், உயர் செயல்திறன் கொண்ட அமைப்புகளுக்கு வளமான மெட்டாடேட்டா (பேச்சாளர் புள்ளிவிவரங்கள், மொழி, சாதனம், ஒலி நிலைமைகள்), குறிப்பு கலைப்பொருட்கள் (நேர முத்திரைகள், டயரிசேஷன், சிரிப்பு போன்ற லெக்சிகல் அல்லாத நிகழ்வுகள்) மற்றும் வலுவான கவரேஜுடன் மதிப்பீட்டுப் பிரிவுகளும் தேவை.

ப்ரோ முனை: நீங்கள் "தரவுத்தொகுப்பு" என்று சொல்லும்போது, ​​பணியை (டிக்டேஷன் vs. கட்டளைகள் vs. உரையாடல் ASR), டொமைன் (ஆதரவு அழைப்புகள், சுகாதார குறிப்புகள், காரில் உள்ள கட்டளைகள்) மற்றும் கட்டுப்பாடுகள் (தாமதம், சாதனத்தில் vs. கிளவுட்) ஆகியவற்றைக் குறிப்பிடவும். இது மாதிரி விகிதத்திலிருந்து குறிப்புத் திட்டம் வரை அனைத்தையும் மாற்றுகிறது.

பேச்சுத் தரவு நிறமாலை (உங்கள் பயன்பாட்டு நிலைக்குப் பொருந்துவதைத் தேர்ந்தெடுக்கவும்)

1. ஸ்கிரிப்ட் செய்யப்பட்ட பேச்சு (உயர் கட்டுப்பாடு)

பேச்சாளர்கள் குறிப்புகளை வார்த்தைகளில் சொல்லில் வாசிக்கிறார்கள். கட்டளை & கட்டுப்பாடு, எழுப்பும் வார்த்தைகள் அல்லது ஒலிப்பு கவரேஜுக்கு சிறந்தது. வேகமான அளவு; குறைவான இயற்கை மாறுபாடு.

2. காட்சி அடிப்படையிலான பேச்சு (அரை கட்டுப்பாடு)

பேச்சாளர்கள் ஒரு சூழ்நிலையில் ("கிளௌகோமாவிற்கான சந்திப்பிற்காக ஒரு மருத்துவமனையைக் கேளுங்கள்") தூண்டுதல்களைச் செயல்படுத்துகிறார்கள். பணியில் இருக்கும்போது நீங்கள் மாறுபட்ட சொற்றொடர்களைப் பெறுவீர்கள் - இது டொமைன் மொழி கவரேஜுக்கு ஏற்றது.

3. இயல்பான/எழுத்துப்பெறாத பேச்சு (குறைந்த கட்டுப்பாடு)

உண்மையான உரையாடல்கள் அல்லது இலவச மோனோலாக்ஸ். பல-ஸ்பீக்கர், நீண்ட வடிவ அல்லது சத்தமான பயன்பாட்டு நிகழ்வுகளுக்கு அவசியம். சுத்தம் செய்வது கடினம், ஆனால் வலிமைக்கு முக்கியமானது. அசல் கட்டுரை இந்த நிறமாலையை அறிமுகப்படுத்தியது; அதிகமாகவோ அல்லது குறைவாகவோ பொருந்துவதைத் தவிர்க்க, தயாரிப்புக்கு ஸ்பெக்ட்ரத்தை பொருத்துவதை இங்கே வலியுறுத்துகிறோம்.

உங்கள் தரவுத்தொகுப்பை ஒரு தயாரிப்பு போல திட்டமிடுங்கள்

வெற்றி மற்றும் தடைகளை முன்கூட்டியே வரையறுக்கவும்.

• முதன்மை அளவீடு: பெரும்பாலான மொழிகளுக்கு WER (சொல் பிழை விகிதம்); தெளிவான சொல் எல்லைகள் இல்லாத மொழிகளுக்கு CER (எழுத்து பிழை விகிதம்).
• தாமதம் & தடம்: சாதனத்தில் இயக்குவீர்களா? அது மாதிரி விகிதம், மாதிரி மற்றும் சுருக்கத்தைப் பாதிக்கிறது.
• தனியுரிமை மற்றும் இணக்கம்: நீங்கள் PHI/PII ஐத் தொட்டால் (எ.கா., சுகாதாரப் பராமரிப்பு), ஒப்புதல், அடையாளத்தை நீக்குதல் மற்றும் தணிக்கை செய்யும் திறனை உறுதிசெய்யவும்.

உண்மையான பயன்பாட்டை தரவு விவரக்குறிப்புகளில் வரைபடமாக்குங்கள்.

• மொழிகள் & உச்சரிப்புகள்: எ.கா., en-US, en-IN, en-GB; நகர்ப்புற/கிராமப்புற மற்றும் பன்மொழி குறியீடு மாற்றத்தை சமநிலைப்படுத்துங்கள்.
• சூழல்கள்: அலுவலகம், தெரு, கார், சமையலறை; SNR இலக்குகள்; எதிரொலி vs. நெருக்கமான பேச்சு மைக்குகள்.
• சாதனங்கள்: ஸ்மார்ட் ஸ்பீக்கர்கள், மொபைல்கள் (ஆண்ட்ராய்டு/iOS), ஹெட்செட்கள், கார் கிட்கள், லேண்ட்லைன்கள்.
• உள்ளடக்கக் கொள்கைகள்: பொருத்தமான மற்றும் அனுமதிக்கப்பட்ட இடங்களில், ஆபாசப் பேச்சு, உணர்திறன் மிக்க தலைப்புகள், அணுகல் குறிப்புகள் (தடுமாற்றம், டைசர்த்ரியா).

உங்களுக்கு எவ்வளவு தரவு தேவை?

ஒற்றை எண் இல்லை, ஆனால் கவரேஜ் மூல மணிநேரங்களை விட அதிகமாக உள்ளது. ஒரு சில பங்களிப்பாளர்களின் மிக நீண்ட பதிவுகளை விட ஸ்பீக்கர்கள், சாதனங்கள் மற்றும் ஒலியியல் ஆகியவற்றின் அகலத்திற்கு முன்னுரிமை கொடுங்கள். கட்டளை மற்றும் கட்டுப்பாட்டிற்கு, நூற்றுக்கணக்கான ஸ்பீக்கர்களில் ஆயிரக்கணக்கான சொற்கள் பெரும்பாலும் குறைவான, நீண்ட பதிவுகளை விட அதிகமாக இருக்கும். உரையாடல் ASR க்கு, மணிநேரம் × பன்முகத்தன்மை மற்றும் கவனமாக குறிப்பு ஆகியவற்றில் முதலீடு செய்யுங்கள்.

தற்போதைய நிலப்பரப்பு: லட்சக்கணக்கான மணிநேரங்களில் பயிற்சி பெற்ற திறந்த மூல மாதிரிகள் (எ.கா., விஸ்பர்) ஒரு வலுவான அடிப்படையை அமைக்கின்றன; உங்கள் தரவோடு டொமைன், உச்சரிப்பு மற்றும் இரைச்சல் தழுவல் ஆகியவை இன்னும் உற்பத்தி அளவீடுகளை நகர்த்துகின்றன.

தொகுப்பு: படிப்படியான பணிப்பாய்வு

1. உண்மையான பயனர் நோக்கத்திலிருந்து தொடங்குங்கள்

தேடல் பதிவுகள், ஆதரவு டிக்கெட்டுகள், IVR டிரான்ஸ்கிரிப்டுகள், அரட்டை பதிவுகள் மற்றும் தயாரிப்பு பகுப்பாய்வுகளை வரைவு அறிவுறுத்தல்கள் மற்றும் காட்சிகளுக்கு என்னுடையது. இல்லையெனில் நீங்கள் தவறவிடக்கூடிய நீண்ட வால் நோக்கங்களை நீங்கள் உள்ளடக்குவீர்கள்.

2. மாறுபாட்டை மனதில் கொண்டு வரைவு அறிவுறுத்தல்கள் & ஸ்கிரிப்டுகள்

• குறைந்தபட்ச ஜோடிகளை எழுதுங்கள் (“வாழ்க்கை அறை விளக்கை இயக்கு” ​​vs. “சுவிட்ச் ஆன்…”).
• விதைப் பற்றாக்குறை ("உம், உங்களால் முடியுமா...") மற்றும் பொருத்தமாக இருந்தால் குறியீடு மாற்றம்.
• சோர்வைத் தவிர்க்க வாசிப்பு அமர்வுகளை ~15 நிமிடங்களாகக் கட்டுப்படுத்தவும்; சுத்தமான பிரிவுக்காக (உங்கள் அசல் வழிகாட்டுதலுக்கு இணங்க) வரிகளுக்கு இடையில் 2-3 வினாடி இடைவெளிகளைச் செருகவும்.

3. சரியான பேச்சாளர்களை நியமிக்கவும்.

சந்தை மற்றும் நியாயத்தன்மை இலக்குகளுடன் இணைந்த மக்கள்தொகை பன்முகத்தன்மையை இலக்காகக் கொள்ளுங்கள். தகுதி, ஒதுக்கீடுகள் மற்றும் ஒப்புதலை ஆவணப்படுத்துங்கள். நியாயமாக ஈடுசெய்யுங்கள்.

4. யதார்த்தமான சூழ்நிலைகளில் பதிவு செய்யவும்

ஒரு அணியைச் சேகரிக்கவும்: ஸ்பீக்கர்கள் × சாதனங்கள் × சூழல்கள்.

உதாரணமாக:

• சாதனங்கள்: ஐபோன் மிட்-டையர், ஆண்ட்ராய்டு லோ-டையர், ஸ்மார்ட் ஸ்பீக்கர் ஃபார்-ஃபீல்ட் மைக்.
• சூழல்களை: அமைதியான அறை (வயல்வெளிக்கு அருகில்), சமையலறை (உபகரணங்கள்), கார் (நெடுஞ்சாலை), தெரு (போக்குவரத்து).
• வடிவங்கள்: ASR-க்கு 16 kHz / 16-பிட் PCM பொதுவானது; நீங்கள் மாதிரியைக் குறைக்க விரும்பினால் அதிக விகிதங்களைக் கருத்தில் கொள்ளுங்கள்.

5. மாறுபாட்டைத் தூண்டவும் (வேண்டுமென்றே)

இயல்பான வேகம், சுய திருத்தங்கள் மற்றும் குறுக்கீடுகளை ஊக்குவிக்கவும். சூழ்நிலை சார்ந்த மற்றும் இயற்கையான தரவுகளுக்கு, அதிகமாக பயிற்சி அளிக்க வேண்டாம்; உங்கள் வாடிக்கையாளர்கள் உருவாக்கும் குழப்பத்தை நீங்கள் விரும்புகிறீர்கள்.

6. கலப்பின குழாய் மூலம் படியெடுத்தல்

• வலுவான அடிப்படை மாதிரியுடன் (எ.கா., விஸ்பர் அல்லது உங்கள் வீட்டில்) தானாக படியெடுக்கவும்.
• திருத்தங்கள், நாட்குறிப்பு மற்றும் நிகழ்வுகளுக்கான மனித தரநிலை (சிரிப்பு, நிரப்பு வார்த்தைகள்).
• நிலைத்தன்மை சரிபார்ப்புகள்: எழுத்துப்பிழை அகராதிகள், டொமைன் அகராதி, நிறுத்தற்குறி கொள்கை.

7. நன்றாகப் பிரி; நேர்மையாகச் சோதிக்கவும்.

• ஸ்பீக்கர் மற்றும் ஸ்கீரியோ இணைப்பு நீக்கத்துடன் கூடிய பயிற்சி/மேம்பாடு/சோதனை (கசிவைத் தவிர்க்கவும்).
• உற்பத்தி சத்தம் மற்றும் சாதனங்களை பிரதிபலிக்கும் ஒரு நிஜ உலக குருட்டு தொகுப்பை வைத்திருங்கள்; மறு செய்கையின் போது அதைத் தொடாதீர்கள்.

குறிப்பு: லேபிள்களை உங்கள் அகழியாக ஆக்குங்கள்.

தெளிவான திட்டத்தை வரையறுக்கவும்.

•  லெக்சிக்கல் விதிகள்: எண்கள் (“இருபத்தைந்து” vs. “25”), சுருக்கெழுத்துக்கள், நிறுத்தற்குறிகள்.
•  நிகழ்வுகள்: [சிரிப்பு], [குறுக்கீடு], [செவிக்கு புலப்படாமல்: 00:03.2–00:03.7].
• டயரிசேஷன்: அனுமதிக்கப்பட்ட இடங்களில் ஸ்பீக்கர் A/B லேபிள்கள் அல்லது கண்காணிக்கப்பட்ட ஐடிகள்.
• நேர முத்திரைகள்: தேடல், வசன வரிகள் அல்லது சீரமைப்பை நீங்கள் ஆதரித்தால் சொல் அல்லது சொற்றொடர் நிலை.

குறிப்புரையாளர்களைப் பயிற்றுவிக்கவும்; அவற்றை அளவிடவும்.

தங்கப் பணிகள் மற்றும் இடை-குறிப்பு ஒப்பந்தம் (IAA) ஆகியவற்றைப் பயன்படுத்தவும். முக்கியமான டோக்கன்கள் (தயாரிப்பு பெயர்கள், மருந்துகள்) மற்றும் டர்ன்அரவுண்ட் நேரங்களில் துல்லியம்/நினைவூட்டலைக் கண்காணிக்கவும். மல்டி-பாஸ் QA (சக மதிப்பாய்வு → முன்னணி மதிப்பாய்வு) பின்னர் மாதிரி மதிப்பீட்டு நிலைத்தன்மையில் பலனளிக்கும்.

தர மேலாண்மை: உங்கள் தரவு ஏரியை அனுப்ப வேண்டாம்.

• தானியங்கி திரைகள்: கிளிப்பிங், கிளிப்பிங் விகிதம், SNR வரம்புகள், நீண்ட அமைதிகள், கோடெக் பொருத்தமின்மைகள்.
• மனித தணிக்கைகள்: சூழல் மற்றும் சாதனத்தின் அடிப்படையில் சீரற்ற மாதிரிகள்; டயரிசேஷன் மற்றும் நிறுத்தற்குறிகளை இடஞ்சார்ந்த சரிபார்ப்பு.
• பதிப்பு: தரவுத்தொகுப்புகளை குறியீடு—செம்வர், சேஞ்ச்லாக்ஸ் மற்றும் மாறாத சோதனைத் தொகுப்புகள் போல நடத்துங்கள்.

உங்கள் ASR ஐ மதிப்பிடுதல்: ஒரு ஒற்றை WER க்கு அப்பால்

WER ஐ ஒட்டுமொத்தமாகவும் துண்டு வாரியாகவும் அளவிடவும்:

• சூழலைப் பொறுத்து: அமைதி vs. கார் vs. தெரு
• சாதனம் மூலம்: குறைந்த-நிலை ஆண்ட்ராய்டு vs. ஐபோன்
• உச்சரிப்பு/மொழியின்படி: en-IN vs. en-US
• டொமைன் விதிமுறைகளின்படி: தயாரிப்பு பெயர்கள், மருந்துகள், முகவரிகள்

நீங்கள் நிகழ்நேர UX-ஐ இயக்கினால், தாமதம், பகுதி நடத்தை மற்றும் எண்ட்பாயிண்டிங்கைக் கண்காணிக்கவும். மாதிரி கண்காணிப்பிற்கு, WER மதிப்பீடு மற்றும் பிழை கண்டறிதல் பற்றிய ஆராய்ச்சி, எல்லாவற்றையும் படியெடுக்காமல் மனித மதிப்பாய்வை முன்னுரிமைப்படுத்த உதவும்.