ஒரு AI பேச்சு வாடிக்கையாளருக்காக, விரிவாக்கக்கூடிய குரல் நகலாக்கத் தர மதிப்பீட்டுத் திட்டத்தை ஷைப் எவ்வாறு வழங்கியது
செயல்விளக்கத் தரத்திலிருந்து களப் பயன்பாட்டிற்குத் தயாரான நிலை வரை — ஆய்வக அளவீடுகளுக்கும் நிஜ உலகச் செயல்திறனுக்கும் இடையிலான இடைவெளியைக் குறைக்க, கட்டமைக்கப்பட்ட மனித மதிப்பீடு ஒரு AI பேச்சு மென்பொருளுக்கு எவ்வாறு உதவியது.
திட்ட கண்ணோட்டம்
குரல் நகலாக்க மாதிரிகள் செயல்விளக்கங்களில் ஈர்க்கக்கூடியதாகத் தோன்றலாம், ஆனால் நிஜ உலகப் பயன்பாட்டில் அவை சிரமப்படுகின்றன. தங்கள் மாதிரி உண்மையில் மேம்படுகிறதா என்பதை அளவிடுவதற்கு வாடிக்கையாளருக்கு ஒரு நம்பகமான வழி தேவைப்பட்டது – குறிப்பாக, முன்னுரிமை அளிக்கப்பட்ட சந்தையான இந்திய ஆங்கிலத்திற்கு இது அவசியமாக இருந்தது.
மூன்று முக்கிய வணிகக் கேள்விகளுக்குப் பதிலளிக்கக்கூடிய ஒரு மனித மதிப்பீட்டுத் திட்டத்தை வடிவமைத்து நிர்வகிப்பதற்காக ஷாய்ப் பணியமர்த்தப்பட்டார்:
- பேச்சு இயல்பாக இருக்கிறதா?
- இதன் ஒலி இன்னும் அசல் ஸ்பீக்கரைப் போலவே இருக்கிறதா?
- உற்பத்திப் பயன்பாட்டிற்கு இது போதுமான அளவு பாதுகாப்பானதாகவும் நம்பகமானதாகவும் உள்ளதா?
தானியங்கு அளவீடுகளை மட்டும் சார்ந்திருப்பதற்குப் பதிலாக, இந்தத் திட்டம் பயிற்சி பெற்ற மனித மதிப்பாய்வாளர்களைப் பயன்படுத்தி உண்மையான ஒலி வெளியீடுகளை மதிப்பீடு செய்து, மாதிரியின் குறைபாடுகள் எவை என்பதைக் கண்டறிந்தது.
முக்கிய தரவுத்தொகுப்பு அளவீடுகள்
வழக்கு பயன்படுத்தவும்
குரல் நகலாக்கத் தர மதிப்பீடு
திட்ட காலம்
12 வாரங்கள்
மாதிரிகள் மதிப்பாய்வு செய்யப்பட்டன
12,400 ஒருங்கிணைக்கப்பட்ட ஒலித் துணுக்குகள்
குறிப்பாளர்கள் பணியமர்த்தப்பட்டனர்
48 பயிற்சி பெற்ற ஆங்கில மதிப்பீட்டாளர்கள்
TTS மற்றும் குரல் நகலாக்கத் தரத்தை மதிப்பிடுவதில் உள்ள சவால்கள்
- மாதிரி எல்லா இடங்களிலும் நன்றாகச் செயல்பட வேண்டியிருந்தது. பல ஆங்கில உச்சரிப்புகள்குறிப்பாக இந்திய ஆங்கிலம்.
- ஒலித் தரம் என்பது வெறும் ஆய்வக அளவீடுகளில் மட்டுமல்லாமல், இறுதிப் பயனர்களுக்கு முக்கியத்துவம் வாய்ந்த வகையிலும் மேம்பட வேண்டியிருந்தது.
- அணிக்கு அடையாளம் காண ஒரு தெளிவான வழி தேவைப்பட்டது. பேச்சு வெளியீட்டில் என்ன தவறு நிகழ்ந்தது?.
- நீண்ட ஒலித்துண்டுகள் சில சமயங்களில் காலப்போக்கில் அதை முதலில் பேசியவரின் அடையாளத்தை இழந்துவிடுகின்றன.
- வாடிக்கையாளருக்கு இதற்கான சரிபார்ப்புகளும் தேவைப்பட்டன. பாதுகாப்பு, ஆள்மாறாட்ட அபாயம் மற்றும் வாட்டர்மார்க் இருப்பு.
தீர்வு: செயற்கை நுண்ணறிவு குரல் தரத்திற்கான மனித மதிப்பீட்டுக் கட்டமைப்பு
வெளியீட்டு உத்தி
இயல்புத்தன்மை, தெளிவு, குரல் ஒற்றுமை, சீர்மை மற்றும் பாதுகாப்பு ஆகியவற்றை மதிப்பிடுவதற்காக ஷைப் ஒரு கட்டமைக்கப்பட்ட மதிப்பாய்வு முறையை உருவாக்கினார்.
பெரிய அளவிலான மனித மதிப்பாய்வு
பயிற்சி பெற்ற 48 மதிப்பீட்டாளர்கள், இந்திய ஆங்கிலம், நடுநிலை அமெரிக்க ஆங்கிலம் மற்றும் ஹிங்லிஷ் துணைப் பகுதி ஆகியவற்றைச் சார்ந்த 12,400 ஒலி மாதிரிகளை மதிப்பாய்வு செய்தனர்.
மூன்று பகுதி மதிப்பீடு
- ஒவ்வொரு ஒலித்துண்டும் எவ்வளவு இயல்பாகவும் தெளிவாகவும் ஒலித்தது என்பதற்கு மதிப்பாய்வாளர்கள் மதிப்பெண் வழங்கினர்.
- எந்தப் பதிப்பு சிறந்தது என்பதைக் கண்டறிய, அவர்கள் காணொளிக் காட்சிகளின் ஜோடிகளை ஒப்பிட்டுப் பார்த்தனர்.
- இயல்புக்கு மாறான தாளம், சுருதிப் பிரச்சனைகள் மற்றும் ஒலிபெருக்கி விலகல் போன்ற மீண்டும் மீண்டும் நிகழும் தரப் பிரச்சனைகளை அவர்கள் சுட்டிக்காட்டினர்.
தர கட்டுப்பாடு
மதிப்பெண்களை சீராகவும் நம்பகத்தன்மையுடனும் வைத்திருக்க, ஷைப் அளவுத்திருத்தப் பணிகள், உச்சத் தரச் சோதனைகள், தொடர் மீளாய்வுகள் மற்றும் தர உறுதி கண்காணிப்பு ஆகியவற்றைப் பயன்படுத்தினார்.
செயல்படுத்தக்கூடிய பின்னூட்ட சுழற்சி
ஒவ்வொரு சுழற்சியிலிருந்தும் பெறப்பட்ட முடிவுகள், வாடிக்கையாளரின் சரிசெய்தல் செயல்முறையில் பயன்படுத்தப்பட்டு, பல சுற்றுகளில் மாதிரி மேம்படுவதற்கு உதவின.
திட்டத்தின் நோக்கம்: மொழிகள், உச்சரிப்புகள் மற்றும் மதிப்பாய்வு உள்ளடக்கம்
| பகுதி | நோக்கம் |
|---|---|
| மொழி | ஆங்கிலம் |
| முன்னுரிமை உச்சரிப்புகள் | இந்திய ஆங்கிலம், நடுநிலை அமெரிக்க ஆங்கிலம் |
| இரண்டாம் நிலை பாதுகாப்பு | பிரிட்டிஷ் ஆங்கிலம், ஹிங்லிஷ் துணைப் பாதை |
| மாதிரி வகைகள் | குறுகிய குறிப்புக் காணொளிகள், சில-காட்சி மாதிரிகள், நீண்ட உரை |
| மதிப்பாய்வு வெளியீடு | தர மதிப்பீடுகள், விருப்பக் குறியீடுகள், சிக்கல் குறியிடல் |
| ஈடுபாட்டு நீளம் | 12 வாரங்கள் |
விளைவுகள்: குரல் நகலாக்கத்தில் அளவிடக்கூடிய மேம்பாடுகள்
- குரல் தரத்தில் தெளிவான முன்னேற்றம்: மாதிரியின் ஒட்டுமொத்த தர மதிப்பீடு 3.41-லிருந்து 4.12-ஆக மேம்பட்டது, இது பேச்சு மிகவும் இயல்பானதாகவும் தயாரிப்புக்குத் தயாரானதாகவும் மாறியதைக் காட்டுகிறது.
- சிறந்த ஸ்பீக்கர் பொருத்தம்: அசல் பேச்சாளரின் குரலைப் பாதுகாப்பதில் இந்த அமைப்பு மிகவும் சிறப்பாகச் செயல்பட்டு, ஒற்றுமையை 0.71-லிருந்து 0.87-ஆக மேம்படுத்தியது.
- குறைவான புலப்படும் பிழைகள்: ஆரம்பத்தில் 31% ஆக இருந்த பேச்சுப் பிரச்சினைகள், இறுதிச் சுற்றின்போது 11% ஆகக் குறைந்தன.
- வலுவான புரிந்துகொள்ளும் திறன்: இந்திய ஆங்கிலத்திற்கான இறுதி வார்த்தைப் பிழை விகிதம், இலக்கு வரம்பைத் தாண்டி 4.8%-ஐ எட்டியது.
- பாதுகாப்பான நிலைநிறுத்தல் தயார்நிலை: ஆள்மாறாட்ட அபாயச் சோதனை மற்றும் நீர்முத்திரை சரிபார்ப்பு உள்ளிட்ட முக்கியப் பாதுகாப்புச் சோதனைகளில் சிறப்பான செயல்திறன் இருந்ததை இந்த மதிப்பீடு உறுதிப்படுத்தியது.
அகநிலை ஒலித் தரத்தை அளவிடக்கூடிய ஒரு மேம்பாட்டுத் திட்டமாக மாற்ற ஷைப் எங்களுக்கு உதவியது. அவர்களின் மதிப்பீட்டுக் கட்டமைப்பு, எதைச் சரிசெய்வது, எங்கே மேம்படுத்துவது, மற்றும் நம்பிக்கையுடன் தயாரிப்புப் பணிகளை எவ்வாறு நெருங்குவது என்பது குறித்த தெளிவான வழிகாட்டுதல்களை எங்களுக்கு வழங்கியது.
