தானியங்கு மதிப்பெண்களை மட்டும் பார்த்தால், பெரும்பாலான LLM-கள் சிறப்பாகத் தோன்றும்—அவை நுட்பமாகத் தவறான, அபாயகரமான, அல்லது பொருத்தமற்ற ஒன்றை எழுதும் வரை. நிலையான அளவீடுகள் அளவிடுவதற்கும் உங்கள் பயனர்களுக்கு உண்மையில் தேவைப்படுவதற்கும் இடையிலான இடைவெளி இதுதான். இந்த வழிகாட்டியில், மனித மதிப்பீட்டை (HITL) தானியக்கத்துடன் எவ்வாறு இணைப்பது என்பதைக் காட்டுகிறோம், இதன் மூலம் உங்கள் LLM அளவீடு வெறும் பெயரளவிலான துல்லியத்தை மட்டும் அல்லாமல், உண்மைத்தன்மை, பாதுகாப்பு மற்றும் களப் பொருத்தம் ஆகியவற்றையும் பிரதிபலிக்கும்.
எல்.எல்.எம் தரப்படுத்தல் உண்மையில் என்ன அளவிடுகிறது
தானியங்கி அளவீடுகள் மற்றும் லீடர்போர்டுகள் வேகமானவை மற்றும் மீண்டும் மீண்டும் செய்யக்கூடியவை. பல தேர்வு பணிகளில் துல்லியம், உரை ஒற்றுமைக்கான BLEU/ROUGE மற்றும் மொழி மாதிரியாக்கத்திற்கான குழப்பம் ஆகியவை திசை சமிக்ஞைகளை வழங்குகின்றன. ஆனால் அவை பெரும்பாலும் பகுத்தறிவு சங்கிலிகள், உண்மை அடிப்படை மற்றும் கொள்கை இணக்கத்தை இழக்கின்றன - குறிப்பாக அதிக பங்குகள் கொண்ட சூழல்களில். அதனால்தான் நவீன திட்டங்கள் பல-மெட்ரிக், வெளிப்படையான அறிக்கையிடல் மற்றும் சூழ்நிலை யதார்த்தத்தை வலியுறுத்துகின்றன.
தானியங்கி அளவீடுகள் & நிலையான சோதனைத் தொகுப்புகள்
பாரம்பரிய அளவீடுகளை ஒரு வேகமானியாகக் கருதுங்கள் — ஒரு சீரான நெடுஞ்சாலையில் நீங்கள் எவ்வளவு வேகமாகச் செல்கிறீர்கள் என்பதைச் சொல்வதற்கு அவை சிறந்தவை. ஆனால், மழையில் பிரேக்குகள் செயல்படுகின்றனவா என்பதை அவை உங்களுக்குச் சொல்லாது. BLEU/ROUGE/perplexity போன்றவை ஒப்பீட்டிற்கு உதவுகின்றன, ஆனால் அவற்றை மனப்பாடம் செய்வதன் மூலமோ அல்லது மேலோட்டமான பொருத்தத்தின் மூலமோ தந்திரமாகக் கையாள முடியும்.
அவர்கள் எங்கே தவறுகிறார்கள்
உண்மையான பயனர்கள் தெளிவின்மை, டொமைன் வாசகங்கள், முரண்பட்ட இலக்குகள் மற்றும் மாறிவரும் விதிமுறைகளைக் கொண்டு வருகிறார்கள். நிலையான சோதனைத் தொகுப்புகள் அதை அரிதாகவே பிடிக்கின்றன. இதன் விளைவாக, முற்றிலும் தானியங்கி அளவுகோல்கள் சிக்கலான நிறுவனப் பணிகளுக்கான மாதிரி தயார்நிலையை மிகைப்படுத்துகின்றன. HELM/AIR-Bench போன்ற சமூக முயற்சிகள் அதிக பரிமாணங்களை (வலுவு, பாதுகாப்பு, வெளிப்படுத்தல்) உள்ளடக்கி வெளிப்படையான, வளர்ந்து வரும் தொகுப்புகளை வெளியிடுவதன் மூலம் இதை நிவர்த்தி செய்கின்றன.
எல்எல்எம் வரையறைகளில் மனித மதிப்பீட்டிற்கான வழக்கு
குரல் தொனி, உதவும் மனப்பான்மை, நுட்பமான சரித்தன்மை, கலாச்சாரப் பொருத்தம் மற்றும் இடர் ஏற்பு போன்ற சில குணங்கள் மனித இயல்புகளுக்கே உரியவையாகப் பிடிவாதமாக நிலைத்திருக்கின்றன. முறையாகப் பயிற்சி அளிக்கப்பட்டு, சீரமைக்கப்பட்ட மனித மதிப்பீட்டாளர்களே இவற்றுக்கு நம்மிடம் உள்ள சிறந்த கருவிகளாகும். செலவுகள் கட்டுக்குள் இருக்கும் அதே வேளையில் தரம் உயர்வாக நிலைத்திருக்க, அவர்களைத் தேர்ந்தெடுத்தும் முறையாகவும் பயன்படுத்துவதே இதில் உள்ள சூட்சமம்.
மனிதர்களை எப்போது ஈடுபடுத்த வேண்டும்
- தெளிவின்மை: வழிமுறைகள் பல நம்பத்தகுந்த பதில்களை அனுமதிக்கின்றன.
- அதிக ஆபத்து: சுகாதாரம், நிதி, சட்டம், பாதுகாப்பு-முக்கிய ஆதரவு.
- டொமைன் நுணுக்கம்: தொழில்துறை வாசகங்கள், சிறப்பு பகுத்தறிவு.
- கருத்து வேறுபாடு அறிகுறிகள்: தானியங்கி மதிப்பெண்கள் முரண்படுகின்றன அல்லது பரவலாக வேறுபடுகின்றன.
ரூப்ரிக்ஸ் & அளவுத்திருத்தத்தை வடிவமைத்தல் (எளிய எடுத்துக்காட்டு)
சரியான தன்மை , ஆதாரபூர்வமான தன்மை மற்றும் கொள்கை இணக்கம் ஆகியவற்றுக்கு 1–5 என்ற அளவுகோலுடன் தொடங்கவும் . ஒவ்வொரு மதிப்பெண்ணுக்கும் 2–3 விளக்கக் குறிப்புகளுடன் கூடிய எடுத்துக்காட்டுகளை வழங்கவும். குறுகிய அளவுத்திருத்தச் சுற்றுகளை நடத்தவும் : மதிப்பீட்டாளர்கள் ஒரு பகிரப்பட்ட தொகுதிக்கு மதிப்பெண் வழங்குவார்கள், பின்னர் நிலைத்தன்மையை உறுதிப்படுத்த காரணங்களை ஒப்பிடுவார்கள். மதிப்பீட்டாளர்களுக்கு இடையேயான உடன்பாட்டைக் கண்காணித்து, தெளிவற்ற நிலைகளுக்குத் தீர்ப்பு வழங்குவதைக் கட்டாயமாக்கவும்.
முறைகள்: LLM-as-a-Judge இலிருந்து True HITL வரை
ஒரு மாதிரியை வைத்து மற்றொரு மாதிரியை மதிப்பிடுவது (LLM-ஐ ஒரு நீதிபதியாகக் கருதுவது) வழக்குகளை வகைப்படுத்துவதற்குப் பயனுள்ளது : இது விரைவானது, மலிவானது, மேலும் நேரடியான சோதனைகளுக்கு நன்றாக வேலை செய்கிறது. ஆனால், மாயத்தோற்றங்கள், போலியான தொடர்புகள் அல்லது "மதிப்பெண் உயர்வு" போன்ற அதே குறைபாடுகளை இதிலும் காணமுடியும். மனித மதிப்பாய்வுக்காக வழக்குகளுக்கு முன்னுரிமை அளிக்க இதைப் பயன்படுத்துங்கள் , அதை மாற்றுவதற்கு அல்ல.
ஒரு நடைமுறை கலப்பின குழாய்வழி
- தானியங்கி முன் திரையிடல்: வெளிப்படையான பாஸ்கள்/தோல்விகளை வடிகட்ட பணி அளவீடுகள், அடிப்படைக் காவல் தண்டவாளங்கள் மற்றும் LLM-ஆஸ்-ஜட்ஜ் ஆகியவற்றை இயக்கவும்.
- செயலில் தேர்வு: முரண்பட்ட சமிக்ஞைகள் அல்லது அதிக நிச்சயமற்ற தன்மை கொண்ட மாதிரிகளை மனித மதிப்பாய்விற்காகத் தேர்ந்தெடுக்கவும்.
- நிபுணர் மனித குறிப்பு: பயிற்சி பெற்ற மதிப்பீட்டாளர்கள் (அல்லது கள வல்லுநர்கள்) தெளிவான பிரிவுகளுக்கு எதிராக மதிப்பெண் பெறுகிறார்கள்; கருத்து வேறுபாடுகளை தீர்ப்பார்கள்.
- தர உத்தரவாதம்: மதிப்பீட்டாளர்களிடையே நம்பகத்தன்மையைக் கண்காணித்தல்; தணிக்கைப் பதிவுகள் மற்றும் பகுத்தறிவுகளைப் பராமரித்தல். நடைமுறை குறிப்பேடுகள் (எ.கா., HITL பணிப்பாய்வுகள்) இந்த சுழற்சியை அளவிடுவதற்கு முன்பு முன்மாதிரி செய்வதை எளிதாக்குகின்றன.
ஒப்பீட்டு அட்டவணை: தானியங்கி vs LLM-as-Judge vs HITL
| அணுகுமுறை | பலங்கள் | பலவீனங்கள் | சிறந்த பயன்பாடு |
|---|---|---|---|
| தானியங்கி அளவீடுகள் | வேகமான, மீண்டும் உருவாக்கக்கூடிய, மலிவான | மிஸ் நுணுக்கம்/பகுத்தறிவு, மிகைப்படுத்த எளிதானது | அடிப்படை & பின்னடைவு சரிபார்ப்புகள் |
| நீதிபதியாக LLM | செதில்கள் வரிசைப்படுத்தல், மேற்பரப்பு சிக்கல்கள் | மாதிரி சார்புகளைப் பகிர்ந்து கொள்கிறது; தணிக்கை-தரம் அல்ல. | மனித மதிப்புரைகளுக்கு முன்னுரிமை கொடுங்கள் |
| HITL (நிபுணர் மதிப்பீட்டாளர்கள்) | நுணுக்கத்தைப் படம்பிடிக்கிறது, தணிக்கைக்குத் தயாராக உள்ளது | வகைப்படுத்தல் இல்லாமல் மெதுவாக, விலை அதிகம் | அதிக ஆபத்துள்ள பணிகள், கொள்கை/பாதுகாப்பு வாயில்கள் |
குறிப்பு: கவரேஜ் + நம்பகத்தன்மைக்கு மூன்றையும் இணைக்கவும்.
பாதுகாப்பு & ஆபத்து அளவுகோல்கள் வேறுபட்டவை
ஒழுங்குமுறை அமைப்புகளும் தர நிர்ணய அமைப்புகளும், இடர்களை ஆவணப்படுத்தும், யதார்த்தமான சூழ்நிலைகளைச் சோதிக்கும், மற்றும் மேற்பார்வையை வெளிப்படுத்தும் மதிப்பீடுகளை எதிர்பார்க்கின்றன . NIST AI RMF (2024 GenAI Profile) ஒரு பொதுவான சொற்களஞ்சியத்தையும் நடைமுறைகளையும் வழங்குகிறது; NIST GenAI மதிப்பீட்டுத் திட்டம் துறை சார்ந்த சோதனைகளை நிறுவி வருகிறது; மேலும் HELM/AIR-Bench பல-அளவீட்டு, வெளிப்படையான முடிவுகளை முன்னிலைப்படுத்துகிறது. உங்கள் ஆளுகைக் கருத்தாக்கத்திற்கு வலு சேர்க்க இவற்றைப் பயன்படுத்துங்கள்.
பாதுகாப்பு தணிக்கைகளுக்கு என்ன சேகரிக்க வேண்டும்
- மதிப்பீட்டு நெறிமுறைகள், ரூப்ரிக்ஸ், மற்றும் உரை விளக்கப் பயிற்சி பொருட்கள்
- தரவு பரம்பரை மற்றும் மாசுபாடு சோதனைகள்
- இன்டர்-ரேட்டர் புள்ளிவிவரங்கள் மற்றும் தீர்ப்பு குறிப்புகள்
- பதிப்பு செய்யப்பட்டது அளவுகோல் முடிவுகள் மற்றும் பின்னடைவு வரலாறு
மினி-ஸ்டோரி: வங்கி KYC-யில் தவறான நேர்மறைகளைக் குறைத்தல்
ஒரு வங்கியின் KYC பகுப்பாய்வாளர் குழு, இணக்க எச்சரிக்கைகளைச் சுருக்கமாகக் கூறுவதற்காக இரண்டு மாதிரிகளைச் சோதித்தது. தானியங்கு மதிப்பெண்கள் ஒரே மாதிரியாக இருந்தன. ஒரு HITL சோதனையின் போது, மாதிரி A ஆனது எதிர்மறையான தகுதிகளை ("முந்தைய தடைகள் இல்லை") அடிக்கடி கைவிட்டு , அர்த்தங்களை மாற்றியமைப்பதாக மதிப்பீட்டாளர்கள் சுட்டிக்காட்டினர். தீர்ப்புக்குப் பிறகு, வங்கி மாதிரி B-ஐத் தேர்ந்தெடுத்து , அறிவுறுத்தல்களைப் புதுப்பித்தது. ஒரு வாரத்தில் தவறான நேர்மறைகள் 18% குறைந்தன, இது பகுப்பாய்வாளர்களை உண்மையான விசாரணைகளுக்கு விடுவித்தது. (பாடம்: தானியங்கு மதிப்பெண்கள் ஒரு நுட்பமான, அதிக தாக்கத்தை ஏற்படுத்தக்கூடிய பிழையைத் தவறவிட்டன; HITL அதைக் கண்டறிந்தது.)
ஷாப் எங்கே உதவுகிறார்
- சொற்களஞ்சியம் & கல்வி: மனித-இன்-தி-லூப் மற்றும் அது ஏன் GenAI-க்கு முக்கியமானது என்பது பற்றிய எளிய-ஆங்கில விளக்கவுரை.
- செய்முறை & உத்தி: A எல்.எல்.எம் மதிப்பீட்டிற்கான தொடக்க வழிகாட்டி. புதிதாகத் தொடங்கும் அணிகளுக்கு.
- நடைமேடை: A ஜெனரேட்டிவ் AI மதிப்பீடு & கண்காணிப்பு தளம் வகைப்படுத்தல், பரிசோதனைகள் மற்றும் தணிக்கைகளை செயல்படுத்த.
ஒரு எல்.எல்.எம்-ஐ எவ்வாறு நம்பகத்தன்மையுடன் மதிப்பிடுகிறீர்கள்?
தெளிவற்ற/அதிக ஆபத்துள்ள பணிகளில் மனித மதிப்பீட்டோடு தானியங்கி அளவீடுகளை கலக்கவும்; ஆவண ரூப்ரிக்ஸ், மதிப்பீட்டாளர் அளவுத்திருத்தம் மற்றும் தணிக்கைத்திறனுக்கான மதிப்பீடு. நீங்கள் அக்கறை கொள்ளும் NIST RMF பிரிவுகளுக்கு அறிக்கைகளை சீரமைக்கவும்.
எல்.எல்.எம் தரப்படுத்தலில் மனித மதிப்பீட்டின் பங்கு என்ன?
தானியங்கி மதிப்பெண்கள் தவறவிடும் தொனி, சூழல், நுட்பமான சரியான தன்மை மற்றும் கொள்கை சீரமைப்பு போன்ற நுணுக்கங்களை மனிதர்கள் கைப்பற்றுகிறார்கள். நிச்சயமற்ற தன்மை அதிகமாக இருக்கும்போதோ அல்லது ஆபத்துகள் உண்மையானதாக இருக்கும்போதோ அவற்றைப் பயன்படுத்தவும்.
பாதுகாப்பிற்கு தானியங்கி அளவுகோல்கள் போதுமானதா?
இல்லை. அவை அவசியமானவை ஆனால் போதுமானவை அல்ல. பாதுகாப்பிற்கு சூழ்நிலை-யதார்த்தமான சோதனைகள், வெளிப்படையான ஆபத்து/துஷ்பிரயோக வழக்குகள் மற்றும் மனித மேற்பார்வை தேவை; NIST GenAI மற்றும் HELM/AIR-Bench திசையைப் பார்க்கவும்.
மனித மதிப்பீடுகளுடன் LLM-as-a-Judge எவ்வாறு ஒப்பிடுகிறது?
வகைப்படுத்தல் மற்றும் அளவுகோலுக்கு சிறந்தது, ஆனால் இது மாதிரி சார்புகளைப் பகிர்ந்து கொள்கிறது. சிக்கலான பணிகளில் மனித மதிப்பாய்வை மாற்றுவதற்கு அல்ல, முன்னுரிமை அளிக்க இதைப் பயன்படுத்தவும்.
2025 ஆம் ஆண்டில் நான் என்ன அளவுகோல்களைக் கண்காணிக்க வேண்டும்?
HELM/AIR-Bench (பாதுகாப்பு/வலுத்தன்மை) போன்ற சமூக மையங்களையும், உங்கள் அபாயங்களுக்கு ஏற்ப செயல்படும் எந்தவொரு டொமைன்-குறிப்பிட்ட சூட்களையும் கண்காணிக்கவும். மாசுபடுவதைத் தவிர்க்க செட்களை புதியதாக வைத்திருங்கள்.
