சாட்பாட்களிலிருந்து இயற்கை மொழி கட்டளைகளைப் பின்பற்றும் ரோபோக்களுக்கான மாற்றம், ஒரே வகையான மாடல்களின் வழியாகவே நடைபெறுகிறது. VLA மாடல்கள் — அதாவது பார்வை-மொழி-செயல் மாடல்கள் — காட்சிப் புலனுணர்வு, மொழிப் புரிதல் மற்றும் செயல் உருவாக்கம் ஆகியவற்றை ஒரே நியூரல் நெட்வொர்க்கில் ஒருங்கிணைக்கின்றன. அவற்றின் சக்தி உண்மையானதுதான், ஆனால் அது கிட்டத்தட்ட முழுவதுமாக அவை உள்வாங்கும் பயிற்சித் தரவுகளையே சார்ந்துள்ளது. VLA பயிற்சித் தரவுகளில் உண்மையில் என்னென்ன உள்ளன, குழுக்கள் எவற்றைக் குறைத்து மதிப்பிடுகின்றன, மற்றும் பயன்படுத்தத் தகுந்த ஒரு மாடலை உருவாக்கும் தரவுத்தொகுப்பை எவ்வாறு திட்டமிடுவது என்பதை இந்த வழிகாட்டி விளக்குகிறது.
முக்கிய எடுத்துக்காட்டுகள்
- VLA மாதிரிகள், பார்வை மற்றும் மொழி உள்ளீடுகளை ஒரே வலையமைப்பில் ரோபோவின் செயல்பாடுகளுடன் நேரடியாகப் பொருத்துகின்றன.
- பயிற்சித் தரவுகளில் ஒத்திசைக்கப்பட்ட காட்சிவழி அவதானிப்புகள், மொழிவழி அறிவுறுத்தல்கள் மற்றும் செயல்பாடுகள் ஆகியவை அடங்கியிருக்க வேண்டும்.
- தனித்தனி செயல்பாட்டு டோக்கன்கள் நன்கு கற்றுக்கொள்வதற்குப் பெரிய அளவிலான செயல்விளக்கத் தரவுகள் தேவைப்படுகின்றன.
- தன்னல மனித வீடியோக்கள், குறைந்த செலவிலான VLA முன் பயிற்சி ஆதாரமாக அதிகளவில் பயன்படுத்தப்படுகின்றன.
- நம்பகமான செயல்பாட்டிற்கு, பயிற்சித் தரவுகளைப் போலவே வலுவான மதிப்பீட்டு நிகழ்வுகளும் முக்கியமானவை.
- VLA-வின் நுணுக்கமான சரிசெய்தல், வெறும் எண்ணிக்கையை மட்டும் சார்ந்தது அல்ல, விளக்கக் குறிப்புகளின் துல்லியத்தையே சார்ந்து வெற்றி பெறுகிறது அல்லது தோல்வியடைகிறது.
VLA மாடல் என்பது என்ன?
VLA மாதிரி என்பது, படங்களையும் இயல்மொழி அறிவுறுத்தல்களையும் உள்ளீடாகப் பெற்று, ரோபோவின் செயல்பாடுகளை வெளியீடாக வழங்கும் ஒரு ரோபோ அடிப்படை மாதிரி ஆகும். புலனுணர்வு, திட்டமிடல் மற்றும் கட்டுப்பாடு ஆகியவற்றை வெவ்வேறு தொகுதிகளாகப் பிரிக்கும் பாரம்பரிய செயல்முறைகளைப் போலல்லாமல், பார்வை-மொழி-செயல் மாதிரிகள் ஒரு முழுமையான இணைப்பை ஒரே வலையமைப்பில் கற்றுக்கொள்கின்றன.
VLA மாடல்: ஒத்திசைக்கப்பட்ட காட்சி அவதானிப்புகள் மற்றும் இயல்மொழி அறிவுறுத்தல்களை எடுத்துக்கொண்டு, ரோபோ செயல்களின் தொடர்வரிசைகளை அல்லது செயல் குறியீடுகளை உருவாக்கும் ஒரு நரம்பியல் வலையமைப்பு.
இந்த ஒருங்கிணைந்த வடிவமைப்பு, VLA மாதிரிகள் விரிவான பார்வை-மொழி முன்-பயிற்சியிலிருந்து பகுத்தறியும் திறன்களைப் பெறவும், அவற்றை இயக்கக் கட்டுப்பாட்டுடன் விரிவுபடுத்தவும் அனுமதிக்கிறது. நடைமுறைப் பயன்பாட்டிற்கு, இதன் பொருள் என்னவென்றால், கோட்பாட்டளவில் ஒரு மாதிரியால் பல பணிகளைச் செய்ய முடியும் — ஆனால் அதன் பயிற்சித் தரவு அவற்றைச் சரியான கட்டமைப்பில் உள்ளடக்கியிருந்தால் மட்டுமே இது சாத்தியம்.
VLA பயிற்சித் தரவில் உண்மையில் என்னென்ன அடங்கியுள்ளது?
VLA பயிற்சித் தரவு ஒவ்வொரு அத்தியாயத்திற்கும் நான்கு முக்கிய கூறுகளைக் கொண்டுள்ளது: காட்சிவழி அவதானிப்புகள், இயல்மொழி அறிவுறுத்தல், ஒரு செயல் வழித்தடம் மற்றும் வெற்றி அல்லது தோல்விக் குறி. இவற்றைச் சுற்றி, குழுக்கள் நேரக்குறிப்புகள், உடலசைவு உணர்வு நிலை மற்றும் மதிப்பீட்டுக் குறிகாட்டிகளைச் சேர்க்கின்றன.
நான்கு கட்டாய அடுக்குகள்:
- காட்சிவழி அவதானிப்புகள் — RGB பிரேம்கள், பெரும்பாலும் டெப்த் அல்லது ரிஸ்ட்-கேம் காட்சிகளுடன் இணைக்கப்படுகின்றன.
- மொழி வழிமுறைகள் — “கோப்பையில் தண்ணீர் ஊற்று” என்பது போன்ற சுருக்கமான, இயல்பான மொழிக் கட்டளைகள்.
- செயல் பாதைகள் ரோபோவின் இயக்க சுதந்திரங்களுக்கு ஏற்ப வரையறுக்கப்பட்ட, துண்டாக்கப்பட்ட அல்லது தொடர்ச்சியான செயல் தொடர்கள்.
- விளைவு லேபிள்கள் — ஒவ்வொரு அத்தியாயத்திற்கும் தெளிவான வெற்றி, தோல்வி அல்லது பகுதி நிறைவு குறிகாட்டிகள்.
22 ரோபோ உருவமைப்புகளிலிருந்து எடுக்கப்பட்ட ஒரு மில்லியனுக்கும் அதிகமான அத்தியாயங்களில், 7 பில்லியன் அளவுருக்கள் கொண்ட ஒரு திறந்த VLA மாதிரிக்கு பயிற்சி அளிக்கப்பட்டது (ஸ்டான்ஃபோர்ட் மற்றும் பலர், 2024). இது, பணிகளுக்கு இடையேயான பொதுமைப்படுத்தலுக்கு எதிர்பார்க்கப்படும் பன்முகத்தன்மையை விளக்குகிறது. இந்த விரிவான தன்மை இல்லாமல், VLA மாதிரிகள் பொதுமைப்படுத்துவதற்குப் பதிலாக குறிப்பிட்ட பொருள்களை நினைவில் கொள்ளவே முனைகின்றன.
படக் குறிப்பீட்டைக் காட்டிலும் செயல் குறிப்பீடு ஏன் கடினமானது?
செயல்கள் தொடர்ச்சியான, உயர்-பரிமாண வெளிகளில் இயங்குவதாலும், அவை வெறும் ஃபிரேம் உள்ளடக்கத்தை மட்டும் சார்ந்து இல்லாமல் ரோபோவின் உருவமைப்பைச் சார்ந்திருப்பதாலும், செயல் குறிப்பீடு செய்வது கடினமானது. ஒரு கோப்பையின் எல்லைப் பெட்டிக்குக் குறியிடுவது நேரடியானது; ஆனால், ஒரு குறிப்பிட்ட பற்றிக்கொள்ளும் கருவியைக் கொண்டு, ஒரு குறிப்பிட்ட தொடுபுள்ளியில் அந்தக் கோப்பையை வெற்றிகரமாகப் பற்றும் ஒரு பாதைக்குக் குறியிடுவது அப்படி அல்ல.
செயல்பாட்டு டோக்கன்: ஒரு மொழிச் சொல்லைப் போல, VLA மாதிரியால் கணிக்கக்கூடிய ரோபோவின் இயக்கம் அல்லது இறுதிச் செயல்படுவானின் இடப்பெயர்ச்சியின் துண்டாக்கப்பட்ட பிரதிநிதித்துவம்.
விளக்கக் குழுக்கள் ஒவ்வொரு செயல் குறியீட்டையும் அதன் ஒத்திசைக்கப்பட்ட கண்காணிப்புடன் சீரமைத்து, தொடர்புத் தருணங்களைக் குறித்து, தோல்வி மீட்பைப் பதிவுசெய்து, மொழி அறிவுறுத்தலின் அடிப்படை எல்லைகளைக் குறியிட வேண்டும். ஷைப்பின் தரவு சிறுகுறிப்பு ரோபோவின் செயல்பாட்டு வெளிகளுக்கும், ஒவ்வொரு பணிக்குமான ஏற்பு வரம்புகளுக்கும் ஏற்றவாறு சரிசெய்யப்பட்ட கட்டமைக்கப்பட்ட வகைப்பாடுகளைக் கொண்டு, பணிப்பாய்வுகள் இதை பெரிய அளவில் கையாளுகின்றன.
தன்னையே மையமாகக் கொண்ட மனித வீடியோ, VLA பயிற்சியில் எங்கு பொருந்துகிறது?
தன்னல மனிதக் காணொளியானது, உண்மையான ரோபோ தரவுகளால் நிரப்ப முடியாத இடைவெளிகளை நிரப்பும் ஒரு விரிவாக்கக்கூடிய முன்-பயிற்சி மூலமாகப் பொருந்துகிறது. மனிதர்கள் சமைப்பது, பொருட்களைப் பறிப்பது மற்றும் ஒன்றிணைப்பது போன்ற செயல்களின் நேரடிக் காட்சிகள், ரோபோவின் தொலை இயக்கத்தால் ஒருபோதும் அடைய முடியாத ஒரு அளவில் அவர்களின் நடத்தைகளைப் படம்பிடிக்கின்றன.
சமீபத்திய ஒரு ஆய்வுக் கட்டுரை, மனிதக் கையை ஒரு திறமையான இறுதி-செயல்பாட்டுக் கருவியாகக் கருதி, கட்டமைப்பற்ற தன்முனைப்புள்ள மனிதக் காணொளிகளை VLA-வடிவமைக்கப்பட்ட அத்தியாயங்களாக — 1 மில்லியன் பிரிவுகள் மற்றும் 26 மில்லியன் பிரேம்கள் — மாற்றியது (Wu et al., arXiv, 2025). இந்த வகையான பல்-உருவமைப்புத் தரவுகள் இப்போது VLA முன்-பயிற்சி செய்முறைகளில் வழக்கமான ஒன்றாகிவிட்டன.
சிக்கல் என்னவென்றால்: மூல வீடியோ என்பது பயிற்சித் தரவு அல்ல. அது ஒரு VLA செயல்முறையை அடைவதற்கு முன்பு, அதற்குப் பிரித்தல், மொழி விளக்கங்கள், கை-நிலை மறுஇலக்காக்கம் மற்றும் தரச் சரிபார்ப்பு ஆகியவை தேவைப்படுகின்றன. ஷைப்பின் உடல் AI தரவுச் செயல்பாடுகளில் சுயமையப் பதிவு, real2sim மாற்றம் மற்றும் VLA-சார்ந்த குறிப்பீடு ஆகியவை ஒரே வழங்கலில் அடங்கும்.
VLA செயலிழப்பு முறைகளைக் கண்டறியும் மதிப்பீட்டுத் தொகுப்புகளை எவ்வாறு உருவாக்குவது?
மதிப்பீட்டுத் தொகுப்புகள், பயிற்சிக்குப் பிறகு அல்லாமல், பயிற்சிக்கு முன்பே வடிவமைக்கப்படும்போது VLA தோல்வி முறைகளைக் கண்டறிகின்றன. மூன்று கட்டமைப்புகள் மிகவும் முக்கியமானவை: விநியோகத்திற்குள் உள்ள வெற்றி அளவுகோல்கள், விநியோகத்திற்கு வெளியே உள்ள பொதுமைப்படுத்தல் சோதனைகள், மற்றும் இடர்-படிநிலை பாதுகாப்புச் சூழ்நிலைகள்.
சமையலறைப் பணிகளில் விரிவாகப் பயிற்சி அளிக்கப்பட்ட ஒரு வீட்டு உபயோக VLA மாதிரியைக் கற்பனை செய்து பாருங்கள். ஒரு பொருத்தமான மதிப்பீட்டுத் தொகுப்பு பின்வருவனவற்றைச் சோதிக்கும்: அறியப்பட்ட சமையலறைகளில் அறியப்பட்ட பணிகள் (உள்-பகிர்வு), பழக்கமில்லாத ஒளியமைப்பில் அறியப்பட்ட பணிகள் (மிதமான OOD), அறியப்பட்ட அறிவுறுத்தல்களுடன் கூடிய அறியப்படாத பொருள்கள் (கருத்து பொதுமைப்படுத்தல்), மற்றும் தற்செயலான சிதறல்கள் போன்ற அரிதான நிகழ்வுகள் (பாதுகாப்பு நிலை). இவை ஒவ்வொன்றும் இல்லாமல், செயல்படுத்தும் அபாயம் அளவிடப்படாமல் இருக்கும்.
இடர்-படிநிலைக் காப்பீட்டை ஒழுங்கமைப்பதற்கான ஒரு பயனுள்ள நடுநிலை ஆதாரம் என்பது NIST AI இடர் மேலாண்மை கட்டமைப்புஇது, மதிப்பீட்டுத் தொகுப்பு வடிவமைப்புடன் நேர்த்தியாகப் பொருந்தும் வகையில் தாக்க நிலைகளைப் பிரிக்கிறது.
VLA பயிற்சித் தரவு: எதற்கு நிதி ஒதுக்கீடு செய்வது
| அடுக்கு | அதில் என்ன அடங்கும் | பொதுவான ஆபத்து |
|---|---|---|
| காட்சி அவதானிப்புகள் | பல கோண RGB, ஆழம், மணிக்கட்டு கேமரா | விடுபட்ட அல்லது ஒத்திசைக்கப்படாத நேர முத்திரைகள் |
| மொழி | வழிமுறைகள், அணு விளக்கங்கள் | செயல்களுடன் பொருந்தாத தெளிவற்ற சொற்றொடர்கள் |
| செயல் பாதைகள் | தனித்தனி டோக்கன்கள் அல்லது தொடர்ச்சியான கட்டுப்பாடுகள் | ரோபோ உருவத்துடன் எந்தப் பொருத்தமும் இல்லை |
| மதிப்பீட்டு | அத்தியாயங்கள், OOD ஆய்வுகள், பாதுகாப்பு நிலைகள் | மாடல் முடக்கம் ஏற்பட்ட பிறகு, மிகவும் தாமதமாக வடிவமைக்கப்பட்டது. |
முடிவுரை: தரவுத்தொகுப்பில் VLA மாதிரிகளின் வெற்றி தோல்வி தீர்மானிக்கப்படுகிறது.
ஒரு VLA மாதிரியின் உச்சவரம்பு அதன் பயிற்சித் தரவுகளால் — அதாவது அதன் விரிவு, அதன் விளக்கக் குறிப்புகளின் ஆழம் மற்றும் அதன் மதிப்பீட்டுத் துல்லியம் ஆகியவற்றால் — நிர்ணயிக்கப்படுகிறது. தரவுத்தொகுப்பை ஒரு பிற்காலச் சிந்தனையாக அல்லாமல், ஒரு தயாரிப்பைப் போலத் திட்டமிடும் குழுக்கள், அதனை முதலில் செயல்பாட்டிற்குக் கொண்டுவருகின்றன. காணொளிகளைச் சுரண்டி, அதன் மூலம் திறன் வெளிப்படும் என்று நம்பும் குழுக்கள் பொதுவாக அவ்வாறு செய்வதில்லை.
VLA மாடலுக்கும் ரோபோடிக் பாலிசிக்கும் என்ன வேறுபாடு?
வேறுபாடு அதன் நோக்கத்தில் உள்ளது. ஒரு ரோபோடிக் பாலிசி பாரம்பரியமாக, ஒரு பணி அல்லது ஒரு சிறிய பணிக் குடும்பத்திற்கான செயல்களுக்கு அவதானிப்புகளைப் பொருத்துகிறது. ஒரு VLA மாடல் என்பது, இயல்மொழி அறிவுறுத்தல்களின் அடிப்படையில், பல பொருள்களில் உள்ள பல பணிகளைக் கையாளும் நோக்கம் கொண்ட ஒரு ஃபவுண்டேஷன்-பாணி பாலிசி ஆகும். இரண்டுமே பாலிசிகள்தான்; VLA மாடல்கள் என்பவை, பரந்த, மொழிக்கு ஏற்ற தரவுகளில் பயிற்சி அளிக்கப்பட்ட அதன் பொதுவான பதிப்புகள் மட்டுமே.
ஒரு ஃபைன் டியூனிங் ரன்னுக்கு வழக்கமாக எவ்வளவு VLA பயிற்சித் தரவு தேவைப்படும்?
பணியின் சிக்கலான தன்மை மற்றும் அடிப்படை மாதிரியின் வலிமையைப் பொறுத்து, ஒரு நுண் சரிசெய்தல் ஓட்டத்திற்கு பொதுவாக சில ஆயிரம் முதல் சில நூறு ஆயிரம் வரையிலான உயர்தர செயல்விளக்கங்கள் தேவைப்படும். முன்பயிற்சி பெற்ற VLA முதுகெலும்புகள், தேவைப்படும் அளவை கணிசமாகக் குறைக்கின்றன. வெறும் அத்தியாயங்களின் எண்ணிக்கை மட்டுமல்ல, விளக்கக்குறிப்பின் தரம் மற்றும் மொழி-அறிவுறுத்தலின் துல்லியம் ஆகியவையே தீர்மானிக்கும் காரணிகளாகும்.
ஒரு VLA மாதிரியை முழுவதுமாக உருவகப்படுத்தப்பட்ட தரவுகளைக் கொண்டு பயிற்றுவிக்க முடியுமா?
ஒரு VLA மாதிரியை முழுவதுமாக உருவகப்படுத்தப்பட்ட தரவுகளில் பயிற்றுவிப்பது சாத்தியம் என்றாலும், அது களத்தில் செயல்படுத்துவதற்கு அரிதாகவே போதுமானதாக இருக்கும். உருவகப்படுத்துதல், பன்முகத்தன்மை மற்றும் அரிதான நிகழ்வுகளை நன்கு கையாளுகிறது; நிஜ உலகப் பதிவு, தொடர்பு இயக்கவியலையும் உருவகப்படுத்துதலில் இருந்து நிஜத்திற்குத் தரவுப் பரிமாற்றத்தையும் நிலைநிறுத்துகிறது. பெரும்பாலான உற்பத்தி செயல்முறைகள், உருவகப்படுத்துதலுக்கும் நிஜத்திற்கும் இடையிலான செயல்திறன் இடைவெளியை வெளிப்படையாக அளவிடும் இணை அளவுகோல்களுடன், இவ்விரண்டையும் ஒருங்கிணைக்கின்றன.
VLA பயிற்சித் தரவுகளுக்கு என்னென்ன சென்சார் முறைகள் தேவைப்படுகின்றன?
VLA பயிற்சித் தரவுகளுக்குக் குறைந்தபட்சம் ஒத்திசைக்கப்பட்ட RGB வீடியோவும் ஒரு செயல் பாதையும் தேவைப்படுகின்றன. உயர் செயல்திறன் கொண்ட பைப்லைன்கள், பணி வகையைப் பொறுத்து ஆழம், மணிக்கட்டு கேமரா காட்சிகள், ஆடியோ, IMU, மற்றும் விசை அல்லது முறுக்கு அளவீடுகளைச் சேர்க்கின்றன. பல்வேறு முறைகளுக்கு இடையேயான நேர ஒத்திசைவு என்பது விட்டுக்கொடுக்க முடியாத ஒரு அம்சமாகும் — அது இல்லாமல், பயிற்சியின் போது மொழி மற்றும் செயல் சமிக்ஞைகள் விலகிச் சென்றுவிடும்.
பயிற்சிக்கு முன் ஒரு VLA தரவுத்தொகுப்பின் தரத்தை எவ்வாறு மதிப்பிடுவீர்கள்?
ஒரு VLA தரவுத்தொகுப்பை மதிப்பிடுவது நான்கு சோதனைகளின் அடிப்படையில் செயல்படுகிறது: மொழி-செயல் சீரமைப்புத் துல்லியம், அத்தியாயப் பிரிவின் நிலைத்தன்மை, செயல்-வெளிப் பரப்பின் அகலம் மற்றும் விளிம்புநிலைச் சித்தரிப்பு. கோல்ட்-செட் அளவுத்திருத்தத்துடன் கூடிய மாதிரி அடிப்படையிலான மனித மதிப்பாய்வே மிகவும் நம்பகமான தொடக்கப் புள்ளியாகும். செயல் குறியீடுகளில் 95%-க்கும் அதிகமான குறிப்பீட்டாளர்களுக்கு இடையேயான உடன்பாடு ஒரு பொதுவான தயாரிப்பு வரம்பாகும்.
VLA பயிற்சித் தரவும், சாயல் கற்றல் தரவும் ஒன்றா?
VLA பயிற்சித் தரவு என்பது பின்பற்றல் கற்றல் தரவின் ஒரு மேல்தொகுதியாகும். பின்பற்றல் கற்றல் தரவு, செயல்விளக்கங்களிலிருந்து பெறப்படும் கவனிப்பு-செயல் இணைகளில் கவனம் செலுத்துகிறது. VLA தரவு, மொழி வழிமுறைகள், பல்பணி அமைப்பு மற்றும் பெரிய அளவிலான பல்செயல் பரவல் ஆகியவற்றைச் சேர்ப்பதால், அந்த மாதிரியானது மனப்பாடம் செய்யப்பட்ட பாதைகளுக்கு அப்பால் பொதுமைப்படுத்த முடிகிறது.
