டேட்டா வார்ஸ் 2024: AI பயிற்சியின் நெறிமுறை மற்றும் நடைமுறைப் போராட்டங்கள்

பீட்டில்ஸ் பாடலைப் போன்ற ஒரு பாடலுக்கு வரிகளை எழுத ஜெனரல் AI மாடலை நீங்கள் கேட்டிருந்தால், அது ஈர்க்கக்கூடிய வேலையைச் செய்திருந்தால், அதற்கு ஒரு காரணம் இருக்கிறது. அல்லது, உங்களுக்குப் பிடித்த எழுத்தாளரின் பாணியில் உரைநடை எழுத ஒரு மாதிரியைக் கேட்டால், அது துல்லியமாக பாணியைப் பிரதியெடுத்திருந்தால், அதற்கு ஒரு காரணம் இருக்கிறது.

இன்னும் எளிமையாகச் சொன்னால், நீங்கள் வேறு நாட்டில் இருக்கிறீர்கள், மேலும் ஒரு சூப்பர் மார்க்கெட் இடைகழியில் நீங்கள் காணும் ஒரு சுவாரஸ்யமான சிற்றுண்டியின் பெயரை மொழிபெயர்க்க விரும்பினால், உங்கள் ஸ்மார்ட்போன் லேபிள்களைக் கண்டறிந்து உரையை தடையின்றி மொழிபெயர்க்கிறது.

AI ஆனது இதுபோன்ற அனைத்து சாத்தியக்கூறுகளின் முழு மையமாக உள்ளது, இது முதன்மையாக AI மாதிரிகள் இத்தகைய தரவுகளின் பரந்த அளவில் பயிற்சி பெற்றிருக்கும் - எங்கள் விஷயத்தில், நூற்றுக்கணக்கான தி பீட்டில்ஸின் பாடல்கள் மற்றும் உங்களுக்கு பிடித்த எழுத்தாளரின் புத்தகங்கள்.

ஜெனரேட்டிவ் AI இன் எழுச்சியுடன், அனைவரும் ஒரு இசைக்கலைஞர், எழுத்தாளர், கலைஞர் அல்லது அனைவரும். ஜெனரல் AI மாதிரிகள் பயனர் தூண்டுதல்களைப் பொறுத்து நொடிகளில் பெஸ்போக் கலைகளை உருவாக்குகின்றன. அவர்களால் உருவாக்க முடியும் வான் கோ-இஸ்க் கலைத் துண்டுகள் மற்றும் அல் பசினோ அங்கு இல்லாமல் சேவை விதிமுறைகளைப் படிக்க வேண்டும்.

கவர்ச்சி ஒருபுறம் இருக்க, இங்கே முக்கியமான அம்சம் நெறிமுறைகள். கலைஞர்களை படிப்படியாக மாற்ற முயற்சிக்கும் AI மாதிரிகளைப் பயிற்றுவிக்க இதுபோன்ற ஆக்கப்பூர்வமான படைப்புகள் பயன்படுத்தப்பட்டது நியாயமா? அத்தகைய அறிவுசார் சொத்துக்களின் உரிமையாளர்களிடமிருந்து ஒப்புதல் பெறப்பட்டதா? அவர்களுக்கு நியாயமான இழப்பீடு வழங்கப்பட்டதா?

2024க்கு வரவேற்கிறோம்: தரவுப் போர்களின் ஆண்டு

கடந்த சில ஆண்டுகளில், நிறுவனங்களின் ஜெனரல் AI மாடல்களைப் பயிற்றுவிப்பதற்காக அவர்களின் கவனத்தை ஈர்க்க தரவு மேலும் ஒரு காந்தமாக மாறியுள்ளது. ஒரு குழந்தையைப் போலவே, AI மாதிரிகள் அப்பாவியாக இருக்கும். அவர்களுக்குக் கற்றுத் தர வேண்டும், பிறகு பயிற்சி அளிக்க வேண்டும். அதனால்தான், மனிதர்களைப் பிரதிபலிக்கும் மாதிரிகளை செயற்கையாகப் பயிற்றுவிப்பதற்கு நிறுவனங்களுக்கு பில்லியன்கள், இல்லாவிட்டாலும் மில்லியன் கணக்கான தரவுகள் தேவைப்படுகின்றன.

எடுத்துக்காட்டாக, GPT-3 பில்லியன் (நூற்றுக்கணக்கான) டோக்கன்களில் பயிற்சியளிக்கப்பட்டது, இது சொற்களுக்குத் தளர்வாக மொழிபெயர்க்கப்பட்டுள்ளது. இருப்பினும், சமீபத்திய மாடல்களைப் பயிற்றுவிக்க டிரில்லியன் கணக்கான டோக்கன்கள் பயன்படுத்தப்பட்டதாக ஆதாரங்கள் வெளிப்படுத்துகின்றன.

இவ்வளவு பெரிய அளவிலான பயிற்சி தரவுத்தொகுப்புகள் தேவைப்படுவதால், பெரிய தொழில்நுட்ப நிறுவனங்கள் எங்கு செல்கின்றன?

பயிற்சி தரவுகளின் கடுமையான பற்றாக்குறை

லட்சியமும் தொகுதியும் கைகோர்த்துச் செல்கின்றன. நிறுவனங்கள் தங்கள் மாடல்களை அளந்து அவற்றை மேம்படுத்தும்போது, ​​அவர்களுக்கு இன்னும் கூடுதலான பயிற்சி தரவு தேவைப்படுகிறது. இது GPT இன் அடுத்தடுத்த மாதிரிகளை வெளியிட அல்லது மேம்படுத்தப்பட்ட மற்றும் துல்லியமான முடிவுகளை வழங்குவதற்கான கோரிக்கைகளிலிருந்து உருவாகலாம்.

வழக்கு எதுவாக இருந்தாலும், ஏராளமான பயிற்சி தரவு தேவைப்படுவது தவிர்க்க முடியாதது.

இங்குதான் நிறுவனங்கள் தங்கள் முதல் தடையை எதிர்கொள்கின்றன. எளிமையாகச் சொல்வதானால், AI மாடல்களுக்குப் பயிற்சியளிக்க முடியாத அளவுக்கு இணையம் மிகவும் சிறியதாகி வருகிறது. அதாவது, நிறுவனங்கள் தங்கள் மாடல்களுக்கு உணவளிப்பதற்கும் பயிற்சியளிப்பதற்கும் ஏற்கனவே உள்ள தரவுத்தொகுப்புகளை இழந்துவிட்டன.

AI மாதிரிகளின் மேம்பாடு மற்றும் பரிணாம வளர்ச்சியை இது மட்டுப்படுத்தக்கூடும் என்பதால், இந்த வளமானது பங்குதாரர்களையும் தொழில்நுட்ப ஆர்வலர்களையும் பயமுறுத்துகிறது. தீர்வுகள்.

அதே நேரத்தில், செயற்கை தரவு அல்லது டிஜிட்டல் இனப்பெருக்கம் போன்ற வடிவத்திலும் நம்பிக்கை உள்ளது. சாதாரண நபர்களின் சொற்களில், செயற்கைத் தரவு என்பது AI ஆல் உருவாக்கப்பட்ட பயிற்சித் தரவு ஆகும், இது மீண்டும் மாதிரிகளைப் பயிற்றுவிக்கப் பயன்படுகிறது.

இது நம்பிக்கைக்குரியதாகத் தோன்றினாலும், தொழில்நுட்ப வல்லுநர்கள் அத்தகைய பயிற்சித் தரவுகளின் தொகுப்பு ஹப்ஸ்பர்க் AI என அழைக்கப்படுவதற்கு வழிவகுக்கும் என்று நம்புகின்றனர். இது போன்ற இன்பிரேட் தரவுத்தொகுப்புகள் உண்மைப் பிழைகள், சார்பு, அல்லது முட்டாள்தனமானவை, AI மாதிரிகளின் விளைவுகளை எதிர்மறையாக பாதிக்கும் என்பதால் இது நிறுவனங்களுக்கு ஒரு முக்கிய கவலையாக உள்ளது.

இதை சீன விஸ்பர் விளையாட்டாகக் கருதுங்கள், ஆனால் ஒரே திருப்பம் என்னவென்றால், கடந்து செல்லும் முதல் வார்த்தையும் அர்த்தமற்றதாக இருக்கலாம்.

AI பயிற்சி தரவை சோர்சிங் செய்வதற்கான போட்டி

பயிற்சித் தரவை ஆதாரமாகக் கொள்ள உரிமம் ஒரு சிறந்த வழியாகும். சக்திவாய்ந்ததாக இருந்தாலும், நூலகங்கள் மற்றும் களஞ்சியங்கள் வரையறுக்கப்பட்ட ஆதாரங்கள். அதாவது, பெரிய அளவிலான மாடல்களின் வால்யூம் தேவைகளை அவர்களால் பூர்த்தி செய்ய முடியாது. 2026 ஆம் ஆண்டிற்குள் மாடல்களைப் பயிற்றுவிப்பதற்கான உயர்தரத் தரவு எங்களிடம் இல்லாமல் போகலாம் என்று ஒரு சுவாரஸ்யமான புள்ளிவிவரப் பகிர்வுகள், நிஜ உலகில் உள்ள பிற இயற்பியல் வளங்களுக்கு இணையான தரவுகளின் கிடைக்கும் தன்மையைக் கணக்கிடுகிறது.

மிகப்பெரிய புகைப்படக் களஞ்சியங்களில் ஒன்று - Shutterstock 300 மில்லியன் படங்களைக் கொண்டுள்ளது. பயிற்சியுடன் தொடங்குவதற்கு இது போதுமானது என்றாலும், சோதனை, சரிபார்த்தல் மற்றும் மேம்படுத்துதல் ஆகியவற்றிற்கு மீண்டும் ஏராளமான தரவு தேவைப்படும்.

இருப்பினும், வேறு ஆதாரங்கள் உள்ளன. இங்குள்ள ஒரே பிடிப்பு அவை சாம்பல் நிறத்தில் வண்ண-குறியிடப்பட்டவை. இணையத்திலிருந்து பொதுவில் கிடைக்கும் தரவைப் பற்றி நாங்கள் பேசுகிறோம். சில சுவாரஸ்யமான உண்மைகள் இங்கே:

• ஒவ்வொரு நாளும் 7.5 மில்லியன் வலைப்பதிவு இடுகைகள் நேரலையில் எடுக்கப்படுகின்றன
• Instagram, X, Snapchat, TikTok மற்றும் பல போன்ற சமூக ஊடக தளங்களில் 5.4 பில்லியனுக்கும் அதிகமான மக்கள் உள்ளனர்.
• இணையத்தில் 1.8 பில்லியன் இணையதளங்கள் உள்ளன.
• ஒவ்வொரு நாளும் யூடியூப்பில் மட்டும் 3.7 மில்லியன் வீடியோக்கள் பதிவேற்றப்படுகின்றன.

தவிர, ஆடியோ மட்டும் பாட்காஸ்ட்கள் மூலம் மக்கள் உரைகள், வீடியோக்கள், புகைப்படங்கள் மற்றும் பொருள் சார்ந்த நிபுணத்துவம் ஆகியவற்றைப் பகிரங்கமாகப் பகிர்கின்றனர்.

இவை வெளிப்படையாகக் கிடைக்கும் உள்ளடக்கத் துண்டுகள்.

எனவே, AI மாதிரிகளைப் பயிற்றுவிக்க அவற்றைப் பயன்படுத்துவது நியாயமானதாக இருக்க வேண்டும், இல்லையா?

இது நாம் முன்பு குறிப்பிட்ட சாம்பல் பகுதி. இந்த கேள்விக்கு கடினமான மற்றும் விரைவான கருத்து எதுவும் இல்லை, ஏனெனில் இதுபோன்ற ஏராளமான தரவுகளை அணுகக்கூடிய தொழில்நுட்ப நிறுவனங்கள் இந்தத் தேவைக்கு இடமளிக்கும் புதிய கருவிகள் மற்றும் கொள்கைத் திருத்தங்களைக் கொண்டு வருகின்றன.

சில கருவிகள் YouTube வீடியோக்களிலிருந்து ஆடியோவை உரையாக மாற்றி, பயிற்சி நோக்கங்களுக்காக அவற்றை டோக்கன்களாகப் பயன்படுத்துகின்றன. நிறுவனங்கள் தனியுரிமைக் கொள்கைகளை மறுபரிசீலனை செய்கின்றன, மேலும் வழக்குகளை எதிர்கொள்ளும் முன் தீர்மானிக்கப்பட்ட நோக்கத்துடன் மாடல்களைப் பயிற்றுவிக்க பொதுத் தரவைப் பயன்படுத்தும் அளவிற்குச் செல்கின்றன.

எதிர் வழிமுறைகள்

அதே நேரத்தில், நிறுவனங்கள் செயற்கைத் தரவு என்று அழைக்கப்படுவதை உருவாக்குகின்றன, அங்கு AI மாதிரிகள் உரைகளை உருவாக்குகின்றன, அவை மாதிரிகளை ஒரு வளையம் போன்ற பயிற்சிக்கு மீண்டும் பயன்படுத்தலாம்.

மறுபுறம், தரவு ஸ்கிராப்பிங்கை எதிர்ப்பதற்கும், நிறுவனங்கள் சட்ட ஓட்டைகளைப் பயன்படுத்துவதைத் தடுப்பதற்கும், இணையதளங்கள் டேட்டா-ஸ்கேப்பிங் போட்களைத் தணிக்க செருகுநிரல்களையும் குறியீடுகளையும் செயல்படுத்துகின்றன.

இறுதி தீர்வு என்ன?

நிஜ உலகக் கவலைகளைத் தீர்ப்பதில் AI இன் உட்குறிப்பு எப்போதும் உன்னத நோக்கங்களால் ஆதரிக்கப்படுகிறது. அத்தகைய மாதிரிகளைப் பயிற்றுவிப்பதற்கான ஆதார தரவுத்தொகுப்புகள் ஏன் சாம்பல் மாதிரிகளை நம்பியிருக்க வேண்டும்?

பொறுப்பான, நெறிமுறை மற்றும் பொறுப்புணர்வு AI பற்றிய உரையாடல்கள் மற்றும் விவாதங்கள் முக்கியத்துவத்தையும் வலிமையையும் பெறுவதால், பயிற்சித் தரவை வழங்குவதற்கு வெள்ளை-தொப்பி நுட்பங்களைக் கொண்ட மாற்று ஆதாரங்களுக்கு மாறுவது அனைத்து அளவிலான நிறுவனங்களின் மீதும் உள்ளது.

இது எங்கே ஷைப் சிறந்து விளங்குகிறது. தரவு ஆதாரங்களைச் சுற்றியுள்ள நடைமுறையில் உள்ள கவலைகளைப் புரிந்துகொண்டு, ஷைப் எப்போதும் நெறிமுறை நுட்பங்களுக்காக வாதிடுகிறார் மற்றும் பல்வேறு ஆதாரங்களில் இருந்து தரவைச் சேகரித்து தொகுக்க சுத்திகரிக்கப்பட்ட மற்றும் உகந்த முறைகளை தொடர்ந்து கடைப்பிடித்து வருகிறார்.

ஒயிட் ஹாட் டேட்டாசெட்ஸ் சோர்சிங் முறைகள்

எங்கள் தனியுரிம தரவு சேகரிப்பு கருவியானது தரவு அடையாளம் மற்றும் விநியோக சுழற்சிகளின் மையத்தில் மனிதர்களைக் கொண்டுள்ளது. எங்கள் வாடிக்கையாளர்கள் பணிபுரியும் பயன்பாட்டு நிகழ்வுகளின் உணர்திறன் மற்றும் எங்கள் தரவுத்தொகுப்புகள் அவற்றின் மாதிரிகளின் விளைவுகளில் ஏற்படுத்தும் தாக்கத்தை நாங்கள் புரிந்துகொள்கிறோம். உதாரணமாக, தன்னாட்சி கார்களுக்கான கணினி பார்வைக்கான தரவுத்தொகுப்புகளுடன் ஒப்பிடும் போது சுகாதார தரவுத்தொகுப்புகள் அவற்றின் உணர்திறனைக் கொண்டுள்ளன.

அதனால்தான் எங்கள் செயல்பாட்டில் துல்லியமான தரச் சோதனைகள் மற்றும் தொடர்புடைய தரவுத்தொகுப்புகளைக் கண்டறிந்து தொகுக்க நுட்பங்கள் உள்ளன. படங்கள், வீடியோக்கள், ஆடியோ, உரை மற்றும் பல முக்கியத் தேவைகள் போன்ற பல வடிவங்களில் பிரத்தியேகமான Gen AI பயிற்சி தரவுத்தொகுப்புகளுடன் நிறுவனங்களை மேம்படுத்துவதற்கு இது எங்களை அனுமதித்துள்ளது.

எங்கள் தத்துவம்

தரவுத்தொகுப்புகளைச் சேகரிப்பதில் ஒப்புதல், தனியுரிமை மற்றும் நேர்மை போன்ற அடிப்படைத் தத்துவங்களில் நாங்கள் செயல்படுகிறோம். எங்கள் அணுகுமுறை தரவுகளில் பன்முகத்தன்மையை உறுதிசெய்கிறது, எனவே சுயநினைவற்ற சார்பு அறிமுகம் இல்லை.

நியாயமான நடைமுறைகளால் குறிக்கப்பட்ட ஒரு புதிய சகாப்தத்தின் விடியலுக்கு AI சாம்ராஜ்யம் தயாராகி வருவதால், ஷைப்பில் நாங்கள் அத்தகைய சித்தாந்தங்களின் கொடி ஏந்துபவர்களாகவும் முன்னோடிகளாகவும் இருக்க விரும்புகிறோம். சந்தேகத்திற்கு இடமின்றி நியாயமான மற்றும் தரமான தரவுத்தொகுப்புகளை உங்கள் AI மாடல்களைப் பயிற்றுவிக்க நீங்கள் தேடுகிறீர்கள் என்றால், இன்றே எங்களைத் தொடர்புகொள்ளவும்.