மொழி செயலாக்கத்தின் எதிர்காலம்: பெரிய மொழி மாதிரிகள் மற்றும் அவற்றின் எடுத்துக்காட்டுகள்

செயற்கை நுண்ணறிவு (AI) மற்றும் இயந்திர கற்றல் தொடர்ந்து முன்னேறி வருவதால், மனித மொழியை செயலாக்கி புரிந்து கொள்ளும் நமது திறனும் அதிகரிக்கிறது. இந்தத் துறையில் மிகவும் குறிப்பிடத்தக்க முன்னேற்றங்களில் ஒன்று பெரிய மொழி மாதிரி (LLM) ஆகும், இது வாடிக்கையாளர் சேவையிலிருந்து உள்ளடக்க உருவாக்கம் வரை அனைத்திலும் புரட்சியை ஏற்படுத்தும் திறன் கொண்டது.

இந்த வலைப்பதிவில், LLM என்றால் என்ன என்பதை ஆராய்வோம், LLM பயன்பாடுகளின் சில உதாரணங்களைப் பற்றி விவாதிப்போம், மேலும் அவற்றின் எதிர்கால தாக்கங்களைக் கருத்தில் கொள்வோம்.

"பெரிய மொழி மாதிரி" (LLM) என்றால் என்ன?

பெரிய மொழி மாதிரிகள் (LLMs) என்பவை, மனிதனைப் போன்ற உரையைச் செயலாக்கி உருவாக்கும் ஒரு வகை ஆழ்நிலைக் கற்றல் வழிமுறையாகும். இந்த மாதிரிகள் , புத்தகங்கள், கட்டுரைகள், வலைத்தளங்கள், வாடிக்கையாளர் கருத்துகள், சமூக ஊடகப் பதிவுகள் மற்றும் தயாரிப்பு மதிப்புரைகள் போன்ற பல்வேறு மூலங்களிலிருந்து பெறப்பட்ட உரைகளைக் கொண்ட மிகப்பெரிய தரவுத்தொகுப்புகளில் பயிற்சி அளிக்கப்படுகின்றன.

ஒரு LLM இன் முதன்மை குறிக்கோள், மனித மொழியில் உள்ள வடிவங்களைப் புரிந்துகொள்வதும் கணிப்பதும் ஆகும், இது ஒத்திசைவான மற்றும் சூழ்நிலைக்கு பொருத்தமான உரையை உருவாக்க உதவுகிறது.

ஒரு எல்எல்எம் பயிற்சி செயல்முறை பின்வருவனவற்றை உள்ளடக்கியது:

• பில்லியன் அல்லது டிரில்லியன் வாக்கியங்களுக்கு மாதிரியை வெளிப்படுத்துதல்.
• இலக்கணம், தொடரியல் மற்றும் சொற்பொருள் ஆகியவற்றைக் கற்றுக்கொள்ள அனுமதிக்கிறது.
• உண்மையான தகவலை அறியவும்.

இதன் விளைவாக, இந்த மாதிரிகள் கேள்விகளுக்கு பதிலளிக்கலாம், உரையை உருவாக்கலாம், மொழிகளை மொழிபெயர்க்கலாம் மற்றும் பல மொழி தொடர்பான பணிகளை அதிக துல்லியத்துடன் செய்யலாம்.

எடுத்துக்காட்டு 1: Google மொழிபெயர்ப்பு

Google Translate என்பது மிகவும் பரவலாகப் பயன்படுத்தப்படும் Large Language Model (LLM) எடுத்துக்காட்டுகளில் ஒன்றாகும். 2006 இல் தொடங்கப்பட்டது, இது 130 க்கும் மேற்பட்ட மொழிகளை ஆதரிக்கும் அளவிற்கு வளர்ந்துள்ளது மற்றும் தினசரி 500 மில்லியன் பயனர்களுக்கு சேவை செய்கிறது. இந்த அமைப்பு, உரையை செயலாக்க மற்றும் மொழிபெயர்க்க, நியூரல் மெஷின் டிரான்ஸ்லேஷன் (NMT) எனப்படும் ஆழமான கற்றல் வழிமுறையைப் பயன்படுத்துகிறது.

ஆரம்ப நாட்களில், கூகிள் மொழிபெயர்ப்பு ஒரு புள்ளிவிவர இயந்திர மொழிபெயர்ப்பு முறையைச் சார்ந்திருந்தது. அது, வார்த்தைத் தொடர்களின் நிகழ்தகவின் அடிப்படையில், உள்ளீட்டு உரையை மிகவும் சாத்தியமான மொழிபெயர்ப்புடன் பொருத்தியது. இருப்பினும், 2016-ல், கூகிள் தனது NMT-ஐ அறிமுகப்படுத்தியது . இது, சூழலையும் வார்த்தைகளுக்கு இடையிலான தொடர்புகளையும் கருத்தில் கொண்டு, முழு வாக்கியங்களையும் ஒரே நேரத்தில் செயலாக்கி மொழிபெயர்ப்பதன் மூலம், மொழிபெயர்ப்புத் தரத்தை கணிசமாக மேம்படுத்தியது.

கூகுளின் NMT அல்காரிதம் இருமொழி உரைத் தரவுகளின் பரந்த அளவில் பயிற்றுவிக்கப்பட்டு குறியாக்கி-குறிவிலக்கி கட்டமைப்பைப் பயன்படுத்துகிறது.

• குறியாக்கி உள்ளீட்டு உரையை செயலாக்குகிறது, அதே நேரத்தில் டிகோடர் மொழிபெயர்ப்பை உருவாக்குகிறது. 
• ஒரு உட்பொதித்தல் எனப்படும் தொடர்ச்சியான இடத்தில் ஒரு வாக்கியத்தின் பொருளைப் பிரதிநிதித்துவப்படுத்த மாதிரி கற்றுக்கொள்கிறது, இது சிக்கலான மொழி அமைப்புகளைப் புரிந்துகொள்ளவும் மொழிபெயர்க்கவும் அனுமதிக்கிறது.

நியூயார்க் டைம்ஸ் பத்திரிகையின்படி , கூகிளின் நரம்பியல் இயந்திர மொழிபெயர்ப்பு (NMT) அமைப்பு, 500 மில்லியனுக்கும் அதிகமான பயனர்களுக்காக தினமும் 140 பில்லியனுக்கும் அதிகமான வார்த்தைகளை மொழிபெயர்க்கிறது. இந்த வியக்கத்தக்க எண்ணிக்கை, மொழித் தடைகளை உடைப்பதிலும் உலகளாவிய தகவல்தொடர்பை எளிதாக்குவதிலும் கற்றல் வழிமுறைகளின் (LLM) தாக்கத்தையும் ஆற்றலையும் எடுத்துக்காட்டுகிறது.

கூகுள் மொழியாக்கம் தொடர்ந்து சுத்திகரிக்கப்பட்டு புதுப்பிக்கப்பட்டு, மொழிபெயர்ப்பு தரத்தை மேம்படுத்தி அதன் மொழி ஆதரவை விரிவுபடுத்துகிறது. உலகெங்கிலும் உள்ள மில்லியன் கணக்கானவர்களுக்கு இந்த சேவை இன்றியமையாததாக மாறியுள்ளது, மொழி தடைகள் முழுவதும் தடையற்ற தொடர்பு மற்றும் தகவல் அணுகலை செயல்படுத்துகிறது.