जानें कि LLM क्या है, इसे कैसे प्रशिक्षित किया जाता है, और यह सब कुछ जानने वाला क्यों लगता है।
इस पाठ को Kodokon में खोलेंआपने शायद ChatGPT, Claude या Gemini के बारे में पहले ही सुना होगा। ये जनरेटिव एआई हैं: ऐसे कंप्यूटर प्रोग्राम जो किसी लिखित अनुरोध से बिल्कुल नया टेक्स्ट (एक व्याख्या, एक सारांश, एक कविता, कुछ कोड) तैयार करने में सक्षम हैं। इनके पीछे छिपा इंजन LLM कहलाता है, जो *Large Language Model* का संक्षिप्त रूप है। कंप्यूटिंग में, एक "मॉडल" ऐसा प्रोग्राम होता है जिसने इंसान द्वारा एक-एक करके लिखे गए नियमों को लागू करने के बजाय उदाहरणों से पैटर्न सीखे होते हैं।
इसका मूल सिद्धांत आश्चर्यजनक रूप से सरल है: एक LLM एक ऐसी मशीन है जो अनुमान लगाती है कि कोई टेक्स्ट आगे कैसे बढ़ता है। जब आप पढ़ते हैं "बिल्ली सो रही है…", तो आपका दिमाग अपने आप "सोफ़े पर" या "बिस्तर पर" भर देता है। एक LLM ठीक यही करता है, लेकिन विशाल पैमाने पर: हर चरण पर, यह गणना करता है कि कौन-सा शब्द (या शब्द का कोई टुकड़ा) आगे आने की सबसे अधिक संभावना है, उसे जोड़ता है, फिर दोबारा शुरू करता है। इसलिए एक पूरा उत्तर, शब्द दर शब्द, अनुमानों की एक लंबी श्रृंखला के अलावा और कुछ नहीं है। यह वही तंत्र है जो आपके फ़ोन के कीबोर्ड पर शब्दों के सुझावों में होता है, बस अतुलनीय रूप से कहीं अधिक शक्तिशाली।
आप एक धैर्यवान शिक्षक हैं जो कंप्यूटिंग को एक बिल्कुल नए शुरुआती व्यक्ति को समझाते हैं।
मुझे समझाइए कि एक लार्ज लैंग्वेज मॉडल (LLM) क्या है, मानो मैं 12 साल का हूँ, बिना किसी अपरिभाषित तकनीकी शब्द के।
बाध्यताएँ:
- रोज़मर्रा की ज़िंदगी की एक उपमा का उपयोग करें।
- अधिकतम 10 वाक्य।
- अंत में एक प्रश्न पूछें ताकि यह जाँचा जा सके कि मैं समझ गया।यह मशीन इतना अच्छा अनुमान लगाना कैसे सीखती है? प्रशिक्षण के माध्यम से: यह एक चरण है (आपकी पहली बातचीत से पहले) जिसके दौरान मॉडल भारी मात्रा में टेक्स्ट "पढ़ता" है - किताबें, लेख, वेबसाइटें, कंप्यूटर कोड। हर वाक्य के लिए, आगे का हिस्सा छिपा दिया जाता है और मॉडल से उसका अनुमान लगाने को कहा जाता है। जब यह गलत होता है, तो इसके पैरामीटर को थोड़ा-सा समायोजित किया जाता है - यानी इसकी अरबों सूक्ष्म आंतरिक सेटिंग्स। इसे अरबों बार दोहराइए, और मॉडल अंततः अपने प्रशिक्षण टेक्स्ट में मौजूद व्याकरण, शैली और विशाल मात्रा में ज्ञान को पकड़ लेता है।
इसीलिए एक जनरेटिव एआई सब कुछ जानता हुआ लगता है: इसने एक ऐसा पुस्तकालय "पढ़ा" है जो एक इंसान हज़ार जन्मों में भी नहीं पढ़ पाता। लेकिन उस शब्द से सावधान रहें: *लगता है*। मॉडल उत्तर देते समय किसी विश्वकोश को नहीं देखता, और यह उस तरह "समझता" नहीं जैसे आप समझते हैं। यह अपने प्रशिक्षण के आधार पर शब्दों का सबसे संभावित क्रम गणना करता है। अधिकांश समय, संभावित = सत्य। लेकिन हमेशा नहीं, और यही ठीक अगले पाठ का विषय है।
मैंने अभी सीखा है कि LLM टेक्स्ट का अनुमान लगाकर काम करते हैं, कि उन्हें विशाल संग्रहों पर प्रशिक्षित किया जाता है, और कि वे केवल सबसे संभावित आगे का हिस्सा ही तैयार करते हैं।
मुझसे 3 प्रश्न पूछिए, एक बार में एक, ताकि यह जाँचा जा सके कि मैंने इन तीनों विचारों को सचमुच समझ लिया है।
हर प्रश्न के बाद मेरे उत्तर की प्रतीक्षा कीजिए, फिर अगला प्रश्न पूछने से पहले मुझे नरमी से सुधारिए।
मुझे कभी भी उत्तर तब तक न दें जब तक मैंने कोशिश न कर ली हो।