LoRA फाइन-ट्यूनिंग स्टेबल डिफ्यूजन: कस्टम NSFW मॉडल्स के लिए यांत्रिकी

पिछले साल मैंने एक बहुत ही विशिष्ट बॉडी टाइप और पोज़ के लिए स्टेबल डिफ्यूजन मॉडल को कस्टमाइज़ करने की कोशिश में तीन निराशाजनक दिन बिताए। पूर्ण फाइन-ट्यूनिंग अप्रोच मेरे GPU को क्रैश कर रही थी और बेस मॉडल को लाइटिंग और कंपोज़िशन के बारे में सब कुछ भुला रही थी। फिर मैंने LoRA फाइन-ट्यूनिंग स्टेबल डिफ्यूजन आजमाया। मई 2026 तक यह तकनीक अभी भी हावी है क्योंकि यह ओरिजिनल वेट्स को फ्रीज कर देती है और केवल छोटे ट्रेनेबल मैट्रिसेस जोड़ती है। 2025 के अंत के एनालिसिस से पता चलता है कि यह ट्रेनेबल पैरामीटर्स को 99 प्रतिशत से अधिक कम कर देती है। जो ट्रेनिंग पहले दिनों में होती थी अब एक RTX 4090 पर दो घंटे से कम में पूरी हो जाती है। क्रिएटर्स अब हाइपर-स्पेसिफिक फेस, बॉडी और इरॉटिक पोज़ प्राप्त कर सकते हैं बिना मॉडल की जनरल नॉलेज को नष्ट किए।

कोर आइडिया बहुत एलिगेंट है। पूरे वेट मैट्रिक्स W को अपडेट करने की बजाय, LoRA चेंज को दो छोटे मैट्रिसेस के प्रोडक्ट के रूप में अप्रोक्सिमेट करती है: ΔW = BA. B लंबा और पतला है, A छोटा और चौड़ा है, और उनका रैंक r जानबूझकर छोटा रखा जाता है—अक्सर 8 से 64 के बीच। यह लो-रैंक ट्रिक डिफ्यूजन मॉडल्स के लिए आश्चर्यजनक रूप से अच्छी तरह काम करती है क्योंकि ज्यादातर महत्वपूर्ण अपडेट्स एक लो-डायमेंशनल सबस्पेस में रहते हैं। अल्फा आउटपुट को स्केल करता है ताकि एडाप्टर फ्रोजन बेस को ओवरपावर न करे। रिजल्ट लगभग जादुई लगता है: आप पैरामीटर्स का एक छोटा हिस्सा ट्रेन करते हैं फिर भी फाइन डिटेल्स जैसे हिप का खास कर्व या लेस लिंगरी का ड्रेप कैप्चर कर लेते हैं।

LoRA मॉड्यूल्स U-Net और टेक्स्ट एनकोडर की क्रॉस-अटेंशन लेयर्स में स्लॉट होते हैं। यह प्लेसमेंट महत्वपूर्ण है। ये लेयर्स कंट्रोल करती हैं कि टेक्स्ट प्रॉम्प्ट्स कैसे विजुअल फीचर्स में ट्रांसलेट होते हैं, इसलिए एक अच्छी तरह ट्रेंड LoRA बहुत स्पेसिफिक इरॉटिक सीन के लिए प्रॉम्प्ट एडहेरेंस को शार्प करती है बिना नेटवर्क के बाकी हिस्से को छुए। क्योंकि बेस वेट्स फ्रोजन रहते हैं, मॉडल एनाटॉमी, लाइटिंग और कंपोज़िशन की अपनी ब्रॉड समझ बनाए रखता है। आप "एक महिला उस एक्जैक्ट पोज़ में सिर्फ एक ओपन सिल्क रोब पहने" मांग सकते हैं और एडाप्टर कस्टम डिटेल्स हैंडल करता है जबकि फाउंडेशन मॉडल बाकी सब सप्लाई करता है। यह सेपरेशन ही है जो बाद में कई LoRAs को जोड़ने को नेचुरल बनाती है बजाय के कैओटिक।

10–30 सावधानी से चुनी गई इमेजेस से शुरू करें जो एक्जैक्ट बॉडी टाइप, पोज़ या आउटफिट की हों जिसे आप चाहते हैं। कंसिस्टेंटली क्रॉप करें, उन्हें स्पेसिफिक डिटेल्स के साथ कैप्शन करें जिनकी आपको परवाह है, और सेट को Kohya_ss में फीड करें। एडल्ट कंटेंट के लिए टिपिकल सेटिंग्स में रैंक 32, अल्फा 32, और लर्निंग रेट लगभग 1e-4 शामिल हैं। ज्यादातर ट्रेनिंग्स 4090 पर 60–90 मिनट में पूरी हो जाती हैं। एक बार जब आपके पास कई LoRAs हों—एक फेस के लिए, एक पोज़ के लिए, एक लिंगरी के लिए—आप उन्हें अलग-अलग स्ट्रेंथ पर साथ लोड कर सकते हैं। LoRA की क्षमता प्रिसाइज, लो-कॉस्ट कस्टमाइजेशन्स को सीधे डिफ्यूजन प्रोसेस में डिलीवर करने की ही है जो हाइपर-रियलिस्टिक, परफॉर्मर-स्पेसिफिक एडल्ट इमेजेस और वीडियो फ्रेम्स को मॉडर्न AI प्लेटफॉर्म्स पर जेनरेट करने में सक्षम बनाती है। LoRA फाइन-ट्यूनिंग स्टेबल डिफ्यूजन: घंटों में कस्टम NSFW मॉडल्स ठीक दिखाता है कि ये एडाप्टर्स फुल सीन तक कैसे स्केल करते हैं।