डीप लर्निंग पेपर्स रिव्यू - यूनिवर्सल एडवरसरी पैच

इस लेख में, मैं शुरू में प्रतिकूल चित्र बनाने के बारे में चर्चा करूंगा और फिर मैं धीरे-धीरे Google ब्रेन में शोधकर्ताओं द्वारा एक दिलचस्प छवि पैच (https://arxiv.org/pdf/1712.09665) के बारे में प्रकाशित एक दिलचस्प पेपर की ओर चर्चा को तेज करूंगा। .pdf)। यह पत्र एक सामान्य छवि पैच प्रस्तुत करता है, जो जब छवियों में जोड़ा जाता है तो किसी भी तंत्रिका नेटवर्क को मिसकॉलिज़िफाई कर देगा। स्वयं कागज़ के लेखकों ने एक यूट्यूब वीडियो के माध्यम से यह प्रदर्शित किया है:

आइए पहले पता करें कि इस तरह की विपत्तियाँ पहले स्थान पर क्यों बन सकती हैं।

तंत्रिका नेटवर्क की कमजोरी

दीप न्यूरल नेटवर्क निश्चित रूप से वस्तु मान्यता के लिए "उच्च सटीकता" परिणाम तैयार कर रहे हैं। फिर भी, कोई व्यक्ति न्यूनतम गड़बड़ी के साथ एक न्यूरल नेट को गलत बना सकता है। आइए संभावित कारणों पर एक नज़र डालें:

  • डीप न्यूरल नेट्स को डेटा के एक निश्चित सेट पर प्रशिक्षित किया जाता है और इसलिए, ट्रांसलेशन सिग्नल जैसे ट्रांसलेशन या रोटेशन में परिवर्तन इसे नकली बना सकता है। इसका मतलब यह भी है कि, इनपुट सिग्नल में जोड़ा जाने वाला एक छोटा सा शोर इसे मिसकॉलिज़िफाई कर सकता है। उदाहरण के लिए, इनपुट इमेज में थोड़ी मात्रा में शोर जोड़ने से न्यूरल नेटवर्क को छवि को गलत तरीके से पेश किया जा सकता है, भले ही एक मानव आंख को छवि में कोई बदलाव नहीं दिखाई देगा। यह छवि आपको एक विचार देगी:

[ज्योफ हिंटन द्वारा हाल ही में कैप्सूल नेटवर्क्स पर कुछ काम किया गया था, जो छवि परिवर्तनों के लिए अपरिवर्तनीय हैं। फिर भी, कैप्सूल अन्य प्रकार के प्रतिकूल हमलों की चपेट में हैं। और यहां तक ​​कि कॉनवनेट भी कमोबेश पैमाने पर और परिवर्तनकारी हैं]

  • इसके अलावा, आज के डीप लर्निंग आधारित क्लासिफायर भी ज्यादातर टुकड़े-टुकड़े रैखिक हैं। यहां तक ​​कि सबसे लोकप्रिय सक्रियण फ़ंक्शन जैसे कि ReLu (और इसके वेरिएंट) भाग रैखिक द्वारा भाग हैं। सिगमॉइड और तन्ह जैसी अन्य सक्रियण क्रियाओं को यहां खारिज कर दिया जाता है क्योंकि वे "गायब होने वाली समस्या" जैसे मुद्दों का कारण बनती हैं। हालाँकि, न्यूरल नेटवर्क "गैर-रेखीय वर्गीकरणकर्ता" हैं, लेकिन वे कई "रैखिक" क्षेत्रों के माध्यम से इसे तथाकथित गैर-समृद्धि प्राप्त करते हैं

न्यूरल नेट्स की इन कमजोरियों ने पूरे क्षेत्र को "एडवांसरियल डीप लर्निंग" (सामान्य रूप से "एडवरसैरियल मशीन लर्निंग" कहा जाता है)

एडवरसैरियल इमेजेज बनाना

न्यूरल नेटवर्क क्लासिफायर को मूर्ख बनाने के लिए प्रतिकूल चित्र बनाना एक नई समस्या नहीं है। प्रतिकूल उदाहरणों को उत्पन्न करने के लिए अतीत में बहुत से प्रस्तावित तरीके हैं। ऐसा करने का सबसे सरल तरीका छवि के व्यक्तिगत पिक्सेल के मूल्य को बदलना होगा जब तक कि एक नए वर्ग की संभावना अधिकतम नहीं होती है। गणित के अनुसार,

प्रतिकूल चित्र बनाने के लिए सरल गणितीय समीकरण

(अधिकांश शोधकर्ता आमतौर पर लॉग प्रायिकता के साथ उपरोक्त प्रायिकता शब्द को प्रतिस्थापित करते हैं)

प्रतिकूल उदाहरणों का उत्पादन करने के लिए ग्रेडिएंट आधारित पुनरावृत्ति विधियाँ भी हैं, जैसे कि फास्ट ग्रेडिएंट साइन विधि (FGSM), इटरेटिव ग्रैडिएंट साइन विधि और Iterative Least-संभावना वर्ग विधि। ये विधियां मुख्य रूप से इनपुट छवि के संबंध में आउटपुट वर्ग की लागत (J) के ग्रेडिएंट का उपयोग करती हैं, क्रमिक के आधार पर इनपुट छवि को पुनरावृति में बदलने के लिए। आइए FGSM के गणितीय समीकरण पर एक नज़र डालें:

FGSM

संक्षेप में, FGSM पुनरावृत्त इनपुट के संबंध में लागत की ग्रेडिएंट की दिशा में एक छोटी राशि द्वारा इनपुट संकेत बढ़ाता है।

उपरोक्त तकनीकों के अलावा, निश्चित रूप से प्रतिकूल छवियां उत्पन्न करने के लिए लोकप्रिय GAN (जननिक प्रतिकूल नेटवर्क) हैं।

हालांकि उपरोक्त विधियां संतोषजनक प्रतिकूल उदाहरण उत्पन्न करती हैं, वे समान रूप से रूपांतरित छवियों पर काम करने के लिए पर्याप्त मजबूत नहीं हैं। इस पत्र का शीर्षक लुओ एट द्वारा "फोविटियन-आधारित मैकेनिज्म अललेवेट एडवरसैरियल उदाहरण" है। अल, दिखाता है कि उपरोक्त प्रतिकूल उदाहरण विफल हो जाते हैं जब उन्हें ब्याज की वस्तु (Foveated) के साथ फसली जाती है। ऐसा इसलिए है, क्योंकि स्केलिंग और अनुवाद के लिए कॉन्वनेट मजबूत हैं। लेकिन, इस तरह का एक परिवर्तन नियम छवि पर जोड़े गए शोर या गड़बड़ी पर लागू नहीं होता है, अर्थात, छवि के रूपांतरित होने के बाद भी, रूपांतरण को बेवकूफ बनाने के लिए पर्याप्त मजबूत नहीं होते हैं। "ऑटोनॉमस व्हीकल्स में ऑब्जेक्ट डिटेक्शन में एडवांसरियल एग्जाम के बारे में चिंता करने की कोई जरूरत नहीं" नामक एक अन्य पेपर का लगभग एक ही इरादा है।

तो, क्या यह भी प्रतिकूल छवियों का एक मजबूत सेट का उत्पादन संभव है? खैर, हाल ही में कुछ दिलचस्प पेपर सामने आए हैं जो मजबूत प्रतिकूल उदाहरणों के निर्माण के बारे में चर्चा करते हैं। हम उनमें से कुछ पर नज़र डालेंगे:

  • मजबूत प्रतिकूल उदाहरणों का संश्लेषण करना (परिवर्तन पर अपेक्षा के माध्यम से)
  • एडवरसियर पैच
  • तंत्रिका नेटवर्क के खिलाफ अगोचर और मजबूत सलाहकार उदाहरण हमलों की ओर

हम मुख्य रूप से पहले 2 पेपर देख रहे हैं।

परिवर्तन की अपेक्षा (ईओटी)

पहले पेपर से काम (यानी, मजबूत प्रतिकूल उदाहरणों को समेटते हुए), ऐसे प्रतिकूल उदाहरण उत्पन्न करता है जो अधिकांश छवि परिवर्तनों के तहत एक न्यूरल नेटवर्क क्लासिफायर "मूर्ख" करने के लिए पर्याप्त मजबूत होते हैं। अनिवार्य रूप से, यहां क्या होता है, एक वर्ग की प्रत्याशित संभावना अधिकतम संभव परिवर्तन कार्यों (t ~ T) से अधिक हो जाती है, रूपांतरित मूल और रूपांतरित विकृत छवि के बीच अपेक्षित प्रभावी दूरी पर एक बाधा के साथ। आइए समझने का प्रयास करें कि इसका क्या मतलब है।

ईओटी में, दी गई छवि को पहले उपर्युक्त तरीकों में से एक का उपयोग करके प्रतिकूल बनाया गया है। अब, हम एक ट्रांसफ़ॉर्मेशन स्पेस transformation T ’को परिभाषित करते हैं, जिसमें घुमाव, स्केलिंग, ट्रांसलेशन इत्यादि जैसे परिवर्तन होते हैं। फिर, हम अपने वांछित वर्ग लेबल की लॉग संभावना की उम्मीद की गणना करते हैं। यह वही है जो गणितीय रूप से दिखता है:

वांछित वर्ग की अपेक्षित लॉग संभावना परिवर्तनों को देखते हुए

इसके बाद हम इस अनुमानित संभावना को अधिकतम करने की कोशिश करते हैं कि रूपांतरित मूल और रूपांतरित छवि के बीच अपेक्षित प्रभावी दूरी कुछ मान this this से कम है। इसलिए, अपेक्षित संभावना (या लॉग संभावना) पर विचार करके, हम परिवर्तन स्थान में मौजूद सभी परिवर्तनों के लिए लेखांकन कर रहे हैं। और बाधा यह सुनिश्चित करने के लिए है कि उत्पन्न छवियां मूल परिवर्तन के यथासंभव करीब हैं। यह अंतिम समीकरण जैसा दिखता है:

एडवरसियर पैच

ऊपर दिए गए वीडियो से, यह स्पष्ट है कि हम "यूनिवर्सल" छवि पैच के लिए शिकार कर रहे हैं, जो किसी भी छवि में जोड़े जाने पर एक न्यूरल नेटवर्क को छवि को गलत बना देगा। इसके लिए, एक ऑपरेटर () पहले परिभाषित किया गया है। ऑपरेटर A पैच में लेता है, एक छवि, छवि में समन्वय (पैच लगाने के लिए) और अनुवाद, रोटेशन और स्केलिंग जैसे परिवर्तनों को पैच पर लागू किया जाता है।

ऑपरेटर 'ए' के ​​पीछे एक अंतर्ज्ञान

इष्टतम पैच को खोजने के लिए, किसी लेबल के लिए परिवर्तन की अपेक्षा परिवर्तन का उपयोग गर्भपात की संभावना को अधिकतम करने के लिए किया जाता है। गणितीय रूप से, यह इस तरह दिखता है:

मूल कागज का इस्तेमाल "टोस्टर" के रूप में प्रतिकूल वर्ग और अंतिम पैच के रूप में होता है:

इस प्रतिकूल पैच के बारे में एक सीमा यह है कि, आप ऑब्जेक्ट डिटेक्शन मॉडल (किसी छवि में विभिन्न ऑब्जेक्ट को पहचानने वाले मॉडल) को मूर्ख नहीं बना सकते। उदाहरण के लिए।, मैंने हाल ही में फेसबुक पर इस पैच के साथ एक छवि अपलोड करने की कोशिश की: (पी)। चूंकि फेसबुक इमग टैग की पूरी विशेषता में छवि के बारे में सभी भविष्यवाणियों को सूचीबद्ध करता है, जो इसे हाउस करता है, आप जैसे ही छवि अपलोड करते हैं, आप इसकी भविष्यवाणियों की जांच कर सकते हैं। यहाँ मैंने क्या कोशिश की है:

बायां: मेरा फेसबुक पोस्ट, राइट: क्रोम देव टूल्स

(: पी)

[ऊपर दी गई सूची में तीसरा पेपर, यानी, "टुवार्ड्स इंसेप्टिबल एंड रोबस्ट एडवरसैरियल उदाहरण हमलों के खिलाफ तंत्रिका नेटवर्क" अभी लगभग एक सप्ताह पहले ही सामने आया था। उस पत्र में, उन्होंने प्रतिकूल उदाहरण प्रस्तुत करते हुए मानव अवधारणात्मक प्रणाली को ध्यान में रखा है]

सारांश

  • प्रतिकूल सामग्री उत्पन्न करना: हम अनिवार्य रूप से बार-बार शोर करने से गर्भपात की संभावना को बढ़ाते हैं। FGSM जैसी कुछ लोकप्रिय तकनीकें शोर को जोड़ने के लिए लागत की प्रवणता के संकेत का उपयोग करती हैं
  • कमजोरी: वे विधियाँ एक तंत्रिका नेटवर्क के लिए पर्याप्त रूप से मजबूत नहीं होती हैं, जब तंत्रिका छवि नेटवर्क में परिवर्तित हो जाती है, जब इनपुट छवि खराब हो जाती है (arxiv: 1511.06292 और arxiv: 1707.03501)
  • परिवर्तन पर उम्मीद: हम पहले उपरोक्त तरीकों में से एक का उपयोग करके एक प्रतिकूल छवि उत्पन्न करते हैं। फिर, हम एक छवि के दिए गए परिवर्तन के लिए, वर्ग की अपेक्षित लॉग संभावना को अधिकतम करते हैं। यह अपेक्षा परिवर्तन स्थान expect T ’के सभी परिवर्तनों पर है।
  • सलाहकार पैच: एक ऑपरेटर 'ए' को परिभाषित करता है जो दी गई छवि पर एक पैच लागू करता है। फिर, परिवर्तन की अपेक्षा, एक नए वर्ग की लॉग संभावना को अधिकतम करने के लिए उपयोग किया जाता है, इस बाधा के तहत कि यह शुरुआती पैच से बहुत अधिक विचलन नहीं करता है