बेस्ट डीप लर्निंग रिसर्च ऑफ़ 2019 सो फ़ार

हम 2019 की Q1 के साथ समाप्त हो गए हैं, और गहरी सीखने की तकनीक का अनुसंधान पक्ष एक बहुत अच्छी क्लिप पर आगे चल रहा है। मैं नियमित रूप से AI शोधकर्ताओं के प्रयासों की निगरानी करता हूं ताकि प्रौद्योगिकी का नेतृत्व किया जा सके। यह दूरदर्शिता मुझे यह सुनिश्चित करने के लिए मेरे समय को बेहतर ढंग से अनुकूलित करने की अनुमति देती है कि मुझे पता है कि मुझे क्या पता नहीं है। नतीजतन, मैं संभावित सैकड़ों या शायद हजारों पत्रों के क्षेत्र में एक सप्ताह में कम से कम एक शोध पत्र का उपभोग करने की कोशिश करता हूं।

इस लेख में, मैं 2019 में अब तक प्रकाशित शोध प्रयासों के वर्तमान पूल को कम करके आपको कुछ समय बचाने में मदद करूंगा जो निम्न प्रबंधन योग्य सूची के नीचे है। मैंने अपनी पसंद के पेपर शामिल करने के लिए फ़िल्टर किया जिसमें एक संबंधित GitHub रेपो भी है। का आनंद लें!

फास्ट ग्राफ प्रतिनिधित्व सीखना Pyoror Geometric के साथ

यह शोध PyTorch पर निर्मित, अनियमित रूप से संरचित इनपुट डेटा जैसे कि रेखांकन, बिंदु बादलों और कई गुना पर गहरी सीखने के लिए एक पुस्तकालय PyTorch ज्यामितीय का परिचय देता है। सामान्य ग्राफ़ डेटा संरचनाओं और प्रसंस्करण विधियों के अलावा, इसमें रिलेशनल लर्निंग और 3 डी डेटा प्रोसेसिंग के डोमेन से हाल ही में प्रकाशित तरीकों की एक किस्म शामिल है। PyTorch Geometric समर्पित CUDA कर्नेल प्रदान करके और विभिन्न आकार के इनपुट उदाहरणों के लिए कुशल मिनी-बैच हैंडलिंग पेश करके, स्पार्स GPU त्वरण का लाभ उठाकर उच्च डेटा थ्रूपुट प्राप्त करता है। कोड GitHub पर उपलब्ध है।

[संबंधित लेख: 2018 के लिए सबसे प्रभावशाली डेटा साइंस रिसर्च पेपर्स]

मास्क स्कोरिंग आर-सीएनएन

उदाहरण विभाजन के कार्य में, उदाहरण वर्गीकरण का विश्वास ज्यादातर उदाहरण विभाजन रूपरेखा में मुखौटा गुणवत्ता स्कोर के रूप में किया जाता है। यह कागज इस समस्या का अध्ययन करता है और मास्किंग आर-सीएनएन का प्रस्ताव करता है जिसमें अनुमानित उदाहरण मास्क की गुणवत्ता जानने के लिए एक नेटवर्क ब्लॉक होता है। मास्क स्कोरिंग रणनीति मुखौटा गुणवत्ता और मुखौटा स्कोर के बीच के गलत वर्गीकरण को कैलिब्रेट करती है, और सीओसीओ एपी मूल्यांकन के दौरान अधिक सटीक मुखौटा भविष्यवाणियों को प्राथमिकता देकर उदाहरण विभाजन को बेहतर बनाती है। कोड GitHub पर उपलब्ध है।

उच्च निष्ठा छवि पीढ़ी कम लेबल के साथ

डीप जेनेरेटिव मॉडल आधुनिक मशीन लर्निंग की आधारशिला बन रहे हैं। सशर्त जननिक प्रतिकूल नेटवर्क (जीएएन) पर हाल के काम से पता चला है कि प्राकृतिक छवियों पर जटिल, उच्च-आयामी वितरण सीखना पहुंच के भीतर है। जबकि नवीनतम मॉडल उच्च संकल्प पर उच्च-निष्ठा, विविध प्राकृतिक छवियों को उत्पन्न करने में सक्षम हैं, वे लेबल डेटा की एक विशाल मात्रा पर भरोसा करते हैं। यह पत्र दर्शाता है कि किसी को स्व-और अर्ध-पर्यवेक्षणीय सीखने पर हाल ही में काम करने का फायदा कैसे हो सकता है, इसके लिए स्टेटस-ऑफ-द-आर्ट (एसओटीए) दोनों के साथ-साथ अनुपचारित इमेजनेट संश्लेषण, साथ ही साथ सशर्त सेटिंग में। कोड GitHub पर उपलब्ध है।

GCNv2: रियल-टाइम SLAM के लिए कुशल पत्राचार भविष्यवाणी

यह पेपर कीपिंग और डिस्क्रिप्टर की पीढ़ी के लिए एक गहन शिक्षण-आधारित नेटवर्क, GCNv2 प्रस्तुत करता है। GCNv2 पिछले पद्धति पर बनाया गया है, GCN, एक नेटवर्क है जो 3D प्रोजेक्टिव ज्यामिति के लिए प्रशिक्षित है। GCNv2 को ORB सुविधा के रूप में एक बाइनरी डिस्क्रिप्टर वेक्टर के साथ डिज़ाइन किया गया है ताकि यह ORB-SLAM जैसे सिस्टम में ORB को आसानी से बदल सके। कोड GitHub पर उपलब्ध है।

[संबंधित लेख: पाठ वर्गीकरण के लिए गहन अध्ययन]

ALiPy: पायथन में सक्रिय शिक्षण

पर्यवेक्षित मशीन सीखने के तरीकों को आमतौर पर मॉडल प्रशिक्षण के लिए लेबल किए गए उदाहरणों के एक बड़े सेट की आवश्यकता होती है। हालांकि, कई वास्तविक अनुप्रयोगों में, बहुतायत से अनलिस्टेड डेटा हैं लेकिन सीमित लेबल डेटा; और लेबल का अधिग्रहण महंगा है। एक्टिव लर्निंग (AL) लेबलिंग की लागत को कम करके एनोटेटर से उनके लेबल को क्वेरी करने के लिए सबसे मूल्यवान डेटा का चयन करता है। यह लेख सक्रिय सीखने के लिए पायथन टोबोक्स एलिपी का परिचय देता है। कोड GitHub पर उपलब्ध है।

डीपफैशन 2: डिटेक्शन, पोज एस्टिमेशन, सेगमेंटेशन और कपड़ों की छवियों की पुनः पहचान के लिए एक बहुमुखी बेंचमार्क

फैशन छवियों को समझना डीप फ़र्नीचर जैसे समृद्ध एनोटेशन के बेंचमार्क द्वारा उन्नत किया गया है, जिनके लेबल में कपड़ों की श्रेणियां, स्थल और उपभोक्ता-व्यावसायिक छवि जोड़े शामिल हैं। हालांकि, डीपफैशन में गैर-नगण्य मुद्दे हैं जैसे कि एकल कपड़े-आइटम प्रति छवि, विरल स्थल (4 ~ 8 केवल), और प्रति-पिक्सेल मास्क नहीं, वास्तविक दुनिया के परिदृश्यों से एक महत्वपूर्ण अंतर पैदा करते हैं। इन मुद्दों को संबोधित करने के लिए डीपफैशन 2 प्रस्तुत करके यह पत्र अंतर में भर जाता है। यह कपड़े का पता लगाने, मुद्रा अनुमान, विभाजन और पुनर्प्राप्ति सहित चार कार्यों का एक बहुमुखी बेंचमार्क है। कोड GitHub पर उपलब्ध है।

StarCraft मल्टी-एजेंट चैलेंज

पिछले कुछ वर्षों में, गहन मल्टी-एजेंट सुदृढीकरण सीखने (आरएल) अनुसंधान का एक अत्यधिक सक्रिय क्षेत्र बन गया है। इस क्षेत्र में समस्याओं का एक विशेष रूप से चुनौतीपूर्ण वर्ग आंशिक रूप से अवलोकन, सहकारी, बहु-एजेंट शिक्षण है, जिसमें एजेंटों की टीमों को अपने निजी टिप्पणियों पर कंडीशनिंग करते समय अपने व्यवहार का समन्वय करना सीखना चाहिए। यह एक आकर्षक अनुसंधान क्षेत्र है क्योंकि इस तरह की समस्याएं बड़ी संख्या में वास्तविक-विश्व प्रणालियों के लिए प्रासंगिक हैं और सामान्य-योग समस्याओं की तुलना में मूल्यांकन के लिए अधिक उत्तरदायी हैं। ALE और MuJoCo जैसे मानकीकृत परिवेशों ने सिंगल-एजेंट RL को टॉय वर्ल्ड जैसे खिलौना डोमेन से आगे बढ़ने की अनुमति दी है। हालांकि, सहकारी बहु-एजेंट आरएल के लिए कोई तुलनीय बेंचमार्क नहीं है। नतीजतन, इस क्षेत्र के अधिकांश कागजात एक-बंद खिलौने की समस्याओं का उपयोग करते हैं, जिससे वास्तविक प्रगति को मापना मुश्किल हो जाता है। यह पत्र StarCraft मल्टी-एजेंट चैलेंज (SMAC) को इस अंतर को भरने के लिए एक बेंचमार्क समस्या के रूप में प्रस्तावित करता है। कोड GitHub पर उपलब्ध है।

ड्रॉपआउट स्टोचस्टिक डेल्टा नियम का एक विशेष मामला है: तेजी से और अधिक सटीक गहरी शिक्षा

मल्टी-लेयर न्यूरल नेटवर्क ने पाठ, भाषण और छवि प्रसंस्करण में कई प्रकार के बेंचमार्क कार्यों पर उल्लेखनीय प्रदर्शन किया है। पदानुक्रमित मॉडल में नॉनलाइनियर पैरामीटर का अनुमान ओवरफिटिंग और मिसकैपिफिकेशन के अधीन माना जाता है। इन अनुमानों और संबंधित समस्याओं (स्थानीय मिनीमा, सह-रैखिकता, सुविधा खोज आदि) के लिए एक दृष्टिकोण को ड्रॉपआउट कहा जाता है। ड्रॉपआउट एल्गोरिथ्म प्रत्येक अद्यतन से पहले संभावना पी के साथ एक बर्नौली यादृच्छिक चर के अनुसार छिपी हुई इकाइयों को हटाता है, नेटवर्क पर यादृच्छिक "झटके" बनाता है जो अपडेट पर औसत होते हैं। इस पत्र से पता चलता है कि ड्रॉपआउट मूल रूप से 1990 में प्रकाशित एक अधिक सामान्य मॉडल का एक विशेष मामला है जिसे स्टोचैस्टिक डेल्टा नियम, या एसडीआर कहा जाता है। कोड GitHub पर उपलब्ध है।

भाषा: अनुक्रम से अनुक्रम मॉडलिंग के लिए एक मॉड्यूलर और स्केलेबल फ्रेमवर्क

लिंगवो एक टेन्सरफ़्लो फ्रेमवर्क है जो सहयोगात्मक गहन शिक्षण अनुसंधान के लिए एक पूर्ण समाधान प्रदान करता है, जिसमें अनुक्रम-टू-सीक्वेंस मॉडल पर विशेष ध्यान दिया जाता है। लिंगवो मॉडल मॉड्यूलर बिल्डिंग ब्लॉकों से बने होते हैं जो लचीले और आसानी से एक्स्टेंसिबल होते हैं, और प्रयोग विन्यास केंद्रीकृत और उच्च अनुकूलन योग्य होते हैं। वितरित प्रशिक्षण और परिमाणित अनुमान सीधे ढांचे के भीतर समर्थित हैं, और इसमें बड़ी संख्या में उपयोगिताओं, सहायक कार्यों और नवीनतम अनुसंधान विचारों के मौजूदा कार्यान्वयन शामिल हैं। पिछले दो वर्षों में 20 से अधिक कागजात में दर्जनों शोधकर्ताओं द्वारा सहयोग से लिंग्वो का उपयोग किया गया है। यह दस्तावेज़ लिंग्वो के अंतर्निहित डिज़ाइन की रूपरेखा तैयार करता है और फ्रेमवर्क के विभिन्न टुकड़ों के लिए एक परिचय के रूप में कार्य करता है, जबकि उन्नत सुविधाओं के उदाहरण भी पेश करता है जो फ्रेमवर्क की क्षमताओं का प्रदर्शन करते हैं। कोड GitHub पर उपलब्ध है।

सीखने की दर के गतिशील बाउंड के साथ अनुकूली ग्रेडिएंट तरीके

AdaGrad, RMSProp और एडम जैसे अनुकूलन अनुकूलन विधियों को सीखने की दरों पर एक तत्व-वार स्केलिंग अवधि के साथ एक तीव्र प्रशिक्षण प्रक्रिया प्राप्त करने का प्रस्ताव दिया गया है। प्रचलित होते हुए भी, उन्हें SGD के साथ तुलना में खराब सामान्यीकरण करने के लिए मनाया जाता है या अस्थिर और चरम सीखने की दर के कारण अभिसरण करने में विफल रहता है। यह पत्र दर्शाता है कि अत्यधिक सीखने की दर खराब प्रदर्शन का कारण बन सकती है। एडम और AMSGrad के नए वेरिएंट क्रमशः AdaBound और AMSBound कहलाते हैं, जो अनुकूली विधियों से SGD पर एक क्रमिक और सुगम संक्रमण प्राप्त करने और अभिसरण का सैद्धांतिक प्रमाण देने के लिए सीखने की दरों पर गतिशील सीमा को रोजगार देते हैं। विभिन्न लोकप्रिय कार्यों और मॉडलों पर और प्रयोग किए गए। प्रायोगिक परिणाम बताते हैं कि नए वेरिएंट अनुकूली तरीकों और एसडब्ल्यूई के बीच सामान्यीकरण की खाई को खत्म कर सकते हैं और एक ही समय में प्रशिक्षण में उच्च शिक्षा की गति बनाए रख सकते हैं। कोड GitHub पर उपलब्ध है।

संपादक का ध्यान दें: व्यक्ति में गहन सीखने के बारे में अधिक जानना चाहते हैं? बोस्टन में इस अप्रैल 30-मई 3 ODSC पूर्व 2019 में भाग लें और विशेषज्ञों से सीधे सलाह लें!

OpenDataScience.com पर अधिक डेटा विज्ञान लेख पढ़ें, जिसमें शुरुआती से लेकर उन्नत स्तर तक के ट्यूटोरियल और गाइड शामिल हैं! हमारे साप्ताहिक समाचार पत्र की सदस्यता लें और हर गुरुवार को नवीनतम समाचार प्राप्त करें।