डीप लर्निंग की अवस्था: H2 2018 की समीक्षा

गहरी शिक्षा जैसे क्षेत्र में विकास पर नज़र रखना वास्तव में कठिन है।

इससे पहले वर्ष में रॉबर्ट स्टोजनिक और मैंने इस समस्या को हल करने में पहले कदम के रूप में पेपर्स विद कोड को एक साथ हैक किया था। साइट एक सामुदायिक संसाधन है जो कोड कार्यान्वयन के साथ गहन शिक्षण शोध पत्रों को जोड़ता है।

यह हमें समग्र रूप से क्षेत्र के पक्षियों की आंखों को देखने में सक्षम बनाता है। हम देख सकते हैं कि अनुसंधान के रुझान क्या हैं, समुदाय द्वारा कौन से ढांचे को अपनाया जा रहा है, और कौन सी तकनीक अनुकूल हो रही है। यह ब्लॉग कुछ परिणामों का विवरण देता है!

इस पोस्ट में हम साइट से हमारे पास मौजूद डेटा का उपयोग करके 2018 की दूसरी छमाही में गहन सीखने के कुछ प्रमुख विकासों का सार प्रस्तुत करते हैं। हम फिर से गहराई से सीखने वाले समुदाय के लिए आगे की सड़क पर चर्चा करते हैं।

सबसे लोकप्रिय अधिकारी: BERT, vid2vid और graph_nets

Google AI के BERT पेपर ने अक्टूबर में गहन शिक्षा समुदाय में लहरें बनाईं। कागज एक गहरी द्विदिश ट्रांसफार्मर मॉडल का प्रस्ताव करता है जो स्टैनफोर्ड प्रश्न उत्तर (एसक्यूएडी) डेटासेट सहित 11 एनएलपी कार्यों के लिए अत्याधुनिक प्रदर्शन प्राप्त करता है। Google AI ने अपने पेपर के लिए कोड को खोल दिया, और यह गहन शिक्षण भंडार था जिसने जुलाई 2018 और लेखन के समय के बीच सबसे अधिक सितारे प्राप्त किए।

एनवीआईडीआईए का वीडियो-टू-वीडियो सिंथेसिस पेपर जेनेरिक मॉडलिंग के लिए अभी तक एक और आश्चर्यजनक परिणाम था, जो पिछले कुछ वर्षों में सबसे लोकप्रिय गहन शिक्षण क्षेत्रों में से एक रहा है। पेपर एक उपन्यास अनुक्रमिक जनरेटर आर्किटेक्चर के साथ टेम्पोरल असंगति की समस्या को ठीक करता है, साथ ही प्रदर्शन को बेहतर बनाने के लिए अग्रभूमि और पृष्ठभूमि के पुजारियों जैसी कई अन्य डिज़ाइन विशेषताएं भी शामिल हैं। NVIDIA ने अपने कोड को खोला, जो 2018 की दूसरी छमाही में दूसरा सबसे लोकप्रिय कार्यान्वयन था।

ग्राफ नेटवर्क पर Google डीपमाइंड के कागज को एक नए प्रकार के संरचित डेटा के रूप में वर्ष के मध्य में बहुत अधिक ध्यान आकर्षित किया गया था कि गहरी शिक्षा हमला करना शुरू कर सकती है (गहन शिक्षण अनुप्रयोगों का अधिकांश हिस्सा वैक्टर और अनुक्रमों पर रहा है)। उनकी ओपन सोर्स लाइब्रेरी 2018 की दूसरी छमाही में तीसरा सबसे लोकप्रिय कार्यान्वयन था।

सबसे लोकप्रिय समुदाय: डीओलाइड, बीईआरटी और फास्ट आर-सीएनएन

डी-सॉइल SA-GANs, PG-GAN प्रेरित वास्तुकला और दो समय-स्केल अद्यतन नियम का उपयोग करता है

डीओल्डिफाई प्रोजेक्ट को व्यापक गहन शिक्षा समुदाय से बहुत रुचि मिली। लेखक जेसन एंटिक ने जेनेरिक मॉडलिंग क्षेत्र में कई कागजात से तकनीकों को लागू किया, जिसमें आत्म-ध्यान गण, उत्तरोत्तर बढ़ते गण और एक दो-स्तरीय अद्यतन नियम शामिल हैं। परियोजना के लिए कोड में लेखन के समय गिटहब पर 4,000 से अधिक सितारे हैं।

PyTorch के लिए जुनसेग किम के BERT कार्यान्वयन को भी समुदाय से बहुत अधिक ध्यान मिला। दो ढाँचों में से एक में सामुदायिक भवन निर्माण कार्यान्वयन बढ़ने के साथ, दोनों रूपरेखाओं में कागजात को लागू करने की एक बड़ी आवश्यकता है, इसलिए संपूर्ण गहन शिक्षा समुदाय उनका उपयोग कर सकता है। किम का काम इसका स्पष्ट चित्रण है, और लेखन के समय उनके कार्यान्वयन में 1,500 से अधिक गीथहब सितारे शामिल हैं।

अंत में, Waleed अब्दुल्ला का केरस / TensorFlow कार्यान्वयन मास्क R-CNN, GitHub सितारों के संदर्भ में तीसरा सबसे लोकप्रिय सामुदायिक कार्यान्वयन था। वास्तुकला में, कार्यान्वयन एक फ़ीचर पिरामिड नेटवर्क और एक रेसनेट 101 बैकबोन का उपयोग करता है, और लाइब्रेरी का उपयोग कई अनुप्रयोगों जैसे कि 3 डी बिल्डिंग पुनर्निर्माण, स्व-ड्राइविंग कारों के लिए वस्तु का पता लगाने, मानचित्रों में भवन के प्रकार का पता लगाने और अधिक के लिए किया जा सकता है। GitHub पर लाइब्रेरी में 8,000 से अधिक सितारे हैं।

अधिकांश गतिविधि: एनएलपी और गण

शीर्ष पचास कार्यान्वयन को देखते हुए, सबसे गर्म क्षेत्र सामान्य तरीके और प्राकृतिक भाषा प्रसंस्करण (एनएलपी) प्रतीत होते हैं। जेनिटेटिव तरीकों के भीतर, GitHub पर लोकप्रिय कार्यान्वयन में शामिल हैं: vid2vid, DeOldify, CycleGAN और facewaps। एनएलपी के भीतर, लोकप्रिय गिटहब रिपॉजिटरी में बीईआरटी, हनएलपी, जेबा, एलेनएनएलपी और फास्टटैक्स शामिल थे।

7 में से 1 नए पेपर में कोड है

साइट के साथ हमारा एक लक्ष्य गहन शोध शोधकर्ताओं को अपने शोध के साथ कोड पोस्ट करने के लिए प्रोत्साहित करना था। अपने शोध के साथ कोई कोड? आप साइट पर विशेष रुप से प्रदर्शित नहीं होते हैं: जैसा कि सरल है। यहाँ हमारे मंच पर प्रजनन क्षमता के साथ खेलने की स्थिति है:

  • हमने पिछले 5 वर्षों से 60,000+ मशीन लर्निंग पेपर संसाधित किए हैं
  • इन 60k पत्रों में से ~ 12% में कोड कार्यान्वयन है
  • पिछले 6 महीनों में नव प्रकाशित पत्रों के 15% (यानी 7 में 1) में कोड कार्यान्वयन है

स्पष्ट रूप से कुछ और काम होना बाकी है, लेकिन चीजें सही दिशा में बढ़ रही हैं!

हर 20 मिनट में एक नए एमएल पेपर का जन्म होता है

मशीन लर्निंग पेपर्स की वृद्धि दर जुलाई के बाद से लगभग 3.5% है - जो सालाना 50% की विकास दर है। इसका मतलब है कि एक महीने में लगभग 2,200 मशीन लर्निंग पेपर और हम अगले साल लगभग 30,000 नई मशीन लर्निंग पेपर की उम्मीद कर सकते हैं।

संदर्भ गति के रूप में हम मूर के नियम की तुलना कर सकते हैं। मूर का नियम कंप्यूटिंग के पहले स्तर पर प्रगति दिखाता है - जिस गति से हम प्रक्रिया कर सकते हैं। मशीन लर्निंग को सीखा कार्यक्षमता प्राप्त करने के बारे में सोचा जा सकता है, और हार्डवेयर और सॉफ्टवेयर के शीर्ष पर एक अमूर्त के बारे में सोचा जा सकता है।

हमारी साइट पर एमएल के कागजात की संख्या पिछले 3 वर्षों में मूर के कानून की तुलना में तेजी से बढ़ रही है, जो आपको समझ में आता है कि लोगों का मानना ​​है कि यह वह जगह है जहां कंप्यूटिंग में भविष्य का मूल्य आने वाला है।

इस तुलना विचार का श्रेय जेफ डीन एट अल https://ieeexplore.ieee.org/document/8259424 से आता है

फ्रेमवर्क द्वैध: टेन्सरफ्लो और प्योरच

साइट पर अधिकांश कार्यान्वयन TensorFlow में दिखाई देते हैं, हालांकि PyTorch बहुत पीछे नहीं है। शेष रूपरेखाओं (एमएक्सनेट, टॉर्च और कैफ 2) की पारिस्थितिकी तंत्र में बहुत कम उपस्थिति है। दोनों रूपरेखाओं में हो रहे बदलावों को देखते हुए - टेन्सरफ्लो उत्सुक निष्पादन की ओर बढ़ रहा है और एक नया केरस-प्रेरित एपीआई और पिएरॉर्च इसे उत्पादन मॉडल को आसान बनाने की तलाश कर रहा है - यह देखना दिलचस्प होगा कि अगले वर्ष के भीतर यह संतुलन कैसे बदलता है।

रास्ते में आगे

समुदाय प्रजनन क्षमता के साथ प्रगति कर रहा है, लेकिन तथ्य यह है कि हमारे पास केवल 1/7 कवरेज है इसका मतलब है कि हमारे पास काम करने के लिए अधिक काम है। हमें लगता है कि पुन: प्रयोज्य खुले स्रोत एमएल कोड बनाने में व्यापक समुदाय के लिए एक बड़ी भूमिका होगी - केवल शोधकर्ताओं पर निर्भर होने के बजाय जैसा कि हमने अतीत में किया है।

विशेष रूप से, हमें लगता है कि "इंडी एमएल समुदाय" - जो Google और फेसबुक जैसी बड़ी कंपनियों के बाहर हैं - अनुसंधान के लिए कोड की कवरेज को आगे बढ़ाने में मदद करेंगे, और यह भी पुष्टि करने में हमारी मदद करेंगे कि क्या पेपर परिणाम पकड़ में आते हैं।

पुरस्कार प्राप्त करने के लिए, अनुसंधान समुदाय और डेवलपर समुदाय को एक दूसरे तक पहुंचने की आवश्यकता है ताकि हम उपयोगी मशीन लर्निंग आर्टिफैक्ट्स बना सकें जो वास्तविक दुनिया के अनुप्रयोगों में उपयोग किए जा सकते हैं। तभी गहरी शिक्षा अपनी पूरी क्षमता तक पहुंच पाएगी। पूर्ण भाप आगे!

इस पोस्ट का आनंद लिया और अगली पीढ़ी के एमएल संसाधनों और उपकरणों पर काम करना पसंद करेंगे? हमसे जुड़ें, हम काम पर रख रहे हैं!