अनुसंधान के लिए कॉल

ऑक्टेवियन में हमारे काम के दौरान, हम कई ऐसी समस्याओं के साथ आते हैं, जिन पर हम अधिक काम करना पसंद करते हैं। हम इस सूची को यहाँ साझा करने की उम्मीद कर रहे हैं ताकि दिलचस्प समस्याओं की तलाश करने वालों को प्रत्यक्ष रूप से मदद मिल सके।

हम इन समस्याओं पर काम करने वाले लोगों की सहायता करने में खुश हैं, साथ ही साथ अपने माध्यमों और ट्विटर चैनलों के माध्यम से आपके समाधानों को प्रचारित करते हैं।

  • ज्ञान रेखांकन पर क्यूए तर्क: यह हमारे लिए घर के करीब एक विषय है। हमारा मानना ​​है कि ग्राफ पर ध्यान देने और संकल्पों को शामिल करने वाला एक RNN आधारित दृष्टिकोण बहुत शक्तिशाली हो सकता है और इसे साबित करने के लिए हमारे स्वयं के डेटासेट चुनौती को हल कर रहा है। शुरू करने के लिए एक अच्छी जगह मैकग्राफ है, जो CLEVR- ग्राफ़ डेटासेट के लिए हमारा सामान्य समाधान है।
  • ट्रांसफॉर्मर्स की एल्गोरिदमिक क्षमताएं: ट्रांसफार्मर आर्किटेक्चर तेजी से डी-फैक्टो सीक्वेंस प्रोसेसिंग नेटवर्क बन गया है। जब भी यह खनन अनुक्रम सहसंबंधों में अविश्वसनीय रूप से शक्तिशाली है, और बड़े पैमाने पर स्केलिंग से बहुत अधिक लाभ होता है, हम मानते हैं कि ट्रांसफार्मर कुशल नहीं हैं और न ही पर्याप्त प्रकार के तर्क / एल्गोरिदम के संचालन के लिए पर्याप्त हैं जो एजीआई की आवश्यकता है। यह संभावना है कि उन्हें अन्य सुविधाओं के साथ संवर्धित होने की आवश्यकता होगी। सूत्र और एल्गोरिदम और उनके आउटपुट के अनुवाद जोड़े उत्पन्न करके इसे साबित करें, उन पर एक ट्रांसफॉर्मर अनुवाद मॉडल को प्रशिक्षित करें, और देखें कि अनुवाद कब विफल हो जाते हैं।
  • ग्राफ पर कैसे लिखें: ध्यान का उपयोग करना तंत्रिका नेटवर्क में ग्राफ से पढ़ने का एक आसान तरीका है, लेकिन यह कैसे लिखा जाए, यह स्पष्ट नहीं है। एक नेटवर्क तैयार करें (या तो देखरेख या सुदृढीकरण सीखने पर आधारित) जो कि किसी उपयोगी वस्तु को प्राप्त करने के लिए उसके निष्पादन के दौरान ग्राफ से पढ़ता और लिखता है। उदाहरण के लिए, हल किए गए मैकग्राफ कार्यों में से एक को लें और एक संस्करण बनाएं जहां कुछ महत्वपूर्ण ग्राफ़ तथ्यों को ग्राफ़ से अलग इनपुट के रूप में खिलाया जाता है।
  • GANs के लिए एक बेहतर गुणवत्ता स्कोर: GANs के लिए सबसे लोकप्रिय मेट्रिक्स एक प्रशिक्षित इन्सेप्शन नेटवर्क का उपयोग करने पर आधारित हैं, जो यह मापने में मदद करते हैं कि उत्पन्न चित्र कितनी अच्छी तरह से बने हैं। इसकी एक बड़ी कमी है: यह केवल इन्सेप्शन नेटवर्क की तरह शक्तिशाली है, और कन्वेन्शनल नेटवर्क ज्यादातर स्थानीय बनावट पर निर्भर करते हैं। कला की वर्तमान स्थिति GANs विस्तार से बुरी तरह समन्वय करती है (परिशिष्ट में फोटो देखें)। हमारे वर्तमान गुणवत्ता मीट्रिक इस का पता लगाने की संभावना नहीं है। इस शोध के दो भाग हैं: (1) वर्तमान गुणवत्ता मेट्रिक्स में कमी को साबित करते हैं, (2) एक बेहतर मीट्रिक प्रस्तावित करते हैं
  • स्वचालित पाठ्यक्रम: एल्गोरिदम सीखने के नेटवर्क को आमतौर पर सीखने के पाठ्यक्रम की आवश्यकता होती है (उदाहरण के लिए शुरू में आसान प्रशिक्षण उदाहरण जो धीरे-धीरे नेटवर्क ट्रेनों के रूप में कठिन हो जाते हैं) को उनके कार्यों को सीखने के लिए। ये पाठ्यक्रम अक्सर हाथ से बनाए जाते हैं। स्वचालित रूप से एक पाठ्यक्रम (जैसे छँटाई सीखने के लिए एक डीएनसी के लिए) को तैनात करने के लिए एक योजना तैयार करें। प्रेरणा के लिए, जनरेटिव एडवरसियरी नेटवर्क एक दूसरे नेटवर्क का उपयोग करते हैं जो प्राथमिक नेटवर्क के रूप में सीखता है जो एक प्रकार का पाठ्यक्रम प्रदान करता है। इसके अलावा, नेटवर्क के नुकसान का एक अच्छा संकेत हो सकता है जब प्रशिक्षण सेट को कठिन बनाया जा सकता है।
  • तर्क के लिए एक नियंत्रण संरचना के रूप में भाषा: हमारे सिर के अंदर की आवाज़ इस बात का एक महत्वपूर्ण हिस्सा है कि हम कैसे अपने लक्ष्यों को प्राप्त करते हैं। क्या आप एक ट्रांसफार्मर मॉडल का निर्माण कर सकते हैं जो एक प्रश्न लेता है, थोड़ी देर के लिए खुद से बात करता है, फिर उत्तर प्रदान करता है?
  • इंटरनेट-स्केल GAN प्रशिक्षण: OpenAI ने दिखाया है कि बड़े पैमाने पर प्रशिक्षण डेटासेट बनाने के लिए इंटरनेट को क्रॉल करना, फिर उस पर एक ट्रांसफॉर्मर मॉडल का प्रशिक्षण, मूल्यवान परिणाम वापस कर सकते हैं। GANs के लिए भी यही करें। इसकी कुछ उल्लेखनीय चुनौतियां हैं: (1) संगणक को खदान के लिए एक बड़े पर्याप्त मॉडल को प्रशिक्षित करने के लिए कम्प्यूटेशनल संसाधन, (2) क्या आप छवियों के संदर्भ से GAN के लिए एक सहायक सशर्त संकेत उत्पन्न कर सकते हैं?
  • ज्ञान ग्राफ ऑटो-एनकोडर के लिए वाक्य: रेखांकन संबंधित अवधारणाओं का प्रतिनिधित्व करने का एक शानदार तरीका है। रेखांकन ज्ञान को पीछे हटाने और निकालने के कई तरीके खोलते हैं। मानव ज्ञान का बहुत अधिक प्रतिनिधित्व करने के लिए पाठ का उपयोग किया गया है। कुछ प्रकार के ऑटो-एनकोडर संरचना का निर्माण करें जो इनपुट वाक्यों का एक सेट लेता है, उन्हें एक ग्राफ में बदलता है, फिर उस ग्राफ को एक सेट वाक्यों में बदल देता है, जिसमें इनपुट सेट के समतुल्य स्तर होता है। ध्यान दें कि अंतरिम ग्राफ़ को एक प्रारूप की आवश्यकता नहीं है जिसे मनुष्य समझ सकता है (जैसा कि शब्द, छवि और वाक्य एम्बेडिंग में आम है)।
  • प्रशिक्षण के दौरान बढ़ती वास्तुकला: प्रगतिशील गणों ने दिखाया कि समय के साथ एक नेटवर्क में न्यूरॉन्स को जोड़ना, जबकि यह ट्रेन सफल हो सकती है। इस प्रशिक्षण दृष्टिकोण का यह फायदा है कि पहले के नेटवर्क प्रशिक्षण के लिए तेज़ होते हैं क्योंकि उनके पास कम पैरामीटर होते हैं। इसके अलावा, यह वांछित प्रदर्शन प्राप्त होने तक सिर्फ पर्याप्त न्यूरॉन्स जोड़ने की संभावना को खोलता है। यहां तक ​​कि यह अलग-अलग आर्किटेक्चर को समानांतर (जैसे जनसंख्या आधारित प्रशिक्षण) में विभाजित परीक्षण के लिए अनुमति देता है। एक अलग सेटिंग (फीडफ़ॉर्ड, अनुक्रमिक, छवि वर्गीकरण) में एक प्रगतिशील बढ़ते दृष्टिकोण को अपनाने की कोशिश करें और देखें कि क्या यह काम करता है।

यदि आप इन में रुचि रखते हैं, तो हमारे समुदाय के साथ बात करें!

अनुबंध

BigGAN बनावट समन्वय के साथ संघर्ष करता है

Google BigGAN डेमो का उपयोग करके बनाया गया