अनुसंधान पारिस्थितिकी तंत्र में पारदर्शिता और विश्वास

यह पोस्ट BITSS के सलाहकार जेन स्टर्डी ने लिखी थी। यह BITSS ब्लॉग के साथ क्रॉस-पोस्ट किया गया है।

CEGA ने सामाजिक विज्ञान (BITSS) में पारदर्शिता के लिए बर्कले पहल की शुरुआत इस तर्क के आधार पर की थी कि शोध में अधिक पारदर्शिता अंतर्निहित कारकों को प्रकाशित कर सकती है जिसमें प्रकाशन पूर्वाग्रह, अविश्वसनीय शोध निष्कर्ष, प्रकाशित साहित्य में प्रतिलिपि प्रस्तुत करने की क्षमता की कमी, और एक प्रोत्साहन प्रोत्साहन संरचना है। अनुसंधान पारिस्थितिकी तंत्र। इस बीच उपकरणों की बढ़ती संख्या में सुधार के लिए उभरा है कि हम कैसे विज्ञान: सहयोग मंच! बड़ा डाटा! मशीन लर्निंग! इतना सॉफ्टवेयर!

इस कारण से, हम खुले सामाजिक विज्ञान आंदोलन को इस नई दुनिया में ईंधन के लिए एक साधन के रूप में देखते हैं - साझा अनुसंधान और सीखने के अवसरों का निर्माण करके - और इसे गुस्सा करते हैं - प्रकाशन और शोधकर्ता पूर्वाग्रह को कम करने के लिए पारदर्शिता के लिए नए उपकरणों और तरीकों का लाभ उठाकर। विश्वसनीयता संकट को प्रेरित किया।

हम मानते हैं कि यह विशेष रूप से अध्ययन पंजीकरण, पूर्व-विश्लेषण योजनाओं (पीएपी), और डेटा + कोड के लिए रिपॉजिटरी के विकास और व्यापक रूप से अपनाने के साथ-साथ पंजीकृत रिपोर्ट, प्रीप्रिंट्स और ओपन एक्सेस जर्नल जैसी प्रकाशन प्रथाओं के साथ दोनों को पूरा करना संभव है। हालांकि, हम यह भी सोचते हैं कि अनुसंधान को कैसे बनाया गया है, इसे खोलने, लागू करने और प्रकाशित करने के लाभों को पूरी तरह से महसूस किया जा सकता है यदि हम समझते हैं कि उन लाभों को ट्रस्ट पर बनाया गया है - अनुसंधान पारिस्थितिकी तंत्र में सार्वजनिक विश्वास, और इसके भीतर उन लोगों के बीच विश्वास।

जबकि विश्वास को मजबूत करने के लिए पारदर्शिता एक उपकरण हो सकता है, अगर इसे ठीक से नहीं चलाया जाए तो यह इसे नुकसान भी पहुंचा सकता है। इसे ध्यान में रखते हुए, हम वर्तमान अनुसंधान पारिस्थितिकी तंत्र में विश्वास और पारदर्शिता कैसे काम कर सकते हैं, इस पर चार प्रतिबिंब प्रस्तुत करते हैं:

  1. पारदर्शिता का मतलब दायरा बढ़ सकता है, स्कूपिंग नहीं। अध्ययन के डिजाइन में अधिक खुलेपन के खिलाफ तर्क हम अक्सर सुनते हैं कि शोधकर्ताओं ने "स्कूप किया जाएगा।" आम तौर पर प्रस्तुत किया गया परिदृश्य है: एक नवीन विचार वाला एक जूनियर शोधकर्ता अपने पीएपी और / या पंजीकरण को पोस्ट करता है, केवल एक अधिक स्थापित (और बेहतर) करने के लिए वित्त पोषित) शोधकर्ता विचार को जब्त करते हैं, अध्ययन को तेजी से निधि देते हैं, और मूल शोधकर्ता के पास अध्ययन पूरा करने से पहले इसे प्रकाशित करते हैं। यह चिंता साथी शोधकर्ताओं में विश्वास की कमी को उजागर करती है। लेकिन दो जवाबी दलीलों पर विचार करें: पहला, शैक्षणिक सम्मेलनों या धन प्रस्तावों में प्रारंभिक चरण के डिजाइन और विचारों को प्रस्तुत करने के मानक अभ्यास की तुलना में, पंजीकृत पीएपी (उदाहरण के लिए ओएसएफ) में मूल के लिए उचित क्रेडिट सुनिश्चित करने के लिए एक मजबूत पेपर ट्रेल है। शोधकर्ता। दूसरा, खासकर जब विचार उपन्यास है, तो हम पीएपी के प्रकाशन को सहयोग के लिए निमंत्रण के रूप में क्यों नहीं मान सकते (जब उचित हो)? केवल इतना ही शोधकर्ता गुंजाइश के मामले में कर सकता है - नमूना आकार और शक्ति, भौगोलिक स्थान, संदर्भ, आदि - उपलब्ध धन। लेकिन अगर पीएपी के प्रकाशन का उपयोग अन्य शोधकर्ताओं को सहयोग करने के लिए एक निमंत्रण के रूप में किया जा सकता है (और उन्हें सहयोगी के रूप में भरोसा करते हैं) तो परिणाम नमूना आकार में वृद्धि और / या मेटा-विश्लेषण विलय में योगदान हो सकता है और बाधाओं को दूर करने के लिए अन्य संसाधनों का लाभ उठा सकता है। सांख्यिकीय शक्ति, बाहरी वैधता, या मूल अध्ययन की अन्य चुनौतियाँ। (इसे ध्यान में रखते हुए, हम StudySwap जैसे काम में रुचि रखते हैं लेकिन इस तरह के दृष्टिकोण के साथ किसी भी सकारात्मक / नकारात्मक अनुभवों को सुनने के लिए उत्सुक हैं।)
  2. शोधकर्ताओं और पत्रिकाओं के बीच विश्वास को फिर से बनाने की जरूरत है। यह मान लेना आम है कि पत्रिकाएं केवल नवीन परिणाम प्रकाशित करती हैं जो सांख्यिकीय रूप से महत्वपूर्ण हैं - प्रमुख शोधकर्ता एक निश्चित सांख्यिकीय सीमा के लिए पी-हैक (उदाहरण यहां देखें) पर (हालांकि इस बात पर बहुत बहस चल रही है कि क्या थ्रेशोल्ड को p to.05 से p में बदलना चाहिए। ≤.005 या अगर वहाँ एक सीमा होनी चाहिए!)। यह मान लेना भी सामान्य है कि पत्रिकाएं केवल उन मूल सिद्धांतों को प्रकाशित करती हैं जो मूल अध्ययन निष्कर्षों को नष्ट करते हैं। परिणामस्वरूप, शोधकर्ता फाइल ड्रावर में प्रतिकृति परिणाम छोड़ सकते हैं (हम कभी नहीं जान पाएंगे!) या सक्रिय रूप से किसी भी मतभेद की तलाश करेंगे। इस बात पर बहुत जोर दिया जाता है कि शोधकर्ताओं को कैसे प्रतिक्रिया देनी चाहिए और विश्वसनीयता संकट के अनुकूल होना चाहिए, लेकिन पत्रिकाओं के जवाब देने के साथ-साथ विश्वास के पुनर्निर्माण के लिए कितना किया जा सकता है? हालांकि सुधार के लिए शोधकर्ता प्रयासों और प्रतिकृति के लिए कोड के लिए शोध प्रयासों के पूरक के लिए पत्रिकाओं पर कॉल होते हैं, पत्रिकाओं के नेतृत्व में अन्य प्रयास - जैसे पायलट परीक्षण पूर्व परिणामों की समीक्षा और परिणाम की परवाह किए बिना प्रतिकृति अध्ययन प्रकाशित करना - उत्साहजनक हैं क्योंकि यह पत्रिकाओं के लिए भूख दर्शाता है। जिम्मेदारी और जोखिम उठाएं और यह प्रदर्शित करें कि यह आकर्षक परिणाम नहीं है, लेकिन ध्वनि विज्ञान जो प्रकाशित है।
  3. हमें अपने नैतिक दायित्वों के साथ कितना पारदर्शी होना चाहिए। अधिकांश विज्ञान विश्वास पर निर्भर करते हैं कि अनुसंधान प्रतिभागियों को व्यक्तिगत और / या संवेदनशील डेटा की रक्षा करने के लिए शोधकर्ताओं में जगह मिलती है। यह ट्रस्ट सूचित सहमति प्रक्रिया में बनाया गया है और प्रतिभागियों को यह समझने में मदद मिलती है कि उन्हें क्या डेटा प्रदान करने के लिए कहा गया है, इसका उपयोग कैसे किया जाएगा, और इसे कैसे संरक्षित किया जाएगा। विचार करें कि कम से कम (कम से कम!) डेटा के तीन समूह हैं - (i) डेटा जो सार्वजनिक नहीं है और प्रतिभागियों को स्वामित्व, संवेदनशीलता या अन्य संभावित नुकसान के कारण कभी भी सार्वजनिक नहीं किया जा सकता है; (ii) डेटा जो सार्वजनिक नहीं है, लेकिन डी-पहचाना जा सकता है या अन्यथा इस तरह से प्रबंधित किया जा सकता है जो प्रतिभागियों को नुकसान पहुंचाए बिना पारदर्शिता की अनुमति देता है (डी-पहचान के बारे में यह उपयोगी दृश्य देखें); और (iii) डेटा जो सार्वजनिक है - या कम से कम सुलभ है - लेकिन ध्यान से अनुसंधान उद्देश्यों के लिए विचार किया जाना चाहिए (ठीक है OKCupid या Facebook)। कितना पारदर्शी हम हो सकते हैं और उस पारदर्शिता की नैतिकता इन तीन (या अधिक) समूहों में भिन्न होती है - मूल रूप से एक पारदर्शिता स्पेक्ट्रम है। यही कारण है कि हम अपने प्रशिक्षणों में पारदर्शिता के लिए एक संतुलित दृष्टिकोण के लिए तर्क देते हैं और सूचित सहमति और डेटा साझाकरण (जैसे संशोधित आम नियम) में विकसित प्रथाओं पर नज़र रख रहे हैं। इस बात पर भरोसा बनाए रखने के लिए कि हम किस तरह से विज्ञान का अभ्यास करते हैं और खोलते हैं, शोधकर्ताओं को शुरुआत से ही स्पष्ट रूप से परिभाषित करने की आवश्यकता है, जहां उनका अध्ययन अपेक्षित लाभों और जोखिमों के आधार पर पारदर्शिता स्पेक्ट्रम पर पड़ता है। (इसे ध्यान में रखते हुए, हम गुणात्मक और बहु-विधि अनुसंधान को खोलने के लिए उत्साहित हैं, परवाडे के माध्यम से कम्प्यूटेशनल अनुसंधान में नैतिकता और ओपन डेटा पहल के डेटा नैतिकता कैनवस)।
  4. विश्वास को बनाए रखना और मजबूत करना उन लोगों के खिलाफ एक अच्छा बचाव है जो पारदर्शिता का समर्थन करेंगे। एक सरल तर्क दिया जा रहा है जो किसी को भी चाहिए जो अच्छे विज्ञान की चिंता करता है - यह शोध केवल विश्वसनीय है यदि यह 100% पारदर्शी हो। यह तर्क ऊपर चर्चा किए गए स्पेक्ट्रम की उपेक्षा करता है। तो, अपना बचाव कैसे करें? खैर, शुरू करने के लिए एक अच्छी जगह लेवांडोस्की और बिशप का सारांश है, जिसमें पारदर्शिता को हथियार बनाया जा सकता है! इसे एक दोधारी तलवार की मान्यता देते हुए, विज्ञान को बेहतर बनाने के लिए पारदर्शिता का उपयोग करने और अच्छे से अधिक नुकसान न करने के हमारे प्रयासों को सूचित करना चाहिए। दूसरा, सभी को अनुसंधान पारिस्थितिकी तंत्र में पुनर्निर्माण और विश्वास बनाए रखने के लिए अपनी भूमिका निभानी होगी। उदाहरण के लिए: यदि आप एक शोधकर्ता हैं, तो यह संभव नहीं होने पर डेटा अंतर्निहित विश्लेषण को साझा न करने के बहाने के रूप में मानव विषयों की सुरक्षा का झूठा दावा करें (डी-पहचान या अन्य तरीकों के माध्यम से); यदि आप एक फंडर या नीतिनिर्माता हैं, तो शोधकर्ताओं के लिए उन सभी डेटा को साझा करने के लिए कंबल की आवश्यकता नहीं है जो पारदर्शिता स्पेक्ट्रम के लिए खाते में नहीं हैं।

लब्बोलुआब यह है कि हम सामाजिक विज्ञान में और अधिक पारदर्शिता के लिए पैरोकार हैं (और नीति विश्लेषण यह सूचित करता है) अनिद्रा जैसा कि हम मानते हैं कि अनुसंधान को खोलने से इसकी कठोरता और विश्वसनीयता में सुधार होता है। लेकिन यह धारणा केवल तभी लागू होती है जब पारदर्शिता अनुसंधान पारिस्थितिकी तंत्र में विश्वास का निर्माण करती है और उसे मजबूत करती है, इसे कम नहीं करती है।