मेरी सहकर्मी समीक्षा विशलिस्ट

मुझे यहां पोस्ट किए लगभग एक महीना हो गया है। क्यों? मैं लिखने के बजाय पढ़ रहा हूँ। मैं SIGCSE कागजात, ICSE कागजात, सॉफ्टवेयर इंजीनियरिंग के कागजात पर IEEE लेनदेन, कम्प्यूटिंग शिक्षा के कागजात पर ACM लेनदेन की समीक्षा कर रहा हूँ। मैं अपने 7 अद्भुत डॉक्टरेट छात्रों को प्रस्तुतियाँ संपादित कर रहा हूँ। मैं दो छात्रों के NSF स्नातक अनुसंधान फेलोशिप और एक अन्य स्नातक स्नातक स्कूल अनुप्रयोगों का मार्गदर्शन कर रहा हूं। और मैं कुछ दर्जन CRA बकाया अंडरग्रेजुएट नामांकन पढ़ रहा हूं।

अब, कुछ लोग समीक्षा करना पसंद नहीं करते हैं। मैं इसे प्यार करता हूँ, विशेष रूप से सहकर्मी समीक्षा! मैं (कभी-कभी) नए विचारों के बारे में सीखता हूं, मैं अपने अकादमिक समुदाय को इसे छात्रवृत्ति में सुधार करने में मदद करता हूं, और मुझे एक बहुत ही विशिष्ट प्रकार की पहेली को हल करने के लिए मिलता है: मैं 500-1000 शब्दों में क्या कह सकता हूं जो अपने स्वयं के काम पर लेखक के दृष्टिकोण को बदल देगा? मुझमें शिक्षक किसी के लेखन से यह सोचने की कोशिश करते हैं कि वे किस तरह से सोच रहे हैं, और फिर अपने शोध सौंदर्य के प्रति अपनी सोच को स्थानांतरित करने के लिए सिर्फ सही शब्द ढूंढते हैं। मैं हमेशा सफल नहीं होता (विशेषकर इस तरह के व्यस्त महीनों में), लेकिन मुझे आमतौर पर ऐसा करने में मज़ा आता है।

दुर्भाग्य से, मेरे समुदायों में से कई शोधकर्ताओं ने बहुत मजेदार समीक्षा नहीं की है। और मैं उन्हें दोष नहीं देता: हमें छोटी समय सीमाएं मिलती हैं, स्वयंसेवक का काम ज्यादातर बेनामी (गुमनामी के कारण) होता है, और लेखकों या अन्य समीक्षाओं के साथ शायद ही कोई बातचीत होती है, एक तरफ बहुत ही अतुल्यकालिक और अत्यधिक अवैयक्तिक चर्चाओं से खराब बनाए रखा जाता है, खराब रूप से डिज़ाइन किया गया पीसीएस या ईज़ीचेयर (इनका रखरखाव करने वाले डेवलपर्स के खिलाफ कोई मामूली नहीं: जैसे कि आप इन साइटों को चालू रखते हुए पुन: प्राप्त नौकरियों के तहत बहुत कठिन हैं)।

15 साल की समीक्षा के बाद, हालांकि, कुछ चीजें हैं जो मुझे लगता है कि लोग वास्तव में इसका आनंद ले सकते हैं, और इससे मुझे और भी अधिक करना चाहते हैं। यहाँ अकादमिक सहकर्मी समीक्षा के लिए मेरी इच्छा सूची है।

स्पष्ट मानदंडों के खिलाफ मूल्यांकन करें

कुछ भी नहीं मुझे "यहाँ अपनी समीक्षा लिखें" कहते हैं कि एक बॉक्स से अधिक पागल ड्राइव। ये पूरी तरह से अनुत्तरित सहकर्मी समीक्षा प्रक्रिया दो तरह से विफल होती हैं: वे अनुसंधान के बारे में व्यापक रूप से अलग-अलग राय रखते हैं, लेकिन वे नए समीक्षकों को यह संकेत देने में भी विफल होते हैं कि अनुसंधान के कौन से पहलू सामुदायिक मूल्यों या उनका मूल्यांकन कैसे करें। केवल एक प्रकार की समीक्षा नहीं है, अनंत हैं, और यह गुंजाइश को कम करने के लिए एक संपादक का काम है।

सॉफ्टवेयर इंजीनियरिंग पर अंतर्राष्ट्रीय सम्मेलन ने हाल ही में इस पर कुछ प्रगति की है, जैसे विशिष्ट मापदंड:

  • सुदृढ़ता। क्या काम के दावे तर्क और साक्ष्य द्वारा समर्थित हैं?
  • नवीनता। काम हमारे ज्ञान को कितना आगे बढ़ाता है?
  • स्पष्टता। कार्य का लेखन और प्रस्तुतीकरण कितना स्पष्ट है?
  • प्रतिकृति। कुछ डोमेन विशेषज्ञता के साथ, कार्य (तकनीकी, अनुभवजन्य, या अन्यथा) को दोहराया जा सकता है?

इनके बारे में महान यह है कि वे समीक्षा प्रक्रिया में निहित पूर्वाग्रह के कई रूपों को कम करते हैं, समीक्षकों को प्रत्येक आयाम को संबोधित करने के लिए मजबूर करते हैं। मैंने उन्हें अपनी समीक्षाओं की संरचना करने के लिए उपयोग किया है, और यह सुनिश्चित करने के लिए कि मैं ICSE के लिए क्या चयन करना चाहता हूं, के लिए निष्पक्ष हूं।

अब, आईसीएसई प्रक्रिया अभी भी वांछित होने के लिए बहुत कुछ छोड़ देती है। ये मानदंड सभी प्रकार की छात्रवृत्ति पर लागू नहीं होते हैं, जो कुछ प्रकार के उपन्यास कार्य को शामिल नहीं करता है। समीक्षकों ने इन मानदंडों के बारे में व्यापक रूप से अलग-अलग विचार रखे हैं, जिसके परिणामस्वरूप अभी भी उनके आकलन में बहुत विविधता है। और कार्यक्रम कुर्सियों से कोई मार्गदर्शन नहीं है कि "बार": एक पेपर इनमें से तीन को अच्छी तरह से मिल सकता है, लेकिन नवीनता में विफल रहता है, और अभी भी प्रकाशित हो सकता है? और अंतिम एक को ठीक करना बहुत आसान है: कागजों के लिए कॉल पर इन्हें पोस्ट करें, ताकि हर कोई जानता हो कि उनके खिलाफ क्या किया जा रहा है।

इन सीमाओं के बावजूद, मुझे लगता है कि सभी साथियों की समीक्षा प्रक्रियाओं में स्पष्ट मापदंड होने चाहिए। समुदायों को शिल्प के साथ आना चाहिए और समय के साथ उन्हें विकसित करना चाहिए।

ट्रेन समीक्षक

उपरोक्त स्पष्ट मानदंडों के साथ समस्याओं में से एक यह है कि विभिन्न समीक्षकों के पास उनमें से प्रत्येक को न्याय करने की निरंतर क्षमता नहीं है। क्यों नहीं? क्योंकि हम अनुसंधान की समीक्षा करने के लिए शोधकर्ताओं को नहीं सिखाते हैं।

मैंने हमेशा डॉक्टरेट शिक्षा में सबसे बड़ा अंतर पाया है। पीएच.डी. छात्रों को यथासंभव स्पष्ट मानदंडों के खिलाफ अनुसंधान की समीक्षा करने का अभ्यास करने के लिए कई अवसरों की आवश्यकता होती है, लेकिन कुछ को तब तक समीक्षा के लिए आमंत्रित किया जाता है जब तक वे वरिष्ठ न हों। और अगर उन्हें समीक्षा के लिए आमंत्रित किया जाता है, तो सम्मेलन और जर्नल शायद ही कभी उन्हें कोई प्रशिक्षण देते हैं।

मुझे याद है कि पहली बार मैंने एक सम्मेलन के लिए समीक्षा की थी। यह सीएचआई पेपर था, संभवत: 2006 या 2007 में, मैंने पीएचडी पूरी करने से ठीक पहले। मुझे एक बॉक्स मिला जिसमें कहा गया था कि "अपनी समीक्षा यहां लिखें।" और मेरा पहला विचार था, "मुझे क्या समीक्षा करनी चाहिए? सब कुछ? बस मेरी राय साझा करें? मेरे पास बहुत सारी राय है, क्या आप सभी के बारे में निश्चित हैं? ”बेशक, उन्होंने सभी मामले किए, और इसलिए सभी ने और भी किया, और इसलिए कागज को बेतहाशा अलग-अलग अंक मिले, जिसने शायद केवल लेखकों को भ्रमित किया। बेतहाशा अलग-अलग समीक्षाएँ जो मुझे हमेशा CHI में मिली थीं (और आज भी करते हैं) भटकाव बनी रहती हैं।

पीएचडी के रूप में। सलाहकार, मैं अपने छात्रों को भी प्रशिक्षित करने में विफल रहता हूं। मैं अपने डॉक्टरेट छात्रों को दूसरों के काम का मूल्यांकन करने के लिए कब सिखाता हूं? अगर समीक्षा करना गोपनीय है तो मेरे पास कौन काम करता है? पढ़ने के समूह ऐसा करने के लिए एक जगह है, लेकिन वे अक्सर क्षेत्र में सबसे अच्छा और सबसे अधिक प्रासंगिक काम पढ़ने पर ध्यान केंद्रित करते हैं, उस काम पर नहीं जिसकी मदद की आवश्यकता होती है। अधिकांश समीक्षा कागजों की होती है जिन्हें सहायता की आवश्यकता होती है।

व्यक्तिगत रूप से, मैं यह नहीं सोचता कि जिन मानदंडों की समीक्षा कागजात द्वारा की जाती है, उनके लिए यह तय करना सलाहकार का काम है। मुझे लगता है कि यह एक अकादमिक समुदाय की नौकरी है, और यह कि सम्मेलन और पत्रिकाएँ हैं जहाँ हम इन मानदंडों को स्पष्ट करते हैं और उन पर प्रशिक्षण देते हैं। अगली बार जब मैं एक सम्मेलन की अध्यक्षता करता हूं या एक पत्रिका का संपादक बन जाता हूं, तो मैं सभी समीक्षकों के लिए प्रशिक्षण करने जा रहा हूं।

समीक्षा सहित सब कुछ प्रकाशित करें

जब मैं लोगों को इस विचार के बारे में बताता हूं, तो उन्हें लगता है कि मैं पागल हूं। इससे पहले कि आप ऐसा सोचें, मुझे सुनें।

यहां मूल विचार है: जब हम प्रकाशन के लिए कुछ प्रस्तुत करते हैं, तो हमें अपनी सामान्य समीक्षा प्रक्रियाओं का संचालन करना चाहिए, लेकिन फिर कुछ भी प्रकाशित करें जो लेखक प्रकाशित करना चाहते हैं, इस शर्त पर कि उनके काम की सभी समीक्षाएं प्रकाशित हैं, और आगे की सार्वजनिक समीक्षा के लिए खुला है शिक्षाविदों में हर कोई। वैकल्पिक रूप से, लेखक अपने काम को वापस लेने और इसे और बेहतर बनाने का निर्णय ले सकते हैं। सहकर्मी की समीक्षा का भविष्य खुला होना चाहिए, और पारदर्शी होना चाहिए, दुनिया के हर काम के लिए (मॉडरेट) अनन्त आलोचनात्मक। उदाहरण के लिए, मुझे ACM डिजिटल लाइब्रेरी में प्रकाशित अपने पुराने कागजात पर वापस जाने में सक्षम होना चाहिए और एक टिप्पणी पोस्ट करते हुए कहा, “यह पेपर बकवास है। मेरे द्वारा प्रकाशित इस दूसरे पेपर में एक बेहतर तर्क है। ”और मुझे अपने साथियों के साथ ऐसा करने में सक्षम होना चाहिए। और जनता सहित सभी को, सभी प्रकाशित कार्यों पर हमारी टिप्पणियों को देखने में सक्षम होना चाहिए, जिससे वैज्ञानिक संचार सार्वजनिक रूप से आगे बढ़ सके।

यह क्यों?

  • सबसे पहले, हम एक समय बीते हैं जब हमें मुद्रण लागतों के बारे में चिंता करनी होगी। भंडारण सस्ता है और हमारे दस्तावेज छोटे हैं।
  • दूसरा, हम पहले से ही सब कुछ पढ़ते हैं और उसका मूल्यांकन करते हैं। उस सभी लेखन और समीक्षा करने में क्या बात है, केवल 75% को अकादमिक द्वारा बिना पढ़े जाने दिया जाए?
  • तीसरा, कृत्रिम रूप से काम करने वाले द्वारपाल का यह मानना ​​है कि काम सही नहीं है, भले ही उसका मूल्य हो?
  • चौथा, इतने काम को अस्वीकार करके, हम अपने समुदायों के विचारों और प्रयासों को अस्वीकार करते हैं, जो कि लोकतंत्रीकरण है।
  • चौथा, सहकर्मी समीक्षा की अपारदर्शिता विज्ञान की जनता की राय को नुकसान पहुंचा रही है। उन्हें दिखाएं कि सॉसेज कैसे बनाया जाता है।

ऊपर दिए गए दृष्टिकोण के खिलाफ अधिकांश तर्क इस पर उबलते हैं: शिक्षाविद आगे के शोध के अलावा, योग्यता को इंगित करने के लिए सम्मेलन और जर्नल प्रकाशनों का उपयोग करना चाहते हैं। "हमें मानने के लिए स्वीकार किए गए कागजात के लिए कागजात को अस्वीकार करना चाहिए," वे कहते हैं, "अन्यथा, हम कैसे जानेंगे कि काम क्या अच्छा और बुरा है?" इस तर्क के बारे में हास्यास्पद बात यह है कि छोटी और लंबी अवधि में हम डॉन करते हैं ' t विशेष रूप से प्रकाशन का उपयोग यह तय करने के लिए कि क्या काम अच्छा और बुरा है। हम सिफारिश के पत्रों का उपयोग करते हैं, हम सर्वश्रेष्ठ पेपर पुरस्कारों का उपयोग करते हैं, हम 10 साल के सबसे प्रभावशाली पेपर पुरस्कारों का उपयोग करते हैं, हम उद्धरणों को देखते हैं। हम सभी जानते हैं कि सम्मेलन और पत्रिकाएं - यहां तक ​​कि शीर्ष वाले - भी ऐसे महान पत्रों से भरे हुए हैं, जो हमारे महान होने की वजह से नहीं हैं, क्योंकि हमारे समकक्ष समीक्षा प्रक्रियाएं महान हैं। जब हमारे पास पहले से ही इतने सारे सिग्नल हों तो एक सिग्नल खोने में थोड़ा नुकसान होता है।

इसके अलावा, हम नए सिग्नल प्राप्त करेंगे। प्रकाशन के बाद से प्रकाशित काम के बारे में किस तरह के संवाद हुए हैं? काम की बात कौन कर रहा है? वे इसके बारे में कैसे बात कर रहे हैं? बस कल्पना कीजिए कि एक संकाय उम्मीदवार का मूल्यांकन कैसे बदल जाएगा: यह सिर्फ प्रकाशित पत्रों की एक सूची नहीं होगी, बल्कि इसके बजाय, प्रकाशन के अर्थ और महत्व के बारे में धागे का एक जीवंत सेट - या मौन, जो कुछ और कहता है।

इस दृष्टि के खिलाफ अन्य तर्क इस आशंका पर ध्यान केंद्रित करते हैं कि अगर उनकी समीक्षा सार्वजनिक हो जाती है तो लोग अब और समीक्षा नहीं करते हैं। मेरे लिए, यह केवल एक संकेत है कि हम सार्वजनिक बुद्धिजीवियों को ठीक से शिक्षित नहीं कर रहे हैं। क्या हमारे अहंकार इतने नाजुक हैं कि कोई हमारी सुविचारित आलोचनाओं को देखकर हमारी प्रतिष्ठा को चकनाचूर कर देगा? या हम डरते हैं कि हमारे आलोचकों को इतनी अच्छी तरह से तर्क नहीं दिया गया है?

जाहिर है, इस तरह के मॉडल का काम करने के लिए बहुत कुछ पता लगाना होगा। यदि कोई समुदाय है जो इसे कर सकता है, तो यह कंप्यूटिंग और सूचना विज्ञान, विशेष रूप से मानव-कंप्यूटर इंटरैक्शन है।

बैंडविड्थ हमारी दृष्टि को सीमित करता है

बेशक, उपरोक्त किसी भी बदलाव को लागू करने के लिए समय की आवश्यकता होती है। और यह देखते हुए कि हम पहले से ही स्वयं सेवा कर रहे हैं, समय सीमित है। हम में से कुछ को इन परिवर्तनों को वास्तविकता बनाने के लिए हमारे कुछ समय, विशेष रूप से हमारे जैसे दस प्रोफेसरों को प्रतिबद्ध करने की आवश्यकता है। आइए बाकी शिक्षाविदों को दिखाएं कि सहकर्मी की समीक्षा क्या हो सकती है। मेरे साथ कोण है?