एक AI Nudge के साथ एल्गोरिदम को राजी करना

फैक्ट-चेकिंग अविश्वसनीय समाचार के प्रसार को कम कर सकती है। यह विपरीत भी कर सकता है।

(यह पोस्ट मूल रूप से civilservant.io पर छपी है)

Reddit पर r / worldnews के पाठक अक्सर स्वयंसेवक मध्यस्थों के लिए समाचार को रिपोर्ट करते हैं, उन्हें अपने सनसनीखेज लेखों के लिए टैब्लॉइड पर प्रतिबंध लगाने के लिए कहते हैं। ये अलंकृत कहानियां लोगों की आंखों को आकर्षित करती हैं, विवाद को आकर्षित करती हैं, और रेडिट की रैंकिंग एल्गोरिदम द्वारा देखी जाती हैं, जो उन्हें आगे भी फैलाती हैं।

टैब्लॉइड समाचार पर प्रतिबंध लगाने से यह फीडबैक लूप समाप्त हो सकता है, लेकिन समुदाय के मध्यस्थ कंबल प्रतिबंध का विरोध करते हैं। इस पहेली को हल करने के लिए, मध्यस्थों को तथाकथित "नकली समाचार" के बारे में बहस के दिल में एक सवाल का जवाब देने की आवश्यकता थी: हम समुदाय की भलाई के लिए लोगों और एल्गोरिदम के पारस्परिक व्यवहार को प्रभावित करते हुए योगदानकर्ताओं की स्वतंत्रता को कैसे संरक्षित कर सकते हैं?

इस सर्दी, मध्यस्थों ने एक विचार का परीक्षण करने के लिए सिविलसरवेंट के साथ काम किया: अविश्वसनीय समाचार की प्रतिक्रिया पर तथ्य-जांच को प्रोत्साहित करने के क्या प्रभाव हैं? हम देखना चाहते थे कि r / worldnews समुदाय कैसे प्रतिक्रिया देगा। हमने रेडिट की रैंकिंग पर प्रभाव का भी अवलोकन किया। यदि रेडिट के एल्गोरिदम ने तथ्य-जांच को लोकप्रियता के रूप में व्याख्या की है, तो अविश्वसनीय लेख आगे भी फैल सकते हैं।

टैब्लॉइड समाचार इस 15 मिलियन ग्राहक समुदाय के लिए सभी प्रस्तुतियाँ का लगभग 2.3% है जो अमेरिका के बाहर की खबरों पर चर्चा करता है। R / worldnews में, 70 मध्यस्थ प्रति दिन लगभग 450 लेखों की समीक्षा करते हैं और 68% लेखों को रहने की अनुमति देते हैं। चूंकि यह एक डिफ़ॉल्ट सब्रेडिट है, इसलिए अधिकांश रेडिट पाठकों को इस समुदाय के माध्यम से विश्व समाचार मिलते हैं। हालांकि फेसबुक द्वारा समुदाय की पहुंच को कम कर दिया गया है, लेकिन अंग्रेजी बोलने वाले इंटरनेट में कहीं भी विश्व समाचारों पर चर्चा करने के लिए r / worldnews सबसे बड़ा एकल समूह हो सकता है। इस समुदाय में छोटे-छोटे प्रभाव भी इस बात पर बड़ा बदलाव ला सकते हैं कि कैसे लाखों लोग दुनिया के बारे में संभावित-अविश्वसनीय जानकारी का एहसास करते हैं।

27 नवंबर से 20 जनवरी तक के हमारे अध्ययन में, हमने ए / बी परीक्षण किए गए संदेशों से समुदाय को तथ्य-जांच करने और टैब्लॉइड समाचार पर मतदान करने के लिए प्रोत्साहित किया। यहाँ हमने क्या पाया:

समुदाय व्यवहार पर तथ्य-जाँच को प्रोत्साहित करने का प्रभाव

R / worldnews पर टैब्लॉइड सबमिशन की चर्चा के भीतर, तथ्य-जाँच को प्रोत्साहित करने से औसतन 2x द्वारा टिप्पणियों की घटनाओं की दर बढ़ जाती है और तथ्य-जाँच + वोटिंग को प्रोत्साहित करने का समान प्रभाव पड़ता है।

Reddit के एल्गोरिदम पर तथ्य-जाँच को प्रोत्साहित करने का प्रभाव

24 घंटे से अधिक का अवलोकन करते हुए, हमने यह भी पाया कि तथ्य-जाँच को प्रोत्साहित करने वाली औसतन, चिपचिपी टिप्पणियों से टैब्लॉइड सबमिशन के रेडिट स्कोर में 2x कमी हुई, सांख्यिकीय रूप से महत्वपूर्ण प्रभाव जो कि सबरेडिट में रैंकिंग को प्रभावित करता है। जब हमने पाठकों को मतदान के लिए प्रोत्साहित किया, तो यह प्रभाव गायब हो गया।

AI Nudges: लिबर्टी को संरक्षित करते हुए एल्गोरिदम को राजी करना

टैब्लॉइड समाचार के बारे में हमारे सवालों ने एक क्लासिक शासन प्रणाली के लिए एक एल्गोरिथम आयाम जोड़ा: व्यक्तिगत स्वतंत्रता पर बाधाओं को कम करते हुए बिजली वाले लोग आम अच्छे की ओर कैसे काम कर सकते हैं?

हम अलग-अलग व्यवहार करने के लिए लोगों को समझाने के लिए एल्गोरिदम को अलग तरह से व्यवहार करने के लिए राजी कर सकते हैं।

इंटरनेट के पार, लोग AI सिस्टम के साथ रहना सीखते हैं जिन्हें वे नियंत्रित नहीं कर सकते हैं। उदाहरण के लिए, उबेर ड्राइवरों ने अपनी आय को अनुकूलित करने के लिए अपनी ड्राइविंग को मोड़ दिया। हमारा सामूहिक व्यवहार पहले से ही एआई सिस्टम को हर समय प्रभावित करता है, लेकिन अब तक, जनता को इस बात की जानकारी का अभाव है कि वास्तव में क्या प्रभाव है। ये अपारदर्शी परिणाम एक समस्या हो सकते हैं जब एल्गोरिदम समाज में महत्वपूर्ण भूमिका निभाते हैं, जैसे स्वास्थ्य, सुरक्षा और निष्पक्षता। इस समस्या को हल करने के लिए, कुछ शोधकर्ता "सोसाइटी-इन-लूप" सिस्टम [4] डिजाइन कर रहे हैं। अन्य एल्गोरिदम [5] [6] को ऑडिट करने के लिए तरीके विकसित कर रहे हैं। फिर भी न तो दृष्टिकोण उन प्रणालियों के रोजमर्रा के व्यवहार को प्रबंधित करने का एक तरीका प्रदान करता है जिनके कोड को हम नियंत्रित नहीं कर सकते हैं। R / worldnews के साथ हमारा अध्ययन एक तीसरी दिशा प्रदान करता है; हम अलग-अलग व्यवहार करने के लिए लोगों को समझाने के लिए एल्गोरिदम को अलग तरह से व्यवहार करने के लिए राजी कर सकते हैं।

कुछ लोगों को आश्चर्य हो सकता है कि क्या यह प्रयोग वोट हेरफेर का कारण बनता है, जो कि रेडिट की नीतियों के खिलाफ है। हमारे स्टिकी नोट व्यक्तिगत लाभ के लिए किसी भी रेडिट के नियमों का उल्लंघन नहीं करते हैं (हमने नकली खाते भी नहीं बनाए हैं, लोगों को बताएं कि वोट कैसे दें, या मतदान ब्लॉक का आयोजन करें)। लेकिन हमने दिखाया कि लोगों को फैक्ट-चेक करने के लिए प्रोत्साहित करना रेडिट के एल्गोरिदम पर एक व्यवस्थित प्रभाव डालता है।

"एआई न्यूडेस" का विचार हमें व्यक्तिगत स्वतंत्रता को संरक्षित करते हुए मानव और मशीन व्यवहार को प्रभावित करने के लिए सामाजिक-सामाजिक प्रयासों के बारे में सोचने का एक तरीका देता है। रिचर्ड थेलर और कैस सनस्टीन ने पहली बार व्यक्तिगत स्वतंत्रता [7] का संरक्षण करते हुए अपनी शक्ति का इस्तेमाल करने के लिए संस्थानों के लिए "कुहनी" के रूप में प्रस्तावित किया। टैब्लॉइड समाचार पर प्रतिबंध लगाने की तुलना में, तथ्य-जाँच को प्रोत्साहित करने की एआई कुहनी सबसे हल्का-स्पर्श कार्रवाई है जो मध्यस्थ ले सकते हैं। किसी व्यक्ति की समाचार, टिप्पणी, या वोट साझा करने की क्षमता को दूर नहीं किया जाता है, लेकिन AI कुहनी अभी भी अस्वीकार्य समाचार के प्रसार को कम करती है।

जैसा कि सनस्टीन और थेलर बताते हैं, यह हमेशा स्पष्ट नहीं होता है कि इन प्रकाश-स्पर्श हस्तक्षेपों का वांछित परिणाम होगा या नहीं। इसलिए हमें व्यवस्थित रूप से उनके प्रभावों का परीक्षण करना चाहिए, विशेषकर चूंकि अप्रयुक्त प्रणालियों के अप्रत्याशित परिणाम हो सकते हैं।

द गवर्नेंस एंड एथिक्स ऑफ एआई न्यूडेस

सरकारों और ऑनलाइन प्लेटफ़ॉर्म द्वारा सामाजिक प्रयोगों से नुक्सान अक्सर इसी तरह की आलोचनाओं को आकर्षित करता है। मुझे लगता है कि लोग उन लोगों से जवाबदेही की उम्मीद करना सही समझते हैं जो शक्तिहीनता का प्रयोग करते हैं। स्वयंसेवक मध्यस्थों के साथ काम करके, मैं सामाजिक कंप्यूटिंग में विशिष्ट स्तर की पारदर्शिता और जवाबदेही के साथ काम करने में सक्षम हूं। सभी सिविलसेर्वेंट अध्ययनों को मॉडरेशन टीमों के साथ और डिज़ाइन किया गया है, और सभी परिणामों का खुलासा समुदाय में सबसे पहले एक सबरेडिट डीब्रीफिंग में किया जाता है। हमारे अध्ययन के डिजाइन शुरू होने से पहले खुले विज्ञान ढांचे पर सार्वजनिक रूप से सूचीबद्ध हैं, और हमारे सभी कोड खुले स्रोत हैं। पूर्ण विश्लेषण विवरण भी सार्वजनिक हैं, इसलिए कोई भी हमारे निष्कर्ष की जांच कर सकता है। केवल एक चीज जो हम वापस लेते हैं वह वास्तविक डेटा है, क्योंकि हम इसमें शामिल सभी की गोपनीयता का सम्मान करते हैं।

कुल मिलाकर, मुझे उम्मीद है कि एआई न्यूडेस, विशेष रूप से जब समुदायों के नेतृत्व में खुद को जनता के लिए एक रोमांचक दिशा प्रदान करते हैं, जो समाज में एल्गोरिदम की भूमिका का प्रबंधन करते हैं, जबकि व्यक्तिगत स्वतंत्रता को भी संरक्षित करते हैं।

स्टडी ने कैसे काम किया

इस परीक्षण के लिए, मध्यस्थों ने समाचार स्रोतों की एक सूची के साथ शुरू किया जो अक्सर शिकायतें प्राप्त करते हैं। 27 नवंबर से 20 जनवरी तक, हमने प्रत्येक नई टैब्लॉइड लिंक को तीन स्थितियों में से एक को यादृच्छिक रूप से असाइन किया है: (ए) कोई चिपचिपा टिप्पणी नहीं, (बी) एक चिपचिपा टिप्पणी जो संदेह को प्रोत्साहित करती है, (सी) एक चिपचिपा टिप्पणी जो संदेहवाद + वोटिंग को प्रोत्साहित करती है (पूर्ण विवरण यहां )।

हमने इस संदेश को शीर्ष समाचार समाचार चर्चाओं में पोस्ट किया है

दूसरा लोगों को इस तथ्य की जाँच करने और लिंक को डाउनवोट करने के लिए प्रोत्साहित करता है कि क्या वे इसके दावों के लिए समर्थन साक्ष्य नहीं पा सकते हैं:

इस दूसरे संदेश ने लोगों को नीच विचार करने के लिए प्रोत्साहित किया

क्या तथ्य-जाँच के व्यवहार से प्रभावित हो सकता है कि Reddit के एल्गोरिदम अविश्वसनीय समाचार कैसे देखते हैं?

हालांकि हम आश्वस्त थे कि यदि r / worldnews के पाठक मदद करेंगे यदि मध्यस्थों ने पूछा, तो हम भी आश्चर्यचकित हुए: यदि हम टैब्लॉइड समाचार पर टिप्पणी बढ़ाते हैं, तो क्या हम गलती से उन टैब्लॉइड लिंक को बढ़ावा देने के लिए रेडिट के एल्गोरिदम का कारण बन सकते हैं?

यदि तथ्य-जाँच ने अविश्वसनीय समाचार स्रोतों की लोकप्रियता में वृद्धि की, तो समुदाय को अपने प्रयास को वापस लाने की आवश्यकता हो सकती है। यही कारण है कि मध्यस्थों ने एक दूसरी चिपचिपी टिप्पणी का परीक्षण किया, जो पाठकों को विचार करने के लिए प्रोत्साहित करता है।

Reddit के एल्गोरिदम पर चिपचिपा टिप्पणियों के प्रभाव का परीक्षण करने के लिए, सिविलसर्वेंट सॉफ़्टवेयर ने चार मिनट के बाद पदों के स्कोर पर डेटा एकत्र किया। प्लेटफ़ॉर्म वास्तव में प्रकाशित नहीं होता है कि स्कोर में क्या है या वास्तव में इसकी रैंकिंग कैसे काम करती है (मैंने पूछा)। हालाँकि, हम किसी पोस्ट की सब्रेडिट HOT पेज रैंकिंग का उसकी उम्र और स्कोर से पूरी तरह से अनुमान लगाने में सक्षम थे (पूर्ण विवरण यहाँ)। मूल रूप से, यदि तथ्य-जाँच का लेख के स्कोर पर बड़ा प्रभाव पड़ता है, तो शायद इससे लेख की रैंकिंग पर समय के साथ उप-पृष्ठ के सामने पृष्ठ पर प्रभाव पड़ता है। मैंने इसे दो तरीकों से परखा: 24 घंटे के बाद के स्कोर की तुलना करके, और समय के साथ स्कोर में बदलाव करके मॉडलिंग की।

मैंने 24 घंटों के बाद स्कोर पर प्रभाव का परीक्षण करने के लिए एक नकारात्मक द्विपद मॉडल का उपयोग किया। जैसा कि रेडिट के एल्गोरिदम हमारे प्रयोग के दौरान खड़े थे, तथ्य-जाँच को प्रोत्साहित करते हुए टैब्लॉइड सबमिशन के कारण 49.1% (2.04x कम) प्राप्त हुआ, बिना किसी चिपचिपा टिप्पणी के सबमिशन का स्कोर 24 घंटे के बाद, औसत रूप से आर / वर्ल्डन्यूज़ में। प्रभाव सांख्यिकीय रूप से महत्वपूर्ण है। इस मॉडल में, मैं उन चिपचिपी टिप्पणियों से एक प्रभाव पाने में विफल रहा, जिन्होंने पाठकों को नीच विचार करने के लिए प्रोत्साहित किया।

मैंने समय के साथ किसी पोस्ट के स्कोर की वृद्धि-दर पर तथ्य-जाँच के प्रभाव का भी परीक्षण किया। इस सवाल को पूछने के लिए, मैं हर चार मिनट में एक पोस्ट के लिए लॉग-ट्रांसफ़ॉर्म किए गए स्कोर पर एक रैंडम इंटरसेक्शन लीनियर रिग्रेशन मॉडल फिट करता हूं। मैंने पाया कि तथ्य-जाँच को प्रोत्साहित करने से स्कोर वृद्धि दर कम होती है। यहां, मैंने पाया कि वोटिंग को प्रोत्साहित करने से वास्तव में समय के साथ औसतन विकास दर पर थोड़ा सकारात्मक प्रभाव पड़ता है। चूंकि हम दिसंबर 2016 की शुरुआत में reddit के एल्गोरिदम में बदलाव के दौरान प्रयोग कर रहे थे, इसलिए मैंने यह भी पाया कि reddit के एल्गोरिदम पर इन चिपचिपा टिप्पणियों का प्रभाव तब बदल सकता है जब reddit ने अपने एल्गोरिदम (विवरण) को समायोजित कर लिया था।

समाचार लेखों को फैक्ट-चेक करने में किसने मदद की?

930 गैर-बॉट टिप्पणियों के साथ लिंक जो मध्यस्थों को बने रहने की अनुमति देते हैं, 737 उपयोगकर्ता खातों ने आगे के सबूतों के लिंक का योगदान दिया। इनमें से, 133 खातों ने लिंक के साथ एक से अधिक टिप्पणियां कीं। कई लोगों ने अपने स्वयं के सबमिशन को वास्तव में जांचा, सबमिटर के साथ आगे की जानकारी के लिए 81 टिप्पणियाँ पोस्ट कीं।

हम इस अध्ययन से क्या नहीं जान सकते हैं?

यह परीक्षण व्यक्तिगत खातों के बजाय चर्चाओं के परिणामों को देखता है, इसलिए हम यह नहीं जान सकते हैं कि क्या व्यक्तिगत लोगों को अधिक संदेहपूर्ण होने पर, या यदि चिपचिपा टिप्पणियों के कारण पहले से ही संदेह करने वाले लोग जांच और साझा करने के लिए आश्वस्त हैं। पाठकों पर तथ्य-जाँच के प्रभाव के बारे में भी मेरे पास कोई प्रमाण नहीं है, हालाँकि अन्य शोध बताते हैं कि तथ्य-जाँच पाठक की मान्यताओं को प्रभावित करती है [२] [३]।

यह अध्ययन हमें इस बारे में बहुत कुछ नहीं बता सकता है कि जब हम पाठकों को नीचा दिखाने के लिए प्रोत्साहित करके संदेश को संशोधित करते हैं तो हम एल्गोरिथम प्रभाव में इतना बड़ा बदलाव क्यों देखते हैं। यह अंतर एक उदाहरण हो सकता है कि मनोवैज्ञानिक क्या कहते हैं "प्रतिक्रिया", प्राधिकरण के सुझावों का प्रतिरोध। या अगर समाचार सबमिटर को चिंता है कि उनके लिंक डाउन हो सकते हैं, तो वे मदद मांग सकते हैं, जो पाठकों के व्यवहार को संतुलित करता है।

क्या यह अन्य प्रकार के लिंक के साथ, अन्य सब्रेडिट्स में, या अन्य साइटों पर काम करेगा? यह अध्ययन एक विशिष्ट समुदाय और साइटों की सूची तक सीमित है। जबकि मुझे संदेह है कि पाठकों के कई बड़े ऑनलाइन समुदाय तथ्य-जांच लिंक की मदद करेंगे यदि मध्यस्थों ने पूछा, तो रेडिट एल्गोरिथ्म के बारे में हमारे निष्कर्ष बहुत अधिक स्थित हैं।

हम इन सवालों का जवाब दे सकते हैं यदि अधिक उपनिवेशों ने समान प्रयोगों की कोशिश करने का फैसला किया। यदि आप रुचि रखते हैं, तो एक समान प्रयोग चलाने के बारे में चर्चा करने के लिए मुझसे संपर्क करें और ईमेल अपडेट के लिए साइन अप करें।

इस प्रयोग के बारे में अधिक जानें

मेरी पीएचडी में अपने स्वयं के मॉडरेशन प्रथाओं के प्रभावों का परीक्षण करने के लिए समुदायों का समर्थन करना शामिल है। मैंने इस प्रयोग को r / worldnews मॉडरेटर्स के साथ मिलकर डिज़ाइन किया था, और इसे MIT समिति ने मानव के प्रयोग पर प्रायोगिक विषय के रूप में अनुमोदित किया था। यदि आपके कोई प्रश्न या चिंताएँ हैं, तो कृपया redditmail पर natematias से संपर्क करें।

यह प्रयोग, रेडिट पर अब तक के मेरे सभी शोधों की तरह, स्वतंत्र रूप से रेडिट प्लेटफॉर्म पर किया गया था, जिनकी योजना या प्रयोग के डिजाइन में कोई भूमिका नहीं थी। प्रयोग की अभी तक समीक्षा नहीं की गई है। सिविलवेरेंट से सभी परिणाम सार्वजनिक रूप से पोस्ट किए जाते हैं, जैसे ही परिणाम तैयार होते हैं, शैक्षणिक प्रकाशन बाद में आते हैं।

प्रयोग का पूरा विवरण अग्रिम में एक पूर्व-विश्लेषण योजना में osf.io/hmq5m/ पर प्रकाशित किया गया था। यदि आप आंकड़ों में रुचि रखते हैं, तो मैंने विश्लेषण का पूरा विवरण प्रकाशित किया है।

संदर्भ

[१] सालगनिक, एम। जे।, और वत्स, डी। जे। (२००))। झुंड को भटकना: एक कृत्रिम सांस्कृतिक बाजार में स्वयं-पूर्ण भविष्यवाणियों का एक प्रयोगात्मक अध्ययन। सामाजिक मनोविज्ञान त्रैमासिक, 71 (4), 338-355।

[२] स्टीफ़न लेवांडोव्स्की, उल्रिच के। एच। ईकर, कोलीन एम। सेफ़र्ट, नॉर्बर्ट श्वार्ज़ और जॉन कुक। गलत सूचना और इसका सुधार निरंतर प्रभाव और सफल वाद-विवाद। जनहित में मनोवैज्ञानिक विज्ञान, 13 (3): 106–131, दिसंबर 2012।

[३] थॉमस वुड और एथन पोर्टर। मायावी बैकफ़ायर प्रभाव: मास एटिट्यूड्स 'स्टैडफास्ट फैक्चुअल एडहेरेंस। एसएसआरएन स्कॉलरली पेपर आईडी 2819073, सोशल साइंस रिसर्च नेटवर्क, रोचेस्टर, एनवाई, अगस्त 2016।

[४] रहवान, इयाद (२०१६) सोसाइटी-इन-द-लूप: प्रोग्रामिंग अल्गोरिदमिक सोशल कॉन्ट्रैक्ट। मध्यम

[५] क्रिश्चियन सैंडविग, केविन हैमिल्टन, कार्री करहलियोज और सेड्रिक लैंगबोर्ट। 2014. एल्गोरिदम का ऑडिटिंग: इंटरनेट प्लेटफार्मों पर भेदभाव का पता लगाने के लिए अनुसंधान के तरीके। डेटा और भेदभाव: उत्पादक पूछताछ, अंतर्राष्ट्रीय संचार संघ की वार्षिक बैठक, 2014 में महत्वपूर्ण चिंताओं को हल करना

[६] डायकोपोलोस, एन।, और कोलिस्का, एम। (२०१६)। समाचार मीडिया में एल्गोरिथम पारदर्शिता। डिजिटल पत्रकारिता, 1-20

[Er] थेलर, आर। एच।, और सनस्टीन, सी। आर। (२००३)। स्वतंत्रतावादी पितृत्ववाद। अमेरिकन इकोनॉमिक रिव्यू, 93 (2), 175-179।