एआई सिस्टम में नस्लीय पूर्वाग्रह और लिंग पूर्वाग्रह उदाहरण

पूर्वाग्रह

मैं नस्लीय तरीके से सोच रहा था कि नस्लीय पूर्वाग्रह पर मेरे स्नातकोत्तर थीसिस, जेंडर बायस, एआई + नए तरीके से मानव कंप्यूटर इंटरेक्शन को सभी तक पहुंचाने के लिए।

जीवन सुपर व्यस्त हो गया है, इसलिए मैंने अभी के लिए थीसिस के स्निपेट को जोड़ने का फैसला किया है।

तो यहाँ यह जाता है:

इस शोध पत्र के लिए, शोधकर्ता ने एआई द्वारा संचालित प्रणालियों के संबंध में चिंता के कई क्षेत्रों की पहचान की है जो उन स्थितियों में तैनात हैं जो मनुष्यों के जीवन को प्रभावित करते हैं। इन उदाहरणों का उपयोग चिंता के इस क्षेत्र को आगे बढ़ाने के लिए किया जाएगा।

सुझावों ने कहा है कि एआई द्वारा संचालित निर्णय-समर्थन प्रणाली का उपयोग मानव निर्णय को बढ़ाने और सचेत और अचेतन पूर्वाग्रहों (एंडरसन एंडरसन, 2007) को कम करने के लिए किया जा सकता है। हालाँकि, एआई सिस्टम को आकार देने वाले मशीन लर्निंग डेटा, एल्गोरिदम और अन्य डिज़ाइन विकल्प मौजूदा सांस्कृतिक पूर्वाग्रहों और असमानताओं (2013, स्वीनी) को प्रतिबिंबित और बढ़ा सकते हैं। जबकि, प्रौद्योगिकी के इतिहासकार मेल्विन क्रैनबर्ग (1986) ने इस दृष्टिकोण का निर्माण किया कि प्रौद्योगिकी को तटस्थ या निष्पक्ष माना जाता है।

एक काउंटर तर्क यह है कि एआई सिस्टम पक्षपाती एल्गोरिदम को नियोजित कर सकता है जो मनुष्यों को महत्वपूर्ण नुकसान पहुंचाता है जो बिना किसी सूचना के और बिना सोचे-समझे चल सकता है, जब तक कि बहुत देर हो चुकी हो।

नस्लीय पक्षपात

ProPublica, एक गैर-लाभकारी समाचार संगठन, ने AI द्वारा कंपोज़िट के रूप में संचालित जोखिम मूल्यांकन सॉफ़्टवेयर का गंभीर रूप से विश्लेषण किया था। कंपास का उपयोग पूर्वानुमान लगाने के लिए किया जा रहा है कि अपराधियों को फिर से संगठित करने की सबसे अधिक संभावना है।

इन जोखिम आकलन से प्रेरित होकर, संयुक्त राज्य भर के न्यायालयों में न्यायाधीश प्रतिवादियों और दोषियों के भविष्य पर निष्कर्ष उत्पन्न करेंगे, जिसमें जमानत राशि से लेकर वाक्यों तक सब कुछ निर्धारित किया जाएगा।

सॉफ्टवेयर अनुमान लगाता है कि 137 सर्वेक्षण सवालों के जवाब में या उसके सर्वेक्षण के आधार पर एक प्रतिवादी फिर से अपमानित होने की कितनी संभावना है (सर्वेक्षण का एक उदाहरण अंजीर में दिखाया गया है। 1)।

चित्र 1: 'कंपास सर्वे', जूलिया एंगविन और अन्य। (2016)

ProPublica ने फ्लोरिडा काउंटी में गिरफ्तार किए गए 7,000 लोगों के लिए कंपास के जोखिम आकलन की तुलना की, जिनके साथ उन्होंने कितनी बार फिर से जुड़ाव किया (Angwin et al। 2016; Garber, 2016; Liptak, 2017)।

यह पता चला कि कंपास एल्गोरिथ्म एक अपराधी की विशेष प्रवृत्ति की भविष्यवाणी करने में सक्षम था। हालांकि, जब एल्गोरिथ्म इसकी भविष्यवाणी में गलत था, तो परिणाम काले और सफेद अपराधियों के लिए अलग-अलग प्रदर्शित किए गए थे।

कंपास के माध्यम से, काले अपराधियों को लगभग दो बार देखा गया था कि सफेद अपराधियों को एक उच्च जोखिम का लेबल दिया गया था, लेकिन वास्तव में फिर से अपराध नहीं किया गया था। जबकि, COMPAS सॉफ़्टवेयर ने गोरे अपराधियों के साथ विपरीत परिणाम उत्पन्न किए: उन्हें अपने आपराधिक इतिहास को फिर से परिभाषित करने की उच्च संभावनाओं को प्रदर्शित करने के बावजूद काले अपराधियों की तुलना में कम जोखिम वाले लेबल के रूप में चिह्नित किया गया (परिणामों के उदाहरण अंजीर में दिखाए गए हैं। 2-5)।

चित्र 2-5: 5 कम्पास सॉफ्टवेयर परिणाम ’, जूलिया एंगविन और अन्य। (2016)

संदर्भ के लिए, कम्पास जैसे सॉफ्टवेयर के प्रभाव को उजागर करने के लिए, संयुक्त राज्य अमेरिका ने संघीय और राज्य सुधार सुविधाओं में 1,561,500 व्यक्तियों को कैद किया।

संयुक्त राज्य अमेरिका दुनिया के किसी भी देश की तुलना में अधिक लोगों को कैद करता है, कैद किए गए लोगों का एक बड़ा प्रतिशत काला है (कार्सन, 2015; वैगनर और वॉल्श, 2016)।

रेस, राष्ट्रीयता और त्वचा का रंग 1970 के दशक तक इस तरह के आकलन और भविष्यवाणियों की रचना में एक महत्वपूर्ण भूमिका निभाई, जब शोध अध्ययनों ने उन विशेषताओं के लिए निहितार्थों को उजागर किया, जिन्हें राजनीतिक रूप से अस्वीकार्य माना जाता है (हारकोर्ट, 2010; केहल एट अल। 2017)।

2014 में, पूर्व अमेरिकी अटॉर्नी जनरल एरिक होल्डर ने सलाह दी कि जोखिम मूल्यांकन स्कोर संभवतः अदालतों के माहौल में पूर्वाग्रह का आरोपण कर रहे हैं (बैरेट, 2014; न्यायमूर्ति.जीओ, 2014)।

इस खोज के बावजूद, ProPublica के शोध अध्ययन पीएचडी शोधकर्ताओं (फ्लोर्स एट अल; 2016) के एक समूह द्वारा विवादित थे। उनके दृष्टिकोण यह थे कि प्रोपोगेला द्वारा कई मौजूदा अध्ययनों के विरोधाभासी परिणाम यह निष्कर्ष निकालते हैं कि जोखिम मूल्यांकन स्कोर नस्लीय और लैंगिक पूर्वाग्रह से मुक्त होने की भविष्यवाणी की जा सकती है। पीएचडी शोधकर्ताओं के अपने शोध का निष्कर्ष यह था कि वास्तव में जोखिम स्कोर के लिए एक ही समय में दोनों निष्पक्षता मानदंडों को पूरा करना असंभव है।

यह कम्पास सॉफ्टवेयर के डेवलपर्स के कारण है, नॉर्थपॉइंट ने अपने मालिकाना एल्गोरिथ्म के विवरण का खुलासा करने से इनकार कर दिया, जिससे शोधकर्ताओं के लिए यह आकलन करना असंभव हो गया कि इसका एल्गोरिदम किस हद तक अनुचित हो सकता है।

उनके एल्गोरिथ्म के बारे में छिपी जानकारी का खुलासा करना उत्तरपॉइंट के प्रतिस्पर्धी व्यवसाय (झू और झोउ, 2011; सैक्स, 2015) के लक्ष्य को सीमित कर सकता है। हालांकि, कार्रवाई इस प्रकृति के जोखिम मूल्यांकन सॉफ्टवेयर को विकसित करने के लिए लाभकारी कंपनियों को सौंपने वाले सरकारी विभागों के बारे में सवाल उठाती है।

एक अदालत के मामले में, विस्कॉन्सिन के सुप्रीम कोर्ट ने एक व्यक्ति (किर्नेर, 2016) की सजा में कंपास जोखिम-मूल्यांकन सॉफ़्टवेयर का उपयोग करने की वैधता की जांच की। अदालत मामले को मीडिया द्वारा संयुक्त राज्य में एक के रूप में तैनात किया गया है जो एक स्वचालित सॉफ़्टवेयर-जनित जोखिम मूल्यांकन स्कोर (लिप्टक, 2017; हार्वर्ड लॉ रिव्यू, 2017) द्वारा न्यायाधीश की सहायता के संबंध में चिंताओं को दूर करने में पहले रहा है; 2016)।

सुप्रीम कोर्ट ने सजा के फैसले के साथ जजों की सहायता के लिए कंपास के निरंतर उपयोग के लिए फैसला सुनाया। हालाँकि अदालत ने कम्पास की सीमाओं को उजागर किए बिना जानकारी भेजने में सॉफ़्टवेयर के भविष्य के उपयोग के बारे में संकोच व्यक्त किया। (सुप्रीम कोर्ट ऑफ विस्कॉन्सिन, 2016)।

अदालत ने अपनी सीमाओं के कई विचार-विमर्श किए (सुप्रीम कोर्ट ऑफ विस्कॉन्सिन, 2016, p.5 - p.48):

1. कंपास एक मालिकाना सॉफ्टवेयर है, जिसे सॉफ्टवेयर के डेवलपर्स ने इसके जोखिम कारकों के प्रभाव के बारे में स्पष्ट जानकारी के प्रकटीकरण या जोखिम मूल्यांकन स्कोर की गणना कैसे की है।

2. कम्पास जोखिम मूल्यांकन स्कोर समूह डेटा पर स्थापित किए जाते हैं, और इसलिए सॉफ़्टवेयर उन समूहों के साथ वर्गीकृत होते हैं जो उन्हें उच्च-जोखिम वाले अपराधी के रूप में नामित करते हैं, लेकिन उच्च-जोखिम वाले व्यक्ति नहीं।

3. ऐसे कई शोध अध्ययन हुए हैं, जिन्होंने प्रस्ताव किया है कि COMPAS एल्गोरिदम ने काले अपराधियों का विश्लेषण करने के पक्षपाती परिणाम विकसित किए हैं।

4. कंपास एक राष्ट्रीय नमूने के लिए प्रतिवादियों / अपराधियों को मापता है, लेकिन सॉफ्टवेयर एक स्थानीय आबादी के लिए क्रॉस-मान्यता अध्ययन में संलग्न नहीं होता है। कंपास सॉफ्टवेयर के रूप में संभावित मुद्दों को दूर करने के लिए नियमित रूप से निगरानी की जानी चाहिए और आबादी के समायोजन के रूप में सटीकता के लिए अद्यतन किया जाना चाहिए।

5. कंपास सॉफ्टवेयर का मूल उद्देश्य सजा के लिए नहीं है, बल्कि एक व्यक्ति के आकलन में सहायक उपकरण के रूप में है।

लिंग पर पक्षपात

नस्लीय पूर्वाग्रह के विपरीत, एआई सिस्टम में प्रोग्राम किए जा रहे एल्गोरिदम के संबंध में मनुष्यों के जीवन पर इसके प्रभाव पर साहित्य पर प्रकाश डाला गया है। लिंग पूर्वाग्रह के बारे में लिखा गया साहित्य अभी भी शुरुआती चरण में है, विषय के बारे में लिखी गई अधिकांश सामग्री समाचार लेख हैं जो अकादमिक अध्ययन (Fessler, 2017; Bass & Huet, 2017) के साथ समर्थित नहीं हैं।

ब्याज के एक अकादमिक पत्र ने इस विषयगत चिंताजनक क्षेत्र के बारे में बहस का नेतृत्व किया है, एक शब्द है शब्दार्थ से स्वचालित रूप से व्युत्पन्न भाषा कॉर्पोरा में मानव जैसे बायसेज़ (कैलिसन एट अल; 2016) शामिल हैं जो प्रमुख अकादमिक जर्नल साइंस में प्रकाशित हुआ था। सीवी में कीवर्ड विच्छेदन के लिए वेब सर्च (नालिसनिक एट अल; 2015) से शब्द एम्बेडिंग और इसके अनुप्रयोगों के बारे में कई शोध लिखे गए थे।

हालांकि, पूर्व शोध में शब्द एम्बेडिंग के सेक्सिस्ट संघों और विभिन्न सॉफ्टवेयर सिस्टमों में विभिन्न पूर्वाग्रहों के संभावित परिचय को मान्यता नहीं दी गई थी। शोधकर्ताओं ने मानव पूर्वाग्रहों के दस्तावेज, इंप्लांट एसोसिएशन (आईएटी) के लिए एक बेंचमार्क नियुक्त किया। IAT को इसके विकास के बाद से कई सामाजिक मनोविज्ञान अध्ययनों द्वारा अपनाया गया है (ग्रीनवर्ड एट अल; 1998)।

जैसा कि चित्र ६-, में दिखाया गया है, परीक्षण उन मानवीय प्रतिभागियों द्वारा प्रतिक्रिया समय को मापता है, जिन्हें कंप्यूटर स्क्रीन पर प्रदर्शित शब्द अवधारणाओं को युग्मित करने के लिए कहा जाता है। हालांकि IAT को अपने शोध निष्कर्षों की वैधता के संबंध में शिक्षाविदों (अजार, 2008; रोथरमंड और वेन्टुरा, 2004) से आलोचना मिली है, इस विशेष अध्ययन की दिशा में परीक्षण ने काफी भूमिका निभाई।

चित्र 6-8: Test IAT टेस्ट उदाहरण ', कई स्रोतों से लिया गया।

शोधकर्ताओं के समूह ने एक वेब क्रॉलर के साथ एक प्रयोग का निर्माण किया, जिसे एक इम्प्लांट इंटेलिजेंस टेस्ट में भाग लेने वाले एक कृत्रिम बुद्धिमान एजेंट के रूप में कार्य करने के लिए प्रोग्राम किया गया था।

इस प्रयोग में उपयोग किया जाने वाला एल्गोरिदम एक स्टार्टअप प्रौद्योगिकी कंपनी के समान है, जो एआई द्वारा संचालित एक सेवा प्रदान कर सकता है जो विश्लेषण करता है कि सीवी अपने उत्पाद के मूल में काम करेगा।

एल्गोरिथ्म शब्दों के सह-घटना आंकड़ों का उत्पादन करने में सक्षम है - वे शब्द जो अक्सर एक दूसरे के पास दिखाई देते हैं, उन शब्दों की तुलना में एक मजबूत जुड़ाव होता है जो शायद ही कभी करते हैं (पेनिंगटन एट अल; 2014; मैकफारलेन, 2013)।

स्टैनफोर्ड शोधकर्ताओं ने वेब क्रॉलर को इंटरनेट से सामग्री के एक विशाल मछली पकड़ने पर एक स्वचालित सूचकांक (कोबायाशी और टेकेडा, 2000) के रूप में कार्य करने के लिए नियुक्त किया, जिसमें 840 बिलियन शब्द थे।

एक बार सूचना का अनुक्रमण पूरा हो जाने के बाद, शोधकर्ताओं के समूह ने डेटा की तलाश में व्यापक मात्रा में सामग्री को खोजते हुए लक्ष्य शब्दों के सेटों की जांच की, जो उन्हें संभावित पूर्वाग्रहों के बारे में सूचित करेगा जो मानव अनजाने में कर सकते हैं।

उदाहरण शब्द थे words प्रोग्रामर, इंजीनियर, वैज्ञानिक, नर्स, शिक्षक और लाइब्रेरियन ’जबकि, विशेषता शब्दों के दो सेट पुरुष / पुरुष और महिला / महिला थे।

परिणामों में, डेटा ने पूर्वाग्रहों को उजागर किया जैसे कि (बग्स पर फूलों की पसंद ’(जिसे एक हानिरहित पूर्वाग्रह के रूप में चित्रित किया जा सकता है), हालांकि डेटा ने पूर्वाग्रह को लिंग और नस्ल से जुड़े विषयों के साथ पहचाना।

एक विशेष मामला स्वायत्त बुद्धिमान एजेंट है जो एक मर्दाना प्रकृति के नामों की तुलना में ‘माता-पिता और’ शादी ’जैसे परिवार के साथ शब्द के साथ स्त्री नामों को जोड़ रहा है। दूसरी ओर, मर्दाना नामों में and पेशेवर और वेतन ’(कैलिसन एट अल; २०१६) जैसे कैरियर के साथ जिम्मेदार शब्दों के साथ मजबूत जुड़ाव था।

कैलिसन एट अल ने ध्यान दिया कि सीखने के प्रयोगों के निष्कर्षों ने पिछले इंप्लांट एसोसिएशन टेस्ट अध्ययनों के एक नंबर में पाए गए पूर्वाग्रह के व्यापक प्रमाण को दोहराया, जिसमें मानव प्रतिभागियों को शामिल किया गया है। यह सुझाव दिया जा सकता है कि ये निष्कर्ष मनुष्यों के जीवन के उद्देश्य परिलक्षित हो सकते हैं।

लिंग के संबंध में व्यवसाय के प्रकार के असमान वितरण को उजागर करने वाले आंकड़े हैं - द यूरोप इंजीनियरिंग कंपनी (2018) के अनुसार यूके में महिला सॉफ्टवेयर इंजीनियरिंग पेशेवरों का प्रतिशत सबसे कम 10% है।

इस परियोजना पर प्रकाश डाला गया है कि शब्द एम्बेडिंग में पक्षपात वास्तव में लिंग स्टीरियोटाइप के सामाजिक गर्भाधान के साथ निकटता से जुड़े हैं। स्टीरियोटाइप को अचेतन और सचेत दोनों प्रकार के जीवों के रूप में वर्णित किया गया है जो लोगों के एक समूह (डिवाइन, 1989; ग्रीनवल्ड और बानाजी, 1995; हिल्टन और वॉन हिप्पेल, 1996) के बीच आयोजित किए जाते हैं। एआई (बोलुकबासी एट अल, 2016; बशीर एट अल, 2013) को प्रशिक्षित करने के लिए इस्तेमाल किए जा रहे डेटा की दिशा में कई शोध अध्ययनों ने रूढ़िवादिता का पता लगाया है।

साहित्य की सिफारिशें

मानव-कंप्यूटर इंटरैक्शन के नजरिए से, जब कृत्रिम बुद्धिमत्ता जैसे तकनीकी नवाचार को जटिल सामाजिक प्रणालियों जैसे आपराधिक न्याय, स्वास्थ्य निदान, शैक्षणिक प्रवेश, भर्ती और पदोन्नति में बनाया जाता है, तो यह तकनीकी के इरादों की परवाह किए बिना मौजूदा असमानताओं को मजबूत कर सकता है। डेवलपर्स।

नैतिक के संबंध में, प्रश्न ऐसे विकसित होते हैं जैसे कि 'निर्णय' क्या हैं? एक कृत्रिम प्रणाली एक गणना निष्कर्ष पर पहुंचने के लिए choices सही ’विकल्प बनाने में सक्षम कैसे होगी? कुछ एल्गोरिदमिक निर्देश और डेटा इनपुट क्या हैं जो एक कृत्रिम प्रणाली में क्रमादेशित किए जा रहे हैं जो इसे एजेंसी को न्याय करने और मानव के तौर-तरीकों पर फैसला देने की पेशकश कर रहे हैं? A.I नैतिकता के संबंध में, "विचार" शब्द का वास्तव में क्या मतलब है?

एआई के संबंध में एल्गोरिदमिक पूर्वाग्रहों के बारे में विद्वानों का साहित्य और शोध बढ़ रहा है।

कई शोधकर्ताओं ने इसे कम करने के तरीके पर तकनीकी तकनीकों का प्रस्ताव रखा है (बुओलामिनी और गेबरू, 2018; बैरोक्स एंड सेलबस्ट, 2016; गार्सिया, 2016; किर्कपैट्रिक, 2016; पेड्रेसची, एट अल।, 2008;)।

अन्य तर्कों में क्षेत्र में विशेषज्ञों और टिप्पणीकारों द्वारा शामिल हैं, जिन्होंने कई सिफारिशें की हैं कि एआई द्वारा संचालित सिस्टम हमेशा पारदर्शी तरीके से और पूर्वाग्रह या पूर्वाग्रह के बिना लागू किया जाना चाहिए।

कंपास केस स्टडी पर विचार करते हुए, एल्गोरिथ्म का कोड और इसे लागू करने की प्रक्रिया जनता के लिए खुली होनी चाहिए। एक पारदर्शी दृष्टिकोण अदालतों, कंपनियों, शोधकर्ताओं, सरकारों और अन्य लोगों को एल्गोरिदम (ओसवाल्ड और ग्रेस, 2016) में सुधार, निगरानी और सुझाव देने की अनुमति देगा।

एक सिफारिश जो वर्तमान में प्रौद्योगिकी उद्योग को दर्शाती है, एआई पर काम करने वाले डेवलपर्स, शोधकर्ताओं, वैज्ञानिकों के बीच नस्लीय और लिंग विविधता की आवश्यकता है। दृष्टिकोण यह है कि एक विविध टीम AI (Seyey, 2013; Noble, 2013; बर्र, 2015; क्रॉफोर्ड, 2016) द्वारा एल्गोरिदम के असंवेदनशील या अंडर-सूचित प्रशिक्षण को संबोधित करने में सक्षम होगी।

एक और सिफारिश यह है कि इंजीनियरों और डोमेन विशेषज्ञों के बीच सहयोग, जो ऐतिहासिक असमानता, सांस्कृतिक और चिंता के सामाजिक क्षेत्रों के बारे में जानकार हैं, भविष्य के एआई विकास के लिए महत्वपूर्ण हैं (स्वीनी, 2013)।

प्रयुक्त चित्र:

चित्रा 1 - एंग्विन, जे (2016)। नमूना-COMPAS-जोखिम मूल्यांकन-COMPAS- "मूल"। [ऑनलाइन] Documentcloud.org। यहां उपलब्ध: https://www.documentcloud.org/documents/2702103-Sample-Risk-Assessment-COMPAS-CORE.html [एक्सेस 16 मार्च 2018]।

चित्र 2-5 - एंग्विन, जे।, लार्सन, जे।, मट्टू, एस। और किरचनर, एल। (2016) मशीन ग्रास। Https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing पर उपलब्ध [पहुँचा: 17 अगस्त 2017]

चित्रा 6 - कैममोराटा, के। (2013)। अव्यवस्थित संघों। [ऑनलाइन] Kristinsrvenglish.blogspot.co.uk यहाँ उपलब्ध है: http://kristinsrvenglish.blogspot.co.uk/2013/10/implicit-associations.html [पहुँचा 16 मार्च 2018]।

चित्रा 7 - बेटर, वी। (2016)। द इंप्लिक्ट एसोसिएशन टेस्ट एंड द कैच -22 ऑफ डेवलपिंग स्ट्राइकिंग टेस्ट। [ऑनलाइन] मध्यम यहाँ उपलब्ध है: https://medium.com/psyc-406-2016/the-implicit-association-test-and-the-catch-22-of-developing-striking-tests-3150a4631d7f (16 मार्च 2018 को पहुँचा]]।

चित्र 8 - ब्लाटमैन, सी। (2017)। आईपीए के साप्ताहिक लिंक - क्रिस ब्लाटमैन [ऑनलाइन] क्रिस ब्लाटमैन। यहाँ उपलब्ध है: https://chrisblattman.com/2017/01/13/ipas-weekly-links-95/ [पहुँचा 16 मार्च 2018]।

संदर्भ:

एंडरसन, एम। एंड एंडरसन, एस.एल. (2007)। ‘मशीन नैतिकता: एक नैतिक बुद्धिमान एजेंट बनाना’, AI पत्रिका, २: (४), पीपी। १५-५।।

एंग्विन, जे।, लार्सन, जे।, मट्टू, एस। और किरचनर, एल। (2016) मशीन बायस। Https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing पर उपलब्ध [पहुँचा: 17 अगस्त 2017]

अजार, बी (2008)। ‘IAT: सनक या शानदार? ', मनोविज्ञान पर निगरानी। 39, पी। 44।

बैरेट, डी। (2014)। अपराधी न्याय में बिग डेटा के उपयोग में जोखिम के प्रति सचेत करने वाले धारक। [ऑनलाइन] डब्ल्यूएसजे। यहां उपलब्ध है: https://www.wsj.com/articles/us-att वकील-general-in-on-risk-of-bias-in-big-data-use-in-criminal-justice-1406916606 (6 फरवरी तक पहुँचा) । 2018]।

बैरोकास, एस। और सेलबस्ट, ए। डी। (2016) ‘बिग डेटा का असमान प्रभाव’, कैलिफोर्निया लॉ रिव्यू, 104, पीपी। 671-732।

बास, डी। और हेट, ई। (2017)। शोधकर्ताओं ने कृत्रिम बुद्धिमत्ता में जेंडर और नस्लीय पूर्वाग्रह का मुकाबला किया। [ऑनलाइन] ब्लूमबर्ग डॉट कॉम। यहाँ उपलब्ध है: https://www.bloomberg.com/news/articles/2017-12-04/researchers-combat-gender-and-jobs-bias-in-artific-intelligence [पहुँचा 7 फरवरी 2018]।

बशीर, एन। वाई।, लॉकवुड, पी।, चैस्टीन, ए। एल।, नाडोलनी, डी। एंड नॉयस, आई (2013), कार्यकर्ताओं का विडंबनापूर्ण प्रभाव: नकारात्मक रूढ़िवादिता सामाजिक परिवर्तन प्रभाव को कम करती है। ईयूआर। जे। सोक। साइकोल।, 43, पीपी 614–626।

बर्र, ए। (2015)। Google गलत तरीके से अश्वेत लोगों को aken गोरिल्ला के रूप में टैग करता है, 'एल्गोरिदम की सीमाएँ दिखा रहा है। न्यूयॉर्क टाइम्स।

बोलुकबासी, टी।, चांग, ​​के। डब्ल्यू।, ज़ो, जे। वाई।, सालिगराम, वी। और कलाई, ए। टी। (2016) is आदमी कंप्यूटर प्रोग्रामर है क्योंकि महिला गृहिणी है? शब्द एम्बेडिंग डीबिसिंग ', तंत्रिका सूचना प्रसंस्करण प्रणाली में अग्रिम, पीपी। 4349-4357

बुओलामिनी, जे एंड गेब्रु, टी। (2018)। Acy जेंडर शेड्स: कमर्शियल जेंडर क्लासिफिकेशन में आंतरिक सटीकता संबंधी विषमताएँ ’, PMLR, 81, पीपी। 77-91 में निष्पक्षता, जवाबदेही और पारदर्शिता पर प्रथम सम्मेलन की कार्यवाही।

कैलिसन, ए।, ब्रायसन, जे। जे। और नारायणन, ए। (2017)-भाषा कॉर्पोरा से स्वचालित रूप से निकले शब्दार्थ में मानव जैसे जीविकाएँ, विज्ञान, 356, पीपी। 183-186 शामिल हैं।

कार्सन, ई। ए। (2015)। ‘2014 में कैदी, वाशिंगटन, डीसी: ब्यूरो ऑफ जस्टिस स्टैटिस्टिक्स। Http://www.bjs.gov/index.cfm?ty=pbdetail&iid=5387 पर उपलब्ध (अभिगमन: 30 नवंबर 2017)

क्रॉफोर्ड, के। (2016)। आर्टिफिशियल इंटेलिजेंस के सफेद आदमी की समस्या। न्यूयॉर्क टाइम्स।

डिवाइन, पी। जी (1989)। ‘रूढ़िवादिता और पूर्वाग्रह: उनका स्वत: और प्रभावकारी मूल्यांकन परीक्षण 1479 नियंत्रित घटक ', जर्नल ऑफ पर्सनैलिटी एंड सोशल साइकोलॉजी, 56, पीपी। 5–18।

फेसलर, एल। (2017)। हमने सिरी और एलेक्सा जैसे बॉट्स का परीक्षण किया, यह देखने के लिए कि यौन उत्पीड़न के लिए कौन खड़ा होगा। [ऑनलाइन] क्वार्ट्ज। यहाँ उपलब्ध है: https://qz.com/911681/we-tested-apples-siri-amazon-echos-alexa-microsofts-cortana-and-googles-google-home-to-see-which-personal-assistant-bots समझ-अप-के-लिए-खुद-के-सामने-यौन-उत्पीड़न / [पहुँचा 7 फरवरी 2018]।

Flores, A.W., Bechtel, K. & Lowenkamp, ​​C.T. (२०१६) itives गलत सकारात्मक, गलत नकारात्मक और गलत विश्लेषण: मशीन पूर्वाग्रह के लिए एक आनन्दक: भविष्य के अपराधियों की भविष्यवाणी करने के लिए देश भर में एक सॉफ्टवेयर का उपयोग किया जाता है। और यह अश्वेतों के खिलाफ पक्षपातपूर्ण है, फेड। परिवीक्षा, 80 (38)।

गरबर, एम। (2016)। क्या अपराध की भविष्यवाणी की जा सकती है? क्या यह होना चाहिए?। [ऑनलाइन] अटलांटिक। यहाँ उपलब्ध है: https://www.theatlantic.com/technology/archive/2016/06/when-algorithms-take-the-stand/489566/ [पहुँचा 7 फरवरी 2018]।

गार्सिया, एम। (२०१६) ist मशीन में जातिवाद: एल्गोरिथम पूर्वाग्रह के अशांत निहितार्थ ’, वर्ल्ड पॉलिसी जर्नल, ३३ (४), पीपी। १११-११।।

ग्रीनवल्ड, ए। जी।, और बनजी, एम। आर। (1995)। ‘निहित सामाजिक अनुभूति: दृष्टिकोण, आत्म-सम्मान और रूढ़िवादिता, मनोवैज्ञानिक समीक्षा, 102, पीपी। 4–27।

ग्रीनवल्ड, ए। जी।, मैकहे, डी। ई। और श्वार्ट्ज, जे। के। एल। (1998)। C निहित अनुभूति में व्यक्तिगत अंतरों को मापना: द इंप्लिक्ट एसोसिएशन टेस्ट ’। जर्नल ऑफ़ पर्सनैलिटी एंड सोशल साइकोलॉजी, 74, पीपी। 1464-1480।

हरकोर्ट, बर्नार्ड ई।, (2010) imin रेस क्रिमिनोलॉजी एंड पब्लिक पॉलिसी के लिए एक प्रॉक्सी के रूप में जोखिम ’, फोर्थकमिंग; यूनिवर्सिटी ऑफ़ शिकागो लॉ एंड इकोनॉमिक्स ओलिन वर्किंग पेपर ;535; यूनिवर्सिटी ऑफ शिकागो पब्लिक लॉ वर्किंग पेपर 3323।

हार्वर्ड लॉ रिव्यू (2017)। राज्य बनाम लूमिस। [ऑनलाइन] Harvardlawreview.org यहाँ उपलब्ध है: https://harvardlawreview.org/2017/03/state-v-loomis/ [पहुँचा 7 फरवरी 2018]।

हिल्टन जे एल एंड वॉन हिप्पल, डब्ल्यू। (1996)। 'स्टीरियोटाइप्स', अन्नू रेव। साइकोल, 47, पीपी। 237–71।

Justice.gov। (2014)। अटॉर्नी जनरल होल्डर: जस्टिस विभाग ने आपराधिक न्याय प्रणाली में नस्लीय पूर्वाग्रह पर अंकुश लगाने के लिए प्रयास के हिस्से के रूप में डेटा एकत्र करने का आदेश दिया। [ऑनलाइन] यहां उपलब्ध है: https://www.justice.gov/opa/pr/att वकील-general-holder-justice-dept-collect-data-stops-arrests-part-effort-curb-jobs-as/६ फरवरी 2018]।

किरचनर, एल। (2016)। विस्कॉन्सिन कोर्ट: चेतावनी लेबल भविष्य की अपराध के जोखिम की रेटिंग के प्रतिशोधकों के लिए आवश्यक हैं - प्रोपोलिसा। [ऑनलाइन] ProPublica। यहाँ उपलब्ध है: https://www.propublica.org/article/wiscinos-court-warning-labels-needed-scores-rating-risk-future-crime [पहुँचा 16 मार्च 2018]।

केहल, डी।, गुओ, पी। और केसलर, एस (2017) आपराधिक न्याय प्रणाली में एल्गोरिदम: सजा में जोखिम आकलन के उपयोग का आकलन करना। उत्तरदायी समुदाय की पहल, इंटरनेट और सोसायटी, हार्वर्ड के लिए बर्कमैन क्लेन सेंटर
कानून स्कूल।

लिप्टक, ए। (2017)। एक सॉफ्टवेयर प्रोग्राम के गुप्त एल्गोरिदम द्वारा जेल में भेजा गया। [ऑनलाइन] Nytimes.com यहाँ उपलब्ध है: https://www.nytimes.com/2017/05/01/us/politics/sent-to-prison-by-a-software-programs-secret-algorithms.html [Accessed 6 Feb. 2018]।

किर्कपैट्रिक, के। (2016) algorith बैटलिंग एलगोरिदमिक बायस ’, एसीएम के संचार, 59 (10), पीपी। 16–17।

कोबायाशी, एम एंड तकेदा, के। (2000)। 'वेब पर सूचना पुनर्प्राप्ति', ACM कम्प्यूटिंग सर्वेक्षण। एसीएम प्रेस। 32 (2), पीपी। 144–173।

क्रैंज़बर्ग, एम। (1986)। ‘प्रौद्योगिकी और इतिहास:“ क्रान्जबर्ग के नियम, प्रौद्योगिकी और संस्कृति। 27 (3), पीपी। 544-560।

मैकफर्लेन, टी। (2013)। एनरॉन कॉर्पस से शब्दार्थ निकालना।

नलिसनिक, ई।, मित्रा, बी।, क्रसवेल, एन। और कारुआना, आर। (2016)

नोबल, एस। यू। (2013)। ‘Google खोज: काली महिलाओं और लड़कियों को अदृश्य प्रदान करने के साधन के रूप में हाइपर-विज़िबिलिटी ', इनविजिबल कल्चर, 19।

ओसवाल्ड, एम। एंड ग्रेस, जे। (2016)। नॉर्मन स्टेनली फ्लेचर और मालिकाना एल्गोरिदम जोखिम मूल्यांकन का मामला। पुलिसिंग इनसाइट।

पेड्रेसची, डी।, रग्गीरी, एस।, और तुरिनी, एफ। (2008)-भेदभाव-जागरूक डेटा खनन ’, केडीडी 2008 की कार्यवाही।

पेनिंगटन, जे।, सोचर, आर।, और मैनिंग, सी। डी। (2014)। ‘दस्ताने: शब्द प्रतिनिधित्व के लिए वैश्विक वैक्टर ', EMNLP, 14, पीपी। 1532-1543।

रॉदरमुंड, के। और वेन्तुरा, डी। (2004)। Test इंप्लिक्ट एसोशिएशन टेस्ट (IAT) में प्रक्रियाओं को समझना: संघों से नमकीन बनाना ', प्रायोगिक मनोविज्ञान जर्नल: 133, पीपी 139-165।

बोरे, एम। (2015) and ओपन सोर्स और प्रोप्रायटरी सॉफ्टवेयर के बीच प्रतिस्पर्धा: जीवन रक्षा के लिए रणनीतियाँ ’, जर्नल ऑफ़ मैनेजमेंट इन्फॉर्मेशन सिस्टम, 32 (3), पीपी। 268–295।

सुप्रीम कोर्ट ऑफ विस्कॉन्सिन (2016)। विस्कॉन्सिन राज्य, वादी-प्रतिवादी, वी। एरिक एल लूमिस, प्रतिवादी-अपीलकर्ता .. [ऑनलाइन] Wicourts.gov। यहाँ उपलब्ध है: https://www.wicourts.gov/sc/opinion/DisplayDocument.pdf?content=pdf&seqNo=171690 [एक्सेस 16 मार्च 2018]।

स्वीनी, एल। (2013) Online ऑनलाइन विज्ञापन वितरण में भेदभाव ’, एसीएम कतार, 11 (3), पी। 10।

टॉसिक, एम।, हैनसेन, सीएल, गूसेन, जी। और रोटारू, एम। (2015) 'शब्द एम्बेडिंग बनाम सीक्वेंस लेबलिंग के लिए शब्द प्रकार: सीवी पार्सिंग का जिज्ञासु मामला', एनएएसीएल-एचएलटी की कार्यवाही, पीपी। 123-128 ।

वैगनर, पी। और वाल्श, ए। (2016)। अव्यवस्था की स्थिति: वैश्विक संदर्भ। जेल नीति पहल। यहाँ उपलब्ध है: http://www.prisonpolicy.org/global/2016.html [1 जनवरी 2018 तक पहुँचा]

महिला इंजीनियरिंग सोसाइटी (2018) उपयोगी सांख्यिकी | महिला इंजीनियरिंग सोसाइटी। [ऑनलाइन] Wes.org.uk. यहाँ उपलब्ध है: http://www.wes.org.uk/content/wesstatistics [पहुँचा 10 फरवरी 2018]।

झू, केएक्स। & झोउ, जेड जेड (2011)। ‘सॉफ्टवेयर प्रतियोगिता में लॉक-इन रणनीति: ओपन-सोर्स सॉफ्टवेयर बनाम प्रोप्रायटरी सॉफ्टवेयर’, सूचना प्रणाली अनुसंधान।