الگوریتم ها به ما می آموزند که چرا برابری سخت است

توسط Irineo Cabreros -28 مارس 2022

لس آنجلس تایمز – مجسمه های چوبی انسان با رنگ های مختلف بر روی سطح خاکستری تیره، عکس توسط designer491/Getty Images

اواخر سال گذشته، وزارت دادگستری به فهرست رو به رشد آژانس‌ها پیوست تا کشف کند که الگوریتم‌ها به نیت خوب توجه نمی‌کنند. الگوریتمی به نام PATTERN ده‌ها هزار زندانی فدرال را در دسته‌های خطر قرار داد که می‌تواند آنها را واجد شرایط آزادی زودهنگام کند. بقیه متأسفانه قابل پیش‌بینی هستند: مانند بسیاری دیگر از دروازه‌بان‌های ( اصطلاح خاص) رایانه‌ای که تصمیم‌های تغییردهنده زندگی می‌گیرند – ارائه تصمیمات، غربالگری از سرگیری، حتی نیازهای مراقبت‌های بهداشتی – به نظر می‌رسد الگوی PATTERN در این مورد برای زندانیان سیاه‌پوست، آسیایی و لاتین تبار ناعادلانه است.

یک توضیح رایج برای این اشتباهات این است که انسان ها، نه معادلات، بلکه ریشه مشکل هستند. الگوریتم ها از داده هایی که به آنها داده می شود تقلید می کنند. اگر این داده ها منعکس کننده تبعیض جنسی، نژادپرستی و تمایلات ظالمانه بشریت باشد، این تعصبات در پیش بینی های الگوریتم منعکس می شوند.

اما مقدار بیشتری از آن وجود دارد. حتی اگر تمام کاستی‌های بشریت از بین می‌رفت، عدالت همچنان هدفی دور برای الگوریتم‌ها خواهد بود، به دلایلی که بیشتر به غیرممکن‌های ریاضی مربوط می‌شود تا ایدئولوژی‌های عقب مانده. در سال‌های اخیر، زمینه رو به رشد تحقیق در برابری الگوریتمی، محدودیت‌های اساسی و غیرقابل عبور را برای برابری آشکار کرده است. این تحقیق پیامدهای عمیقی برای هر تصمیم گیرنده، انسان یا ماشین دارد.

دو پزشک را تصور کنید. دکتر A فارغ التحصیل یک دانشکده پزشکی معتبر است، تمام آخرین تحقیقات را انجام می دهد و رویکرد خود را با دقت متناسب با نیازهای هر بیمار تنظیم می کند. دکتر B یک نگاه گذرا به هر بیمار می‌اندازد، می‌گوید “حالت خوب است” و یک صورت‌حساب برای آنها پست می‌کند.

اگر مجبور بودید یک پزشک را انتخاب کنید، تصمیم ممکن است واضح به نظر برسد. اما دکتر B یک ویژگی رستگاری دارد. به یک معنا، او منصف تر است: از سوی او با همه یکسان رفتار می شود.

این مبادله فقط فرضی نیست. در مقاله تأثیرگذار سال 2017 با عنوان «تصمیم‌گیری الگوریتمی و هزینه انصاف»، محققان استدلال می‌کنند که الگوریتم‌ها می‌توانند به دقت بالاتری دست یابند در صورتی که نیازی به عملکرد عادلانه نداشته باشند. درک قلب پرونده آنها ساده است. به طور کلی، وقتی محدودیت ها اضافه می شوند، همه چیز دشوارتر است. بهترین کیک دنیا احتمالا از بهترین کیک گیاهی دنیا خوشمزه تر است. دقیق ترین الگوریتم احتمالا دقیق تر از دقیق ترین الگوریتم عادلانه است.

بنابراین در طراحی یک الگوریتم باید انتخاب کرد. ممکن است به اندازه انتخاب بین دکتر A و دکتر B واضح نباشد، اما همان طعم و مزه است. آیا ما حاضریم کیفیت را فدای برابری کنیم؟ آیا ما سیستمی می خواهیم که منصفانه تر باشد یا عملکرد بالاتر؟ درک اینکه چگونه می توان این مرز بین عملکرد و انصاف را به بهترین نحو رعایت کرد، یک حوزه فعال تحقیقات آکادمیک (PDF) است.

این تنش در تصمیمات انسانی نیز ظاهر می شود. دانشگاه‌ها ممکن است بتوانند کلاس‌هایی را با مدارک تحصیلی بالاتر را ایجاد کنند حتی اگر به بدنه‌های مختلف دانشجویی نیز اهمیت نمی‌دهند. ارزش سهام بر عملکرد اولویت دارد. از سوی دیگر، ادارات پلیس اغلب گشت‌زنی‌ها را در مناطقی با جرم و جنایت بالا متمرکز می‌کنند که به بهای نظارت بیش از حد جوامع رنگین پوست صورت می‌گیرد. عملکرد بر حقوق ذینفعان اولویت دارد.

بسیاری از الگوریتم‌ها اساسا جعبه‌های سیاهی هستند که داده‌ها را دریافت می‌کنند و طبق قوانین پیچیده و مرموز پیش‌بینی می‌کنند.

برای سنجش اینکه آیا یک الگوریتم مغرضانه است، دانشمندان نمی توانند روح آن را بررسی کنند و مقاصد آن را درک کنند. برخی از الگوریتم‌ها شفاف‌تر از بقیه هستند، اما بسیاری از الگوریتم‌ها (به ویژه الگوریتم‌های یادگیری ماشینی) اساساً جعبه‌های سیاهی هستند که داده‌ها را دریافت می‌کنند و طبق قوانین مرموز و پیچیده پیش‌بینی می‌کنند.

تصور کنید یک دانشمند داده تلاش می کند بفهمد آیا یک الگوریتم جدید برای غربالگری سرطان علیه بیماران سیاه پوست مغرضانه است یا خیر. فناوری جدید یک پیش‌بینی باینری ارائه می‌کند: مثبت یا منفی برای سرطان. با داشتن سه اطلاعات در مورد هر بیمار – نژاد آنها، پیش بینی مثبت یا منفی الگوریتم، و اینکه آیا بیمار واقعاً سرطان دارد – چگونه دانشمند داده می تواند تشخیص دهد که آیا الگوریتم رفتار عادلانه ای دارد؟

یک راه معقول برای بررسی این سوال این است که ببینیم آیا میزان خطا برای بیماران سیاه پوست در مقابل بیماران سفیدپوست متفاوت است یا خیر. خطاها در هر دو جهت پرهزینه هستند. برای مثال، ناتوانی در تشخیص سرطان (دریافت جواب منفی کاذب) در میان بیماران سیاه پوست با نرخی بالاتر از سفیدپوستان ممکن است به طور غیرقابل قبولی تبعیض آمیز تلقی شود. نرخ متفاوتی از مثبت کاذب – که بیماران سالم را از سوراخ خرگوش بیهوده و پرهزینه پایین می برد – نیز مشکل ساز است. اگر الگوریتمی دارای نرخ برابری مثبت و منفی کاذب برای بیماران سیاه پوست باشد، گفته می شود که به شانس مساوی رسیده است. این یکی از اشکال انصاف است.

روش دیگر برای اندازه گیری انصاف این است که بررسی کنیم آیا پیش بینی های الگوریتم برای بیماران سیاه و سفید معنی یکسانی دارند یا خیر. به عنوان مثال، اگر یک پیش‌بینی منفی با 90 درصد احتمال اینکه یک بیمار سفید پوست عاری از سرطان باشد، اما فقط 50 درصد احتمال دارد که یک بیمار سیاه پوست باشد، مطابقت دارد، در این صورت ممکن است الگوریتم به طور منطقی تبعیض آمیز در نظر گرفته شود. در مقابل، الگوریتمی که پیش‌بینی‌های آن صرف‌نظر از نژاد، پیامدهای سرطانی یکسانی دارد، ممکن است منصفانه در نظر گرفته شود. منصفانه بودن این طعم را کالیبراسیون می گویند.

تصمیم گیری در مورد اولویت بندی ارزش سهام یا عملکرد ساده نیست. اما آنچه که مطالعه الگوریتم ها آشکار می کند این است که این یک تصمیم اجتناب ناپذیر با مبادلات واقعی است. و این مبادلات اغلب باعث ایجاد اختلاف می شود.

اما «برابری» و «انصاف» در واقع به چه معنا هستند؟ الگوریتم ها به دقت نیاز دارند، اما زبان می تواند مبهم باشد و مانع دیگری ایجاد کند. قبل از اینکه بتوانید منصف باشید، باید تعریف کنید که عدالت چیست. اگرچه راه‌های زیادی برای تعریف انصاف وجود دارد، اما آنها در یک رقابت ریاضی سفت و سخت که در آن همه نمی‌توانند برنده شوند، در مقابل یکدیگر قرار می‌گیرند.

مشکل اینجاست: محققان (PDF) نشان داده اند که هیچ الگوریتمی نمی تواند به هر دو نوع عدالت دست یابد. تحقق یک هدف عادلانه مستلزم نقض دیگری است. به همان اندازه ناامید کننده است که هر دو طرف الاکلنگ را به زمین بچسبانیم.

این معیارهای کیفیت مختلف به طور پیچیده ای در هم تنیده شده اند. به عنوان مثال، الگوریتم را می توان بهینه سازی کرد تا نوار تشخیص سرطان را بالا ببرد. هشدارهای کاذب کمتری وجود خواهد داشت، اما بیمارانی که نتیجه منفی دریافت می کنند دیگر نمی توانند به این راحتی استراحت کنند. این اثرات رقابتی را با این واقعیت ترکیب کنید که استعداد ابتلا به سرطان های خاص ممکن است در واقع بین گروه های نژادی متفاوت باشد و یک معمای حل نشدنی پدیدار شود.

این نوع یافته‌ها که قضایای غیرممکن نامیده می‌شوند، در تحقیقات برابری الگوریتمی فراوان هستند. اگرچه ده‌ها راه معقول برای تعریف برابری (PDF) وجود دارد – شانس برابر و کالیبراسیون فقط دو مورد است – بعید است که تعداد انگشت شماری از آنها به طور همزمان برآورده شوند. همه الگوریتم‌ها طبق برخی از تعریف‌های انصاف ناعادلانه هستند. بنابراین شکارشدگان تعصب تضمین شده اند. بجویید و خواهید یافت.

این غیرممکن‌ها فقط برای الگوریتم‌ها صادق نیستند. ناسازگاری تعاریف انصاف وجود دارد، چه پیش‌بینی‌ها توسط یک الگوریتم پیشرفته غربالگری سرطان انجام شود یا یک متخصص پوست که از چشم انسان برای بررسی برچسب‌های پوستی استفاده می‌کند. اما ساختار ساده الگوریتم‌ها – داده‌ها در داخل، تصمیم‌گیری خارج – به مطالعه عدالت کمک کرده است. درخواست بیش از حد از الگوریتم ها آسان است، اما این نباید اصلاً ما را از درخواست چیزی باز دارد. ما باید در مورد نوع عدالتی که باید دنبال کنیم، آگاه و دقیق باشیم.

حتی اگر دستیابی به عدالت اساساً دشوار باشد، جستجوی آن بیهوده نیست.

حتی اگر دستیابی به عدالت اساساً دشوار باشد، جستجوی آن بیهوده نیست. اجبار یک الگوریتم بهینه شده برای رفتار عادلانه ممکن است آن را از اوج عملکرد خارج کند – اما این ممکن است یک مبادله ترجیحی باشد. و برای سیستم هایی که دور از بهینه و دور از عادلانه هستند، ممکن است جایگزینی وجود داشته باشد که از هر دو جنبه بهتر باشد.

ما عادت داریم نیروهای اجتماعی را در نظر بگیریم که انصاف را تضعیف می کنند: تاریخ خشونت آمیز، سوگیری ضمنی، و ظلم سیستماتیک. اگر ما این عوامل انسانی را که در نابرابری نقش دارند را از بین ببریم، باز هم در نهایت به سنگ‌های غیرقابل نفوذ برخورد می‌کردیم. اینها برخی از محدودیت‌های اساسی است که امروزه الگوریتم‌ها با آن مخالفت می‌کنند. در جستجوی بهبود برابری، الگوریتم ها به ما می آموزند که نمی توانیم همه آن را داشته باشیم.