Algoritmaların yaşamlarımızdaki gücü gün geçtikçe artıyor ve hiç de düşündüğümüz gibi tarafsız değiller
“Büyük veri” [big data] ve “makine öğrenmesi” [machine learning] gibi terimler yaygın hale geldi ve sıklıkla çetrefilli ekonomik ve toplumsal sorunlar için çözümler olarak sunuluyorlar. Bunların olumsuz etkileriyle halkın yaşamında matematiksel algoritmaların etkilerine çok daha az önem veriliyor. Fakat bir matematikçi ve eskiden Wall Street’te kantitatif analist [quantitative analyst, quant] olan Cathy O’Neil bu konuya önem vermemiz gerektiğini düşünüyor.
Yeni çıkan “Matematiksel Yıkım Silahları: Büyük Veri Nasıl Eşitsizliği Artırıyor ve Demokrasiyi Tehdit Ediyor” kitabında şirketler ve kurumlar tarafından kullanılan popüler algoritmaların nasıl da yoksul ve çalışan insanlara zarar vererek seçkinlere yarar sağladığını anlatıyor. Jacobin, O’Neil’le bu yıkıcı algoritmaları ve onlara karşı ne yapabileceğimizi konuştu.
Matematik hakkında popüler bir kitap yazmaya seni iten neydi?
Tuhaf, Matematiksel Yıkım Silahlarını (MYS) matematik hakkında bir kitap olarak düşünmüyorum. Daha çok toplumsal denetim aygıtları ve bu aygıtların matematiksel olarak nasıl gizlendiği hakkında bir kitap.
Kitabı yazdım çünkü yıkıcı algoritmalarla hatırı sayılır derecede zarar verildiğini düşünüyorum ve bir matematikçi olarak bu zararları anlatacak özgün bir konumdayım. 2008 finansal krizi sırasında koruma fonu [hedge fund] kantitatif analisti olarak ve büyük veri devriminin zirvesinde veri bilimcisi olarak çalıştım. Bu yüzden perde arkasındaydım ve bu tür şeylerin nasıl çalıştığını biliyorum.
Aynı zamanda Occupy hareketindeyim. Occupy’a 2011 Ekim’inde, o zamandan beri Columbia Üniversitesi’nde haftalık toplantılar yapan alternatif bankacılık grubunu kurmak ve yürütmek için katıldım. Haftalık tartışmalarımız, dünyayı incelemeyi, özellikle de para ve iktidar arasındaki ilişkiyi öğrenmemi sağlayan bir bakış açısı sağladı.
O yüzden şimdi otomatik karar alma sistemiyle karşılaştığımda sürekli olarak bu sistemden kimin çıkar sağladığını ve kimin zarar gördüğünü merak ediyorum. Ve algoritmalara dayanan sistemleri değerlendirirken vardığım sonuç yoksul insanların, siyah ve esmer tenli insanların ve akıl hastalarının bu algoritmik kara kutu yapılar tarafından engellendiği şeklinde.
Makine öğrenmesi, matematik olarak karmaşık olduğu ve algoritmaların bir gündemi olmadığı için bize güvenilir olarak sunuluyor. Fakat ne verilerin kendisi, ne de modelleri kuran ve amaç fonksiyonlarını seçenlerin tercihleri bizim tarihsel uygulamalarımızın bağlamından ayrı olarak değerlendirilebilir.
Başka bir deyişle, algoritmaları kullanarak ayrımcılığı geride bırakmış olmuyoruz, aksine tarihsel-kültürel uygulama ve desenlerimizi temize çıkarmış ve gizlemiş oluyoruz. Bu süreçte bu desenleri güçlendirme ve hatta artırma riskine giriyoruz.
Bu gerçeği insanlarla paylaşmak istedim, bu nedenle 2012 yazında veri bilimleri işimden ayrıldım ve kendimi yıkıcı algoritmalar ve toplumumuzu nasıl şekillendirdikleri hakkında bir kitap yazmaya adadım.
“Matematiksel yıkım silahları” ile ne kastettiğini kısaca açıklayabilir misin? Bu MYS’ler daha iyicil ve hatta yararlı matematiksel modellerden nasıl ayrışıyorlar?
Kitapta yaptığım başlıca şeylerden biri algoritmalara bir sınıflandırma uygulayarak, en tedirgin edici algoritmalara dikkat etmemizi sağlayacak tanımı oluşturmaktı.
Gözetim ve veri toplamanın olası zararlarına ilişkin tartışmaların çoğu odaksız ve sıklıkla bu tür bir tartışmanın içindeyseniz sonuçta ileride bir gün, belki, kötü şeyler olabilir şeklindeki muğlak görüşten fazlasına ulaşamıyorsunuz. Ancak yıkıcı algoritmalar, matematiksel yıkım silahları, halihazırda mevcutlar ve bize zarar veriyorlar.
“Matematiksel yıkım silahları”nı, üç niteliğe sahip algoritmalar olarak tanımlıyorum: yaygınlar, gizemliler ve yıkıcılar. Yaygınlık, çünkü yalnızca birçok insanı etkileyen ve bu insanlar açısından önemli sonuçlara sahip olan algoritmaları dikkate alıyorum. Bu yüzden eğer bir algoritma birisinin işe girmesine veya daha uzun süre hapis yatmasına veya kredi almasına veya oy verip vermemesine karar veriyorsa, o zaman çok önemli bir algoritmadır.
MYS’leri gizemli olarak tanımlıyorum çünkü beni kaygılandıran algoritmalar gizli. Özel şirketlerin ve kurumların sahip olduğu gizli formüllerden üretiliyorlar ve değerli “gizli tat” olarak korunuyorlar. Bunun anlamı, bunların puanlandırma sistemleri tarafından hedeflenen kişiler puanlarının nasıl hesaplandığının farkında değiller ve sıklıkla aslında kendileri için bir puan üretilip üretilmediğini bile bilmiyorlar.
Bu gizlilikle birlikte puanlandırma sistemini kullanan kuruluş açısından bir sorumluluk eksikliği, ve elbette temyiz sürecinin eksikliği birlikte ortaya çıkıyor. Ne de olsa, hesaplandığını bile bilmediğiniz bir puana itiraz edebilir misiniz? Ve altında yatan formüle erişiminiz yoksa puanın yanlış olduğunu nasıl öne sürebilirsiniz?
Son olarak bu algoritmalar oldukça yıkıcı. Kullandıkları puanlama sistemleri insanların yaşamlarını mahvediyor. Üstelik, sıklıkla iyi niyetli olan asıl amaçlarını baltalayan daha geniş geribildirim döngülerine yol açıyorlar. Bu, yine de muazzam bir güven ve güç verilmiş olan kötü bir puanlama sisteminin ayırıcı özelliği: kendi gerçekliğini yaratıyor ve gerçekliği bunun etrafında çarpıtıyor.
Bize bazı MYS örnekleri verebilir misin?
Öğretmen katma değer modeli finans dışında karşılaştığım ilk MYS. Öğrencilerin puanlarını kullanarak öğretmenlerin yeteneğini değerlendiren şeffaf olmayan bir puanlandırma sistemi. Katma değer modeli istatistiksel olarak güvenilmezdir ve öğretmenlere kendilerini geliştirmelerine yönelik oldukça az açıklama veya öneri sunar.
Buna rağmen, riskli kararlarda kullanılıyor. Washington DC bölgesinde düşük puandan dolayı işten atılan Sarah Wysocki adında bir öğretmenle mülakat yaptım. İşten atılmasının önceki öğretmenin hilesinden kaynaklandığına inanıyordu.
Öğretmen katma değerinin bazı çeşitleri, kırsal okul bölgelerine yönelik bir eğilimle, bütün ülke çapında kullanılıyor. Ve her ne kadar sözde hedefi, onları işten çıkarma niyetiyle kötü öğretmenleri tespit etmek olsa da, tam karşıt bir etkiye neden oldu: çok iyi bazı öğretmenlerin haksız yere işten atılmasına, başkalarının erken emekli olmasına veya bu gibi keyfi ve cezalandırıcı sistemin olmadığı bölgelerde iş bulmalarına neden oldu. Artan bir şekilde en iyi öğretmenler en yoksul mahallelerden ayrılıyor, en kötüleri değil. Bir başka deyişle kapsamlı geribildirim döngüsü, asıl amaca zarar veriyor.
Bir başka önemli MYS örneği “öngörücü polislik” algoritmaları biçiminde ceza adaletinde mevcut. Bunlar eski suçların desenlerine bakarak gelecekteki suçların nerede işleneceğini öngörmeye çalışan ve bu bölgelere suçu önleme amacıyla polis gönderen algoritmalar.
Bu kavramla ilgili temel sorun halihazırda eşitsiz ve ırkçı polislik uygulamalarını pekiştirmesidir. Yine, kötü huylu bir geribildirim döngüsü söz konusu. Algoritmalar kendilerine verilen veriyle eğitilirler, bu örnekte tarihsel polis-sivil etkileşimleriyle eğitiliyorlar.
Eğer mükemmel bir polislik sistemimiz olsaydı, bu gerçekten harika olurdu ve belki de onu otomatikleştirmek isterdik. Ancak mükemmel bir sistemimiz yok, son zamanlarda gördüğümüz Ferguson raporu, Baltimore raporu ve diğer raporların gösterdiği gibi. “Kırık camlar”[i] polislik sistemine sahibiz, dolayısıyla bu algoritmaları “eğiten” veriler de bu sistemi yansıtıyor.
Başka bir şekilde söyleyecek olursak, eğer polisler finansal krizden sonra Wall Street’e, bu felaketin yöneticilerini tutuklamak üzere gönderilseydi, bizim polis verimiz oldukça farklı olacaktı. Böylece öngörücü polislik algoritmamız da polisi Wall Street’e suç faaliyetini araştırmak ve bulmak üzere göndermeye devam edecekti. Halbuki böyle olmadı.
Algoritmaların nasıl da (açıkça tasarlanmış veya dolaylı olarak) gizli yanlılıklara sahip olduğunu tartışmak üzere kitapta hatırı sayılır bir zaman harcıyorsun. Bu yanlılıklar neden çok yaygın? Ve bu yanlılıklarla çağdaş kapitalizmdeki eşitsizlikler arasındaki ilişki nedir?
Yanlılıkların yaygınca işaretlenmemesinin bir nedeninin verilerin toplanma şekliyle, algoritmaları oluşturan insanlar arasındaki muazzam kopukluk olduğunu düşünüyorum. Veri bilimcileri iyi eğitimli teknologlar, sıklıkla örneğin durdurulma ve aranma deneyimi olmayan kişiler. Matematik, bilgisayar bilimleri ve istatistik gibi alanlarda teknisyen olmak ve çalışmalarının sonuçlarıyla ilgilenmemek üzere eğitildiler.
Ayrıca bilimsel nesnellik ve adalet iddiasında bulunan pazarlama laf kalabalığından çıkar sağlayan şirket ve kuruluşlarda çalışıyorlar. Bu yüzden yaptıklarının gerçekten de tarafsız olduğundan emin olmaları gerektiğine ilişkin oldukça az bir baskı var. Aksine, çoğu yeni genç yenilikçi şirkette kârlı olanın dünya için de iyi olması gerektiği gibi üstü kapalı bir varsayım da var. Dolayısıyla her ne kadar MYS’yle eşitsizlik artsa da, bu MYS’nin en baştan mevcudiyetinin nedenlerinden de biri.
Bütün yaşamı vardiya planlama yazılımıyla denetlenen bir kişiyi düşünün. Yazılım ona çalışma saatlerinin ne olduğunu söyler, ancak tam da son anda. Bu değişken ve öngörülemeyen iş yaşamı onu çocuk bakımı veya başka bir işe gitme veya okula gitmeyi planlayabilmekten alıkoyar. Bu MYS’nin varoluşunun nedeni şirkete para kazandırmasıdır, ancak dahası denetimindeki çalışanların yaşam kalitesini tamamen görmezden gelmek üzere ayarlanmıştır, çünkü bu çalışanların hiç bir gücü yoktur.
Bu, bir çeşit yanlılıktır: algoritma, kârı çalışanların mutluluğunun üstünde tutmaktadır. Ve her ne kadar güçlü bir sendika düzenli saatleri, tam zamanlı iş yükü ve haftalık çalışma saatlerinin çok önceden planlanmasını talep etse de, bu ülkede şu an sahip olmadığımız bir durum bu.
Kitapta yaptığın önemli vurgulardan biri bu modellerin çoğunun kişiselleştirme yapısının, aynı algoritmanın toplumun farklı kesimlerinde bambaşka etkileri olması anlamına geldiği şeklinde. Bu yüzden örneğin, yırtıcı maaş kredisi ve vurguncu, kâr amaçlı kolejlerle yoksulları hedefleyen aynı reklam algoritması ayrıca “muktedir sınıfları kendi pazarlama depolarına yerleştiriyor. Onları Aruba’da tatillere uçurmaya ve Wharton’daki bekleme listelerine çağırıyor.”
Sınıfın büyük veri çağında kendisini nasıl dışa vurduğu hakkında bir şeyler söyleyebilir misin?
Benim için bardağı taşıran damla, işimden ayrılarak bu kitabı yazmaya sevk eden nokta bir risk sermayedarının kendi ideal kişiye özel reklamcılık geleceğini tarif etmesiyle oldu: Kendisinin sadece jet ski ve Aruba seyahati önerileri aldığı ve hiç bir şekilde “Phoenix’te bir başka Üniversite” reklamı görmediği bir dünya, çünkü bu reklamlar kendisi gibi olanlar için değil. Bu, kapitalizmin en kârlı teknolojilerinin insanları kategorilere bölme ve ayrıştırma yeteneğinde olduğunu fark ettiğim zamandı. Böylece zenginlere fırsatlar verilirken, yoksullar yağmalanabilecekti.
Kişiye özel reklamcılık bir müzayede sistemidir. Böylece daha fazla ödemek isteyen kişi Google’da veya Facebook’ta, veya herhangi bir yerde önünüze bir reklam yerleştirme fırsatını kazanmış olur. Bunun anlamı, benim satın almak istediğim ürünü, muhtemelen pahalı yün, satan şirketlerin reklamını bana yapabileceğidir. Çünkü cebimde fazladan bir param var ve pırıl pırıl mücevher tonunda alpaka yününe karşı oldukça savunmasızım.
Ancak bu aynı zamanda çocuklarının yaşamını sürdürmek için yaşam mücadelesi veren yoksul ve kötü bir eğitim almış olan bekar annenin de çok değerli ve bütün sorunlarını çözmeyi vaat eden yırtıcı maaş kredi şirketi veya kâr amacı güden bir koleje karşı zayıf olduğu anlamına da geliyor. Kişiye özel reklamcılık, yağmacı sanayilerin oldukça verimli bir şekilde hedeflerini bulmalarına olanak sağlar.
Matematiksel modellerin politik gündemleri gizlemek ve karartmak için kullanıldığını düşünüyor musun? Öyleyse, bu ne kadar yaygın ve MYS’yi benimseme dürtüsünün ne kadarı politik sorunları teknik ve tarafsız görünen sorunlara dönüştürmesinden kaynaklı?
Kitabı yazdığımdan beri bir adım geri giderek araştırdığım bütün örnekleri ele aldım ve şu desenle karşılaştım: MYS hiç kimsenin almak istemediği bir sorumluluk söz konusu olduğunda ortaya çıkıyor.
Kimi zaman bu sorumluluk gerçek bir sorundan ortaya çıkıyor, örneğin sorunlu ve ırkçı adalet sistemi. Diğer zamanlarda yapay veya kötü anlaşılmış bir sorun oluyor, politik bir panik yaratan fakat istatistiği yanlış yorumlandığı anlaşılan Tehlike Altındaki Bir Ulus [A Nation At Risk] özgün eğitim raporunda gördüğümüz gibi. Yine de, algılanan sorun öğretmenlere karşı onlarca yıldır sürdürülen bir savaşın yararlı bir mazereti olarak iş gördü.
Eğitim, adalet veya işe alma gibi zorlu, karmaşık toplumsal bir husus ortaya çıktığında, insanlar onu algoritmik bir kara kutuyla çözmek istiyorlar. Ve daha sonra bu kara kutunun gerçekten nasıl çalıştığından kendilerini uzak tutmak istiyorlar. Ve hatta kimi zaman, geçtiğimiz günlerde gördüğümüz Facebook’un çok konuşulan haber algoritmasının etrafındaki tartışmada gördüğümüz gibi, tercihleri bu kara kutunun yaptığını bile kabul etmiyorlar.
İnsan yargısını ve ahlakını algoritmalarla değiştirmiyoruz. MYS basitçe onları gizlemek için kullanılıyor. Model havarilerinin tarihsel uygulamaları temize çıkarmaya çaba harcaması gibi, modelleri “ahlaki kararların ötesinde” olarak şekillendirmeye çalışıyorlar.
Elbette, bu, sadece belirli bir algoritmada gömülü olan değerlerin varsayılan olacağı anlamına gelecektir, yani başarıyı tanımlayan amaç fonksiyonunda ve hataları cezalandıran maliyet fonksiyonunda tanımlanmış olan olacaktır. Ticari örneklerde amaç neredeyse her zaman kârı maksimize etmektir, dolayısıyla çıkarılan değer genel olarak “algoritmayı kullanan şirketin kâr etmesini sağlayan dünya için iyidir” şeklindedir.
MYS’lere karşı nasıl mücadele edebiliriz? Neoliberalizmin tahakkümlerine temelden meydan okumadan MYS’leri ortadan kaldırmak mümkün olacak mıdır? Toplumdaki iktidarda yoğun haksızlıklar olduğu sürece, matematiğin zenginler tarafından yoksullara karşı bir silah olarak kullanılması kaçınılmaz mıdır?
Biraz umudum var, yoksa bu kitabı yazmakla uğraşmazdım. Aslında çoğu insanın kendisini tarafsız olarak değerlendirdiğini düşünüyorum. Ve bu nedenle algoritmalar için belirli bir etki düzeyine ulaştıklarında, hedefleri ve kamu açısından ne kadar şeffaf ve sorumlu olmaları gerektiğine ilişkin kurallarımızın olduğu bir yönerge geliştireceğimizi umuyorum. Bunun bir gecede olacağını düşünmüyorum ve bunun kolayca şirketlere kâr yerine adaleti koymaları yönünde itiraz etmemizle gerçekleşeceğini de düşünmüyorum.
MYS’ye meydan okumak algoritmik Tanrılara eğilmeyi reddeden, bir araya gelen, zararlarına ilişkin kanıtlar toplayan ve yasa yapıcılardan daha iyi yasalar talep eden insanların oluşturduğu bir hareket gerektiriyor. Halihazırda 1970’lerin ayrımcılık karşıtı yasalarında esinlenebileceğimiz bazı örnekler söz konusu, Avrupa’daki mahremiyet yasaları hakeza. Değişimin olabileceğini düşünüyorum ve bu konuda yardımcı olmayı umuyorum.
Bununla beraber, evet, algoritmalar her zaman silah olarak kullanılacaktır. Özellikle de şirketlerin her bir kişi ve herkes hakkında gitgide daha fazla bilgi toplayıp sattığı ve sürekli gelişen teknolojilerini çok küçük ölçülerde insanları katmanlara ayırmak için kullandığı sürece. Bu bağlamda şirketlerin farklı insan gruplarına uygun taktikler kullanarak kâr elde etmeleri için her daim fırsatlar söz konusu olacaktır.
Büyük veri ve matematik toplumda özgürleştirici bir rol oynayabilir mi? Nasıl?
Kötü algoritmaların gücünün farkında olan gittikçe büyüyen bir veri bilimcileri grubu var. “Kara kutunun içerisindekini görmemizi” sağlayacak araçları geliştirmeye başlıyoruz. Tam da bunu yapacak bir şirket kurmaya çalışıyorum ve bir gün düzenleyicilere verebileceğim yöntemler ve teknik araçlar geliştirmeyi planlıyorum.
Bu, algoritmaları muktedirlere uygulamanın, muktedirlerin algoritmaları güçsüz olanlara dayatması kadar kolay olacağı anlamına gelmiyor. Muktedir insanların mahremiyete gücü yetiyor. Kara kutu algoritmaların değerlendirdikleri öğretmenlerdir, ne okul müdürleri ne de valilerdir.
Kısa vadede, MYS’ye yasal ve ahlaki savlarla karşı koyacak, sorumluluk ve şeffaflık talebinde bulunacak politik ittifaklar oluşturmaya odaklanmalıyız. Umudum yazdığım kitabın insanlara bunun gerçekte matematik değil, iktidar hakkında olduğunu fark edecek cesareti vermesidir.
Ancak, daha da önemlisi, kesinlikle insanlara zarar vermekten ziyade yardımcı olan algoritmalar var. Aslında aynı modeller hem iyilik hem de kötülük için kullanılabilir: Sağlık sorunlarını öngören bir model doktorunuz tarafından sizi sağlıklı tutmak üzere kullanılırsa muhteşem olur, fakat kendileri için fazladan sigorta masrafı çıkaracak kişileri işe almaktan sakınmak isteyen işverenlerin elinde korkunç olacaktır. Üniversiteye yeni başlamış zorluklar yaşayan birini, elinde fazla kaynak olan kişilerle bir araya getiren bir model onu meşgul ve odaklı tutabildiği gibi, bir taraftan üniversitenin onu atmasına yol açabilecek şekilde risk altına da sokabilir.
Cathy O’Neil matematikçi, aktivist, blog yazarı ve verilere şüpheli yaklaşan biri. Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy [Matematiksel Yıkım Silahları: Büyük Veri Nasıl Eşitsizliği Arttırıyor ve Demokrasiyi Tehdit Ediyor] kitabının yazarı.
[i] çn. ABD’li suç psikoloğu Philip Zimbardo’nun 1969 yılında yapmış olduğu bir deneyden esinlenerek elde edilmiş olan, kentsel bozukluk üzerine anti-sosyal davranışlar ve diğer suçlardaki vandalizm davranışları/belirtileri ve normları işaret eden kriminolojik bir teoridir. Bkz. https://tr.wikipedia.org/wiki/Kırık_camlar_teorisi
Özgün metin: https://jacobin.com/2016/09/big-data-algorithms-math-facebook-advertisement-marketing/
Kaynak: https://sendika.org/2016/10/kara-kutuya-hosgeldiniz-cathy-oneil-379364
