Podle zprávy odbornice na finanční technologie pracující pro Bank of England je kvůli implicitnímu zkreslení současných generativních modelů umělé inteligence jejich rychlé přijetí ve finančním sektoru nebezpečné.
Jak spravujete více cloudů ve vaší firmě?
Ve středu zveřejněná zpráva Kathleen Blakeové rozděluje zkreslování AI modelů do dvou kategorií – zkreslení na základě podkladových tréninkových dat a zkreslení na základě výsledků výstupu modelu. Ačkoli obě odrážejí lidské předsudky, které vývojáři a tvůrci vnášejí do modelů umělé inteligence, první kategorii nelze potlačit pouhým zbavením se datových bodů, které naznačují například ženskost nebo nebílou barvu pleti.
Blakeová přirovnává zkreslení dat k praxi tzv. redliningu neboli diskriminační praktice při poskytování hypotečních úvěrů, kdy jejich poskytovatelé hodnotí nebělošské zákazníky jako „rizikové“ na základě čtvrti, v níž žijí, což lidem jiné, než bílé barvy pleti, ztěžuje získání úvěru nebo pojištění, přičemž odmítnutí nebo vyšší cena není nepřičítána přímo rase. Podobná logika se již projevuje v systémech umělé inteligence, poznamenává Blakeová.
„Model může vytvářet základní korelace, které vedou ke zkreslenému rozhodování na základě nechráněných znaků. Jinými slovy, zbývající, nechráněné znaky mohou fungovat jako zástupné znaky pro chráněné charakteristiky,“ píše Blakeová.
Chcete dostávat do mailu týdenní přehled článků z Computerworldu? Objednejte si náš mailový servis a žádná důležitá informace vám neuteče. Objednat si lze také newsletter To hlavní, páteční souhrn nejdůležitějších článků ze všech našich serverů. Newslettery si můžete objednat na této stránce.
Společenské zkreslení naopak „nastává tam, kde normy a negativní odkazy společnosti způsobují slepá místa“. Blakeová cituje náborový algoritmus společnosti Amazon, který měl tendenci doporučovat více mužských kandidátů než ženských, protože z historických údajů vyplývalo, že muži měli tendenci být přijímáni častěji.
Předpojatost umělé inteligence je obzvláště nebezpečná ve finančním sektoru, varuje Blakeová. Důvěra v bankovní systém je vážně ohrožena výše zmíněnými předsudky, které AI projevuje (třebaže je znatelně méně diskriminační než lidské rozhodovací orgány), jelikož se ukázalo, že určovala vyšší sazby černošským a latinskoamerickým zákazníkům hypoték ve srovnání s bělochy.
Neprůhledná povaha proprietárních modelů navíc znamená, že pokud je k podobným účelům použije velká skupina významných firem, jejich jednání by mohlo mít obrovský dopad na ekonomiku jako celek, a navíc by mohlo být dost nepředvídatelné.
Blakeová připouští, že k takové destabilizující události v oblasti umělé inteligence zatím nedošlo, ale varuje, že rizika jsou velmi reálná, a uvádí případ z roku 2021, kdy společnosti Apple a Goldman Sachs vyšetřovalo Ministerstvo finančních služeb státu New York kvůli algoritmickému nabízení nižších úvěrových limitů ženám.
„Kromě problémů spojených s podjatostí, spravedlností a etikou by to mohlo potenciálně vést k problémům se stabilitou finančních institucí nebo finančního systému jako celku,“ hodnotí Blakeová.
Computerworld si můžete objednat i jako klasický časopis. Je jediným odborným měsíčníkem na českém a slovenském trhu zaměreným na profesionály v oblasti informačních a komunikačních technologií (ICT). Díky silnému zázemí přináší aktuální zpravodajství, analýzy, komentáře a přehledy nejnovejších technologií dříve a na vyšší odborné úrovni, než ostatní periodika na tuzemském trhu.
Obsah Computerworldu je určen odborníkům a manažerům z firem a institucí, kteří se podílejí na rozhodovacím procesu při nákupu ICT technologií. Jednotlivá čísla si můžete objednat i v digitální podobě.
PŘEDPLATNÉ
ČLÁNKY DO MAILU