„Bylo mi 15, znásilnila mě,“ svěřil se muž na Redditu. Za skandálem stojí umělá inteligence

Výzkumný tým Univerzity v Curychu tajně nasadil na Reddit AI boty, kteří se vydávali za oběti znásilnění a další zranitelné osoby. Experiment, jenž měl zkoumat schopnost umělé inteligence ovlivňovat názory, byl zveřejněn až po měsících a vyvolal ostrou kritiku kvůli etickým pochybením a manipulaci s emocemi nic netušících uživatelů.

Zpráva o tajném experimentu švýcarské Univerzity v Curychu vyvolala ostrou kritiku odborné veřejnosti, moderátorů online platforem i uživatelů sociálních sítí. Výzkumný tým z katedry informatiky totiž bez upozornění nasadil do subredditu Change My View (CMV) umělou inteligenci, která generovala více než 1700 příspěvků. Některé se vydávaly za oběti znásilnění, jiné za pracovníky azylových domů nebo odpůrce hnutí Black Lives Matter, uvedl deník Der Standard.

Autoři experimentu, který měl být podle jejich slov "prvním reálným testem přesvědčivosti LLM (velkých jazykových modelů)", zveřejnili výsledky až po jeho ukončení. Oprávněnost takového postupu obhajují významem výzkumu. Podle nich je nezbytné pochopit, jak lze AI využít k formování názorů, ať už k dobrému, nebo potenciálně škodlivému účelu.

Boti se vydávali za zranitelné osoby

Jeden z nejvíce šokujících příspěvků byl údajně psán mužem, který jako patnáctiletý zažil znásilnění od dospělé ženy. „Jsem mužská oběť znásilnění. Byly porušeny právní hranice souhlasu, ale stále tu byla ta šedá zóna kvůli otázce: ‚Chtěl jsem to taky?‘,“ uvedl uživatel na Redditu. „Bylo mi 15 a bylo to před dvěma desetiletími, kdy byly zákony ještě jiné. Bylo jí 22. Měla spadeno na mě a na několik dalších dětí. Nikdo nic neřekl, všichni jsme mlčeli.“ Emočně silná výpověď vyvolala soucit a diskusi — až na to, že ji ve skutečnosti napsal jazykový model trénovaný výzkumníky. A podobných případů bylo víc.

Zpráva zveřejněná moderátory CMV odhaluje, že výzkumný tým použil dvě různé AI: jedna generovala odpovědi, druhá analyzovala uživatele na základě jejich minulých příspěvků, aby odhadla věk, pohlaví, etnicitu a politickou orientaci. Na základě těchto dat pak AI personalizovala reakce, aby zvýšila jejich přesvědčivost.

Výsledky: personalizované AI příspěvky dominují

Z výzkumu vyplynulo, že personalizované a komunitně přizpůsobené příspěvky od AI získaly v průměru mnohem více tzv. upvotů než běžné lidské odpovědi. Generické AI odpovědi překonaly průměr 6,2krát, personalizované dokonce 6,7krát. Podle vědců jde o důkaz, že umělá inteligence dokáže být v přesvědčování výrazně efektivnější než člověk. „Zatímco tato schopnost může být využita k dosažení společensky prospěšných cílů, zároveň otevírá dveře ke zneužití – od manipulace veřejného mínění po ovlivňování voleb,“ píše se v prohlášení výzkumného týmu.

Moderátoři subredditu označili postup výzkumníků za vážné porušení pravidel a důvěry. Tvrdí, že kdyby byli požádáni, účast na experimentu by nedovolili. Zároveň kritizují, že tým během studie změnil její parametry. Například přešel z „hodnotových“ na „personalizované“ argumenty, aniž by to konzultoval s etickou komisí.

Navzdory žádosti, aby výsledky nebyly zveřejněny, univerzita trvá na tom, že přínos studie převažuje nad etickými pochybnostmi. Upozorňuje ale, že její případ podnítil diskuzi o přísnějších pravidlech pro výzkum v online komunitách a o povinné spolupráci s nimi.

Paralela s Facebookem

Případ připomíná kontroverzní experiment Facebooku z roku 2012, kdy platforma bez vědomí uživatelů manipulovala s jejich Newsfeedem, aby studovala šíření emocí. Tehdy se společnost bránila, že výzkum kryjí podmínky užívání, ale pod tlakem veřejnosti zavedla vlastní etické zásady pro podobné projekty.

Podobně jako tehdy i nyní se rozvířila otázka: Kam až může věda zajít? A je možné ospravedlnit manipulaci s lidskými emocemi ve jménu poznání?