Društvene mreže: „Ukaljaju vam mozak“ – kako algoritmi dečacima prikazuju nasilje

Bilo je to 2022. godine i Kai, koji je tada imao 16 godina, skrolovao je na telefonu.

On kaže da je jedan od prvih videa koje je video na fidu društvenih mreža bio o slatkom psu.

Ali, odmah potom, došlo je naglog preokreta.

On kaže da su mu „niotkuda“ preporučeni video snimci nekoga koga udara automobil, monolog influensera koji iznosi mizogine stavove i inserti iz nasilnih tuča.

Zapitao se: Zašto baš ja?

• Zašto deca rade smrtonosne TikTok izazove
• TikTok pred sudom zbog „narušavanja“ mentalnog zdravlja tinejdžera
• Niko nije kriv sem samih siledžija: Nordijski metod za okončanje vršnjačkog nasilja

Za to vreme u Dablinu, Endrju Kang je radio kao analitičar bezbednosti korisnika u TikToku, na položaju na kom je radio 19 meseci, od decembra 2020. do juna 2022. godine.

On kaže da su on i kolega odlučili da prouče šta korisnicima u Velikoj Britaniji preporučuju algoritmi ove aplikacije, među njima i 16-godišnjacima.

Nedugo pre toga, on je radio za rivalsku kompaniju Meta, koja je vlasnik Instagrama – još jedne mreže koju koristi Kai.

Kad je Endrju proučio sadržaj na TikToku, bio je uznemiren otkrivši da se nekim tinejdžerima prikazuju objave sa nasiljem i pornografijom, i da im se promovišu mizogini stavovi, kaže on za BBC Panoramu.

On tvrdi da se, generalno gledano, tinejdžerkama preporučuje veoma drugačiji sadržaj na osnovu njihovih interesovanja.

TikTok i druge kompanije u čijem su vlasništvu društvene mreže koriste alatke veštačke inteligencije da bi uklanjali ogromnu većinu štetnog sadržaja i da obeležavaju drugi sadržaj za pregled ljudskih moderatora, bez obzira na broj pregleda koji on ima.

Ali alatke veštačke inteligencije ne mogu da prepoznaju baš sve.

Endrju Kang kaže da su, dok je radio za TikTok, svi snimci koji nisu bili uklonjeni ili označeni za ljudske moderatore uz pomoć veštačke inteligencije – ili prijavljeni od drugih korisnika moderatorima – ponovo bili pregledani manuelnim putem tek ako dosegnu određeni prag.

On kaže da je u jednom trenutku to bilo namešteno na 10.000 pregleda ili više.

Strahovao je da to znači da su neki mlađi korisnici izloženi štetnim video snimcima.

Većina kompanija za društvene mreže dozvoljavaju ljudima od 13 godina ili starijim da se sami prijave na mrežu.

TikTok kaže da 99 odsto sadržaja koje uklanja zbog kršenja njegovih propisa odstranjuju veštačka inteligencija ili ljudski moderatori pre nego što dostignu 10.000 pregleda.

Kaže i da sprovodi proaktivne istrage za video snimke sa manjim brojem pregleda od tog.

Dok je radio za Metu između 2019. i decembra 2020. godine, Endrju Kang kaže da je postojao jedan drugačiji problem.

On kaže da, iako su većinu videa uklanjale alatke veštačke inteligencije ili ih prijavljivale moderatorima, sajt se oslanjao na korisnike da prijave druge video snimke jednom kad su ih već pogledali.

Kang dodaje da je izrazio zabrinutost dok je radio u obe kompanije, ali da je naišao uglavnom na inertnost, kaže on, iz straha od količine posla koji bi bio neophodan ili troškova.

On navodi da su naknadno neka poboljšanja urađena u TikToku i Meti, ali dodaje da su mlađi korisnici, poput Kaija, bili u međuvremenu prepušteni na milost i nemilost.

Nekoliko bivših zaposlenih iz kompanija u čijem su vlasništvu društvene mreže reklo je za BBC da je zabrinutost Endrjua Kanga u skladu sa njihovim saznanjima i iskustvom.

Algoritmi iz svih velikih društvenih mreža redovno preporučuju štetan sadržaj deci, čak i ako je to nenamerno, kaže za BBC britanski regulator Ofkom.

„Kompanije žmure nad tim i ophode se prema deci kao prema odraslima“, kaže Almudena Lara, direktorka Ofkoma za razvoj onlajn politike bezbednosti.

• Škola straha i nasilje nad prosvetnim radnicima: „Nikad neću zaboraviti nož uperen u moju glavu“
• „U začaranom krugu”: Kako se škole bore protiv vršnjačkog nasilja u Srbiji
• Zašto vršnjačko nasilje pogađa skoro polovinu dece u Srbiji

‘Mom prijatelju je bio potreban povratak u stvarnost’

TikTok je za BBC rekao da poseduje bezbednosna podešavanja koja su „vodeća u ovoj industriji“ i da zapošljava više od 40.000 ljudi koji garantuju bezbednost korisnicima.

On je rekao da samo ove godine planira da uloži „više od 2 milijarde dolara u bezbednost“, a od sadržaja koji uklanja zbog kršenja njegovih propisa 98 odsto pronalazi proaktivno.

Meta, koja je vlasnik Instagrama i Fejsbuka, kaže da ima više od 50 različitih alatki, resursa i funkcija koji tinejdžerima „obezbeđuju pozitivna iskustva u skladu sa njihovim godinama“.

Kai je rekao za BBC da je pokušao da koristi jedan od Instagramovih alata i jedan sličan njemu na TikToku da bi naznačio da ga ne zanima nasilan i mizogini sadržaj – ali tvrdi da su oni nastavili da mu ga preporučuju.

Njega zanima UFC (Ultimate Fighting Championship), takmičenje u mešovitim borilačkim veštinama.

Takođe je zatekao sebe kako gleda video snimke kontroverznih influensera koji su mu preporučeni, ali on kaže da nije želeo da mu bude preporučen taj ekstremniji sadržaj.

„U glavi vam se pojavi slika i vi posle ne možete više da je izbacite. Ukaljan vam je mozak. I onda samo na to mislite ostatak dana“, kaže on.

Devojkama istog godišta koje poznaje preporučuju se video snimci o temama kao što su muzika i šminka umesto nasilja, kaže on.

U međuvremenu, Kai, koji danas ima 18 godina, kaže da mu se i dalje servira nasilan i mizogini sadržaj, i na Instagramu i na TikToku.

Kad skrolujemo kroz njegove Instagram rilove, među njima nalazimo i sliku koja se podsmeva na račun porodičnog nasilja.

Na njoj su dva lika jedan pored drugog, od kojih jedan ima modrice, sa potpisom: „Moj ljubavni rečnik.“

Na drugoj je osoba koju je pregazio kamion.

Kai kaže da je primetio kako video snimci sa milionima lajkova umeju da budu ubedljivi mladim ljudima njegovih godina.

Na primer, on kaže da je jedan od njegovih prijatelja potpao pod uticaj sadržaja kontroverznog influensera – i počeo je da primenjuje njegove mizogine stavove.

Njegov prijatelj je „otišao predaleko s tim“, kaže Kai.

„Počeo je da govori razne ružne stvari o ženama. Imao sam osećaj da moram da vratim prijatelja u stvarnost.“

Kai kaže da je komentarisao na objavama da bi pokazao da mu se one ne sviđaju, a kad je slučajno lajkovao video snimke, pokušao je da povuče lajk, u nadi da će to resetovati algoritme.

Ali on kaže da je na kraju još više takvog sadržaja počelo da mu zatrpava fidove.

Kako, dakle, stvarno rade algoritmi TikToka?

Prema Endrjuu Kangu, algoritme hrani interakcija, bez obzira na to da li je pozitivna ili negativna.

To bi delimično moglo da objasni zašto Kaijevi napori da izmanipuliše algoritme nisu funkcionisali.

Prvi korak za korisnike je da konkretizuju neka dopadanja i interesovanja kad se prvi put prijave na mrežu.

Endrju kaže da je nešto od sadržaja koji algoritam prvobitno servira, na primer, 16-godišnjaku, zasnovano na preferencijama koje je on dao, kao i preferencijama drugih korisnika sličnog godišta koji žive na sličnoj lokaciji.

Prema TikToku, na algoritme ne utiče pol korisnika.

Ali Endrju kaže da interesovanja koja tinejdžeri pokažu kad se prijave često ima efekat podele po polnoj liniji.

Bivši zaposleni u TikToku kaže da neki 16-godišnjaci mogu biti izloženi nasilnom sadržaju „od samog početka“, zato što su drugi tinejdžerski korisnici sa sličnim preferencijama izrazili interesovanje za ovaj tip sadržaja – čak i ako to samo znači provođenje više vremena na videu koji im privuče pažnju toliko malo duže.

Interesovanja koja su iskazale mnoge tinejdžerke u profilima koje je on proučio – „pop pevači, pesme, šminka“ – značila su da im neće biti preporučen nasilni sadržaj, kaže on.

On kaže da algoritmi koriste „učenje preko utvrđivanja“, što je metod u kom sistemi veštačke inteligencije uče na pokušajima i vlastitim greškama, i obučavaju sami sebe da prepoznaju ponašanje prema različitim video snimcima.

Endrju Kang kaže da su oni osmišljeni tako da maksimizuju interakciju tako što će vam prikazati video snimke od kojih očekuju da ćete ih gledati duže vremena, komentarisati ih ili lajkovati – sve samo da bi vas naveli da se vraća po još.

Algoritam koji preporučuje sadržaj za TikTokovu „Za tebe“ stranicu, kaže on, ne razlikuje uvek štetan sadržaj od neštetnog.

Prema Endrjuu, jedan od problema koji je prepoznao dok je radio za TikTok bio je da timovi koji su učestvovali u obučavanju i kodiranju tog algoritma nisu uvek znali tačnu prirodu videa koje preporučuju.

„Oni vide broj gledalaca, godine, trend, tu neku vrstu apstraktnih podataka. Oni zapravo nisu nužno izloženi samom tom sadržaju“, kaže mi bivši analitičar TikToka.

Zato su 2022. godine on i kolega odlučili da pogledaju kakvi se video snimci preporučuju širem dijapazonu korisnika, među njima i 16-godišnjacima.

On kaže da su bili zabrinuti zbog nasilnog i štetnog sadržaja koji se servira nekim tinejdžerima, i predložili su TikToku da ažurira sistem moderiranja.

Želeli su da TikTok jasno označi video snimke tako da svi koji rade mogu da vide zašto su oni štetni – ekstremno nasilje, zlostavljanje, pornografija i tako dalje – i da angažuje više moderatora specijalizovanih za te različite oblasti.

Endrju kaže da su njihove predlozi tada bili odbijeni.

TikTok tvrdi da je tada imao specijalizovane moderatore i, kako je njegova platforma rasla, nastavljao je da angažuje više njih.

On kaže i da je razdvojio različite tipove štetnog sadržaja – u nešto što zove redovima – za moderatore.

Pogledajte i ovu priču:

‘Preklinjanje tigra da vas ne pojede’

Endrju Kang kaže da je iznutra iz TikToka i Mete delovalo kao da je zaista teško dovesti do promena koje je smatrao neophodnim.

„Kad molimo privatnu kompaniju čiji su interesi da promoviše svoje proizvode da se sama moderiše, to je kao da molite tigra da vas ne pojede“, kaže on.

On kaže i da misli kako bi životi dece i tinejdžera bili bolji kad bi prestali da koriste pametne telefone.

Ali za Kaija, zabranjivanje telefona ili društvenih mreža tinejdžerima nije rešenje.

Njegov telefon je od ključne važnosti za njegov život – veoma važan način da razgovara sa prijateljima, snalazi se kad izađe i plaća za stvari.

Umesto toga, on želi da kompanije u čijem su vlasništvu društvene mreže više slušaju šta tinejdžeri ne žele da vide.

On želi da firme naprave alate koji omogućavaju korisnicima da naznače interesovanja efikasnijima.

„Osećam se kao da kompanije u čijem su vlasništvu društvene mreže ne cene vaše mišljenje, dok god im to donosi novac“, kaže mi Kai.

• Pljušte optužbe protiv Instagrama u Americi zbog štetnog uticaja na mlade
• Kako razgovarati sa decom o kontroverznom influenseru Endrjuu Tejtu

U Velikoj Britaniji, novi zakon će primorati društvene mreže da verifikuju godište dece i spreče sajtove da preporučuju pornografiju ili drugi štetni sadržaj mladima.

Britanski medijski regulator Ofkom je zadužen da se on sprovede u delo.

Almudena Lara, direktorka Ofkoma za razvoj onlajn politike bezbednosti, kaže da iako je štetan sadržaj koji uglavnom pogađa mlade žene – kao što su snimci koji promovišu poremećaje u ishrani i samopovređivanje – s pravom bili u žiži javnosti, algoritamski putevi koji usmeravaju mržnju i nasilje uglavnom ka dečacima tinejdžerskog uzrasta i mladićima dobijali su manje pažnje.

„Obično manjina dece bude izložena najštetnijem sadržaju. Ali mi znamo, međutim, da jednom kad ste izloženi štetnom sadržaju, to postaje neizbežno“, kaže Lara.

Ofkom tvrdi da može novčano da kazni kompanije i da može da pokrene krivično gonjenje ako one ne urade dovoljno, ali da te mere neće stupiti na snagu sve do 2025. godine.

TikTok tvrdi da koristi „inovativnu tehnologiju“ i pruža podešavanja za bezbednost i privatnost tinejdžera koji su „vodeći u industriji“, među njima i sisteme za blokiranje sadržaja koji možda nije odgovarajući, i da ne dozvoljava ekstremno nasilje i mizoginiju.

Meta, u čijem su vlasništvu Instagram i Fejsbuk, kaže da ima više od „50 različitih alata, resursa i funkcija“ koji pružaju tinejdžerima „pozitivno iskustvo primereno njihovim godinama“.

Prema Meti, ona traži povratne informacije od vlastitih timova, a potencijalne promene politike prolaze kroz strogo kontrolisane procese.

BBC na srpskom je od sada i na Jutjubu, pratite nas OVDE.

Pratite nas na Fejsbuku, Tviteru, Instagramu, Jutjubu i Vajberu. Ako imate predlog teme za nas, javite se na [email protected]