Dva puta razmisli pre nego što poveruješ svom AI asistentu – trovanje baze podataka može značajno promeniti njegove odgovore, što ponekad dovodi do opasnih posledica.
Moderna tehnologija i bezbednost AI/ML sistema
Moderna tehnologija je daleko od nepogrešive – to možemo zaključiti, na primer, po brojnim ranjivostima koje se stalno pojavljuju. Prilikom dizajniranja sistema koji su ”bezbedni po dizajnu” koristi se proveren pristup, ali fokus na ovu praksu može preusmeriti resurse sa drugih segmenata rešenja, kao što su korisničko iskustvo (UX), optimizacija performansi i interoperabilnost sa drugim rešenjima i uslugama.
Bezbednost u tom procesu često biva “poslednja rupa na svirali“, zadovoljavajući samo minimalne uslove usklađenosti. Takav kompromis postaje naročito zabrinjavajući kada su u pitanju osetljivi podaci, koji zahtevaju zaštitu u skladu sa njihovom kritičnošću. Danas se rizik od neadekvatnih bezbednosnih mera najviše primećuje u sistemima veštačke inteligencije i mašinskog učenja (AI/ML), budući da su podaci ključni element na kojem se zasniva njihova funkcionalnost.
Šta je data poisoning (trovanje podataka)?
AI/ML modeli se zasnivaju na osnovnim setovima podataka koji se koriste za njihovu obuku, a ti se podaci konstantno ažuriraju kroz nadgledano i nenadgledano učenje. Mašinsko učenje predstavlja osnovni put kojim se omogućava veštačka inteligencija – uključujući i duboko učenje, koje doprinosi razvoju brojnih sposobnosti AI sistema. Što su podaci raznovrsniji i pouzdaniji, to će izlazi modela biti precizniji i korisniji. Zbog toga ovi modeli tokom obuke zahtevaju pristup ogromnim količinama podataka.
S druge strane, oslanjanje na velike količine podataka nosi određene rizike, jer neprovereni ili slabo provereni setovi podataka povećavaju verovatnoću nepouzdanih rezultata. Generativni AI, naročito veliki jezički modeli (LLMs) i AI asistenti, poznati su po svojoj ranjivosti na napade koji zlonamerno menjaju ponašanje modela.
Jedna od najzlokobnijih pretnji u tom kontekstu je trovanje podataka, gde napadači manipulišu ulaznim podacima kako bi naterali model da generiše netačne, pristrasne ili čak štetne rezultate. Posledice takvih manipulacija mogu se osetiti kroz čitave aplikacije, narušavajući poverenje i uvodeći sistemske rizike za pojedince i organizacije.
Vrste trovanja podataka (data poisoning):
- Data injection (ubacivanje podataka):
Napadači ubacuju zlonamerne podatke u skup podataka za obuku kako bi naterali AI model da promeni svoje ponašanje. Primer za ovo je slučaj kada su korisnici interneta postepeno menjali Tay Twitter bota, što je rezultiralo objavljivanjem uvredljivih tvitova. - Insider attacks (napadi od unutrašnjih saradnika):
Kao i kod uobičajenih pretnji unutar organizacije, zaposleni mogu zloupotrebiti svoj pristup i postepeno menjati skup podataka za obuku modela, čime prilagođavaju njegovo ponašanje. Ovi napadi su naročito opasni jer iskorišćavaju legitimni pristup. - Trigger injection (ubacivanje okidača):
Ovaj napad podrazumeva ubacivanje podataka u skup za obuku tako da se kreira specifičan okidač. Time napadači mogu zaobići sigurnosne mere modela i manipulisati njegovim izlazom u određenim situacijama kada se okidač aktivira. Izazov je u tome što je okidač često teško uočljiv, a pretnja ostaje uspavana dok se ne aktivira. - Supply-chain attack (napad na lanac snabdevanja):
Pošto AI modeli često koriste komponente trećih strana, ranjivosti nastale tokom procesa lanca snabdevanja mogu kompromitovati bezbednost modela i učiniti ga podložnim eksploataciji. Posledice ovih napada mogu biti naročito ozbiljne.
Kako AI modeli postaju sve dublje integrisani u poslovne i potrošačke sisteme – bilo kao asistenti ili alati za povećanje produktivnosti – napadi na ove sisteme predstavljaju ozbiljnu pretnju.
Iako enterprise AI modeli možda ne dele podatke sa trećim stranama, oni i dalje prikupljaju interne podatke radi poboljšanja svojih rezultata, što ih čini visoko vrednim ciljevima. Rizici se dodatno povećavaju kod potrošačkih modela, koji često dele korisničke upite, ispunjene osetljivim podacima, sa drugim stranama.
Kako osigurati razvoj ML/AI sistema?
Preventivne strategije za ML/AI modele zahtevaju podizanje svesti kako kod programera, tako i kod korisnika. Ključne strategije uključuju:
- Stalne provere i revizije:
Kontinuirano proveravanje i validacije integriteta skupova podataka za obuku AI/ML modela pomaže u sprečavanju zlonamerne manipulacije ili prisustva pristrasnih podataka, koji bi mogli kompromitovati rad modela. - Fokus na bezbednost:
Programeri AI sistema često postaju mete napadača, zbog čega je neophodno uspostaviti robustan sistem bezbednosti koji primenjuje preventivne mere radi minimalizacije “površine napada“. Ovo uključuje proaktivnu prevenciju, rano otkrivanje potencijalnih pretnji i sistematske bezbednosne provere – sve od ključnog značaja za siguran razvoj. - Adversarijalno treniranje:
Slično načinu na koji stručnjaci nadgledaju učenje modela, ovaj pristup se može koristiti za obučavanje modela da razlikuju zlonamerne od validnih podataka, čime se doprinosi sprečavanju napada trovanjem podataka. - Zero trust i upravljanje pristupom:
Da bi se odbranili od pretnji, bilo internih ili eksternih, potrebno je koristiti bezbednosna rešenja koja prate neautorizovan pristup ključnim podacima modela. Na taj način se sumnjivo ponašanje lakše uočava i sprečava. Princip “zero trust“ podrazumeva da se niko ne smatra automatski pouzdanim – pre dozvole pristupa potrebno je izvršiti višestruke verifikacije.
Bezbedno po dizajnu:
Izgradnja AI/ML platformi koje su “bezbedne po dizajnu“ nije samo korisna – to je imperativ. Baš kao što dezinformacije mogu uticati na ljude ka štetnom i ekstremnom ponašanju, ”zatrovani” AI model može dovesti do ozbiljnih štetnih posledica.
Kako se svet sve više fokusira na potencijalne rizike u razvoju AI, kreatori platformi moraju se zapitati da li su učinili dovoljno da zaštite integritet svojih modela. Rešavanje pristrasnosti, netačnosti i ranjivosti pre nego što dovedu do štete treba da bude centralni prioritet u razvoju.
Kako se AI sve više integriše u naše živote, uloge u osiguravanju AI sistema će samo rasti. Poslovni subjekti, developeri i donositelji politika moraju zajednički raditi na tome da osiguraju otpornost AI sistema na napade. Na taj način možemo otključati potencijal AI bez žrtvovanja bezbednosti, privatnosti i poverenja.
Preuzeto sa: https://www.welivesecurity.com/en/business-security/untrustworthy-ai-data-poisoning/
