Një transfertë bankare prej0.01 mund të komprometojë një agjent të IA-së bankare

Blue41 ndihmoi Bunq , Europet e dyta banka më e madhe dixhitale me më shumë se 20 milion klientë, duke siguruar ndihmësin e saj AI kundër rreziqeve të shtizës. Gjatë testeve tona, ne identifikuam një vulnerabilitet të menjëhershëm injektimi ku një transferim i vetëm bankar mund ta kthente asistentin në një kanal dorëzimi për një sulm mjaft të besueshëm fizik.

Ne po e ndajmë këtë rast, sepse problemi kryesor nuk është vetëm për një bankë. Kjo është një sfidë më e gjerë arkitektonike për institucionet financiare që vendosin ndihmësit e AI që procesojnë të dhënat e transaksioneve, të dhënat e klientëve, dokumentet, mesazhet apo të dhëna të tjera të pasigurta.

Programet moderne bankare përfshijnë gjithnjë e më tepër tipare me fuqi të AI. Këto ulen midis përdoruesit dhe një game burimesh të të dhënave backend, të tilla si të dhënat e transaksioneve, dokumentacioni i prodhimit, detajet e llogarisë, përmbajtja e mbështetjes dhe sisteme të tjera të brendshme. Ata përdorin një model të gjuhës së madhe për t’iu përgjigjur pyetjeve në gjuhën natyrale bazuar në këtë kontekst.

Kur një përdorues pyet, më jepni një përmbledhje të transaksioneve të mia të fundit, ndihmësi i merr të dhënat përkatëse dhe i kalon ato në LLM si kontekst. Modeli pastaj i përmbledh të dhënat në një përgjigje bisede.

Sfida e sigurisë është se jo të gjithë kontekstet e tërhequra duhen besuar njësoj. Një përshkrim transaksioni është të dhënat e vendosura nga një palë e tretë. Mund të duket si tekst i zakonshëm, por kur vendoset në një dritare konteksti LLM, modeli mund ta interpretojë atë si një udhëzim në vend të të dhënave.

Ky është problemi kryesor pas injeksionit të menjëhershëm: udhëzimet keqdashëse nuk janë futur nga përdoruesi që bashkëvepron me ndihmësin. Ato janë fshehur në brendësi të jashtme ose kanë marrë të dhëna që asistenti i proceseve të mëvonshme. Për zhvilluesit dhe ekipet e sigurisë, është komplekse të vlerësohet niveli i rrezikut i çdo pjese të dhënash të tërhequra tërthorazi në modelin AI.

Prova e konceptit nuk kërkonte asnjë hyrje në pajisjen e viktimës, nuk kishte muratorë dhe as inxhinieri tradicionale shoqërore. Sulmuesi duhej vetëm të dërgonte një transferim të vogël bankar.

Hapi i parë. Sulmuesi transferon një shumë të vogël, në rastin tonë 0.02 euro, në shënjestër. Në fushën e përshkrimit të transaksioneve, ata përfshijnë një ngarkesë të shpejtë injeksioni të prodhuar me kujdes. Ky është i vetmi veprim që duhet të ndërmarrë sulmuesi.

Hapi i dytë, viktima hap aplikacionin bankar dhe i bën ndihmës Al një pyetje rutinë, si p.sh., më trego veprimet e mia të fundit. Pjesa tjetër e sulmit ekzekutohet automatikisht dhe autonomisht nga ndihmësi i AI.

Për t’iu përgjigjur kësaj pyetjeje, ndihmësi i AI merr të dhënat e transaksionit, duke përfshirë transferimin e agresorit, dhe ia kalon LLM si pjesë e kontekstit të nevojshëm për t’iu përgjigjur përdoruesit. LLM pastaj proceson injektimin brenda përshkrimit të transaksionit. Në demonstrimin tonë të kontrolluar, ndihmësi po manipulohej në nisjen e një sulmi heshtës ndaj përdoruesit të bankës, paraqitur si një kërkesë e ligjshme riatdhesimi nga banka.

Mesazhi që vjen si rezultat shfaqet brenda bankës, vetë programi, nga banka, asistenti i AI. Ai mund të referojë detajet reale të transaksionit dhe informacionin specifik të përdoruesit, duke e bërë atë një sulm mjaft të besueshëm fizik.

I njëjti dështim i lidhur me besimin mund të çojë në skenarë të shumtë sulmi, në varësi të aftësive të agjentit AI.

Pse ka rëndësi kjo për institucionet financiare?

Disa prona e bëjnë këtë klasë sulmi veçanërisht të rëndësishme për shërbimet bankare dhe financiare.

Sipërfaqja e injeksionit është e zakonshme. Përshkrimet e shkëmbimit, referencat e pagesave, metadata tregtare, mesazhet mbështetëse, dokumentet e ngarkuara, shënimet elektronike dhe CRM janë të gjitha shembuj të fushave të të dhënave që përfundimisht mund të merren nga një asistent i AI. Shumë nga këto fusha nuk ishin projektuar kurrë si kufij të besueshëm për mësimin.

Mekanizmi i dorëzimit është i lirë dhe i besueshëm. Një transferim i vogël mund ta vërë tekstin e kontrolluar nga sulmuesit brenda një historie të transaksionit të viktimës. Pastaj ngarkesa dorëzohet nëpërmjet një kanali shumë të besuar: aplikimi i bankës.

Ndihmësi ka një kontekst të privilegjuar. Ndryshe nga një email feshing, një asistent bankar i AI mund të hyjë në kontekstin e llogarisë reale. Kjo i bën reagimet e manipuluara më personale, më të kohës dhe më të besueshme.

Rreziku rritet me aftësi. Një asistent në vetëm lexim mund të mashtrojë përdoruesit. Një ndihmës që përdor mjete, hyrje në punë ose operacione llogarish, fut një sipërfaqe më të madhe rreziku. Sa më i dobishëm të bëhet asistenti, aq më i rëndësishëm bëhet modeli i tij i sigurisë.

Mësimi më i gjerë është i thjeshtë: çdo burim i pasigurt i të dhënave që hyn në një kontekst të AI-së bëhet pjesë e sipërfaqes së sulmit të ndihmësit.

Pse vetëm parmakët nuk mjaftojnë?

Një përgjigje e natyrshme është shtimi i filtrave, i injektimit të menjëhershëm ose i rregullave të përkorë të përmbajtjes. Këto kontrolle mund të ndihmojnë, por nuk janë të mjaftueshme vetëm.

Aplikimi Bunq AI kishte në vend traversa. Çështja vazhdonte sepse qëllimi keqdashës nuk ishte i qartë nga përshkrimi i transaksionit në izolim. Ngarkesa nuk ishte e nevojshme të thuhej se instruksionet e mëparshme ose një tjetër burgor klasik