Die kuberveiligheidsimplikasies van KI-platformoortredings

Kunsmatige intelligensie vind sy weg na alles van katflappe tot 'slim' agterplaasbraaiers – en natuurlik kan jy geen moderne ondernemingsagteware oopmaak sonder om 'n soort KI-assistent te sien wat deur 'n groot taalmodel (LLM) aangedryf word nie. Maar namate die tegnologie moeilik word om te vermy, moet ons miskien nadink oor hoe mense dit kan misbruik.

Ons praat nie oor hoe kubermisdadigers groot taalmodelle (LLM's) kan gebruik om uitvissing-e-posse te skryf of webwerwe hier te hack nie. Ons oorweeg eerder hoe aanvallers wettige KI-stelsels in die gedrang kan bring om data te steel, verkeerde inligting te versprei of selfs masjiene deurmekaar te stuur.

Die kwesbaarhede wat in LLM's skuil

Een van die mees algemene sulke aanvalle behels vinnige manipulasie. Aanvallers het gedemonstreer hoe om verskeie LLM's se veiligheidsrelings (bekend as tronkbreking) te omseil deur tegnieke soos rolspel en selfs brabbeltaal betree.

Vinnige inspuitings kan meer doen as om 'n LLM te kry om instruksies vir onwettige aktiwiteite te lewer of uitvissing-e-posse te skryf. Navorsers het dit gebruik vir data-eksfiltrasie. Byvoorbeeld, AI-sekuriteitsmaatskappy PromptArmor om die bos gelei Slack se AI-assistent om geheime soos API-sleutels van privaat kanale uit te lek.

Vinnige ingenieurswese skep geleenthede vir datadiefstal. KI-stelsels kan per ongeluk sensitiewe data blootstel deur foute of ontwerpfoute. Soms kan dit foute wees, soos wanneer 'n ChatGPT-fout is uitgelek gebruikers se private inligting, insluitend betalingsbesonderhede, in Maart 2023. Ander aanvalle gebruik vinnige inspuiting met skelm taktiek soos om teks te verander sodat 'n kwaadwillige aansporing 'n LLM oorreed om data te oorhandig terwyl dit onverstaanbaar is vir menslike slagoffers.

In sommige scenario's kan navorsers dalk vinnige ingenieurswese gebruik om die model se oorspronklike opleidingsdata bloot te lê. In 'n model-inversie-aanval kan 'n teenstander die LLM ondervra deur die antwoorde te gebruik om dinge oor die opleidingsdata af te lei en uiteindelik sommige van daardie data na die feit te reverse-ingenieur.

Sommige het voorgestel om modelomkering te gebruik om naby benaderings te onttrek van die beelde wat gebruik word om gesigsherkenningsmodelle op te lei. Dit loop die risiko om sensitiewe of kwesbare individue te identifiseer of om ongemagtigde toegang tot hulpbronne te verleen.

Dit hoef nie net teksgebaseerde invoere te wees wat kwaadwillige resultate lewer nie. Beelde en ander data kan ook nadelige uitwerking op KI hê. Navorsers het byvoorbeeld selfbesturende motors gedwing om stoptekens te ignoreer plakkers by hulle te voeg en om stoptekens te sien wat nie daar is nie projekteer 'n paar rame op 'n advertensiebord – wat albei katastrofiese gevolge op die pad kan hê.

Vergiftiging Stroomop

Alternatiewelik kan aanvallers met KI-werkvloei verder stroomop peuter deur die data waaruit KI-stelsels leer, te vergiftig. Dit kan die manier waarop die model optree, verander en die eindresultate besoedel. Sommige van hierdie aanvalle word om ekonomiese of politieke redes gedoen. Navorsers het een instrument ontwikkel, nastergal, om kunstenaars te help om hul digitale beelde subtiel te verander deur onsigbare pixels in te voeg as 'n protes teen LLM's se opleiding oor kopieregmateriaal. Dit veroorsaak dat beeldgenereringsprogramme onvoorspelbare resultate lewer.

Datavergiftiging hoef nie wydverspreid te wees om 'n effek te hê nie, en wanneer dit toegepas word op spesifieke datastelle soos dié wat in mediese stelsels gebruik word, kan die resultate katastrofies wees. Een studie gevind dat die verandering van net 0.001% van opleidingstekens met mediese verkeerde inligting die waarskynlikheid van mediese foute aansienlik verhoog het.

Namate KI steeds die alledaagse lewe deurdring, neem die potensiaal vir stelselkompromieë om die samelewing te beïnvloed toe. ’n Slimme aanvaller kan alles doen van die skep van disinformasie tot die veroorsaak van ongelukke op die pad, om veiligheidskritieke besluite in gebiede soos medisyne te beïnvloed, of om KI te keer om bedrieglike transaksies op te spoor.

Beskerming van KI-modelle

Die moontlikhede vir KI-kompromie is wydverspreid genoeg – en die gevolge daarvan wyd genoeg – dat 'n veelvlakkige benadering tot KI-bestuur van kardinale belang is. ISO 42001, 'n internasionale standaard vir KI-bestuurstelsels, volg 'n holistiese benadering, insluitend gebiede soos KI se organisatoriese konteks en leierskapbetrokkenheid. Dit behels ook beplanning, ondersteuning, bedryf, en deurlopende evaluering en verbetering. Dit dikteer die ontwikkeling van tegniese spesifikasies, insluitend sekuriteit en datakwaliteit, tesame met die dokumentasie van sekuriteitsprotokolle om teen bedreigings soos datavergiftiging en model-inversie-aanvalle te beskerm.

Regerings het beweeg om veiligheidsbeperkings op KI in te stel. Die EU se KI-wet vereis 'n ooreenstemmingsbeoordeling vir hoërisiko-stelsels, wat insluit om te voldoen aan toetsvereistes wat nog ontwikkel word. In die VSA het die Nasionale Instituut vir Standaarde en Tegnologie (NIST) reeds 'n KI Risikobestuursraamwerk (RMF) voordat die Biden-administrasie sy Uitvoerende Bevel 14110 oor KI-veiligheid in Oktober 2023 gepubliseer het (nou herroep deur die Trump-regering). Dit het 'n aanvullende generatiewe KI-risikobestuurshulpbron vereis, wat NIST gepubliseer verlede Junie.

Anders as NIST se AI RMF, is ISO 42001 sertifiseerbaar. En terwyl NIST sterk fokus op die veiligheid en sekuriteit van KI-stelsels, ondersoek ISO 42001 hul rol binne 'n wyer besigheidskonteks.

Waarom KI-bestuur nou belangrik is

Raamwerke soos hierdie word al hoe meer deurslaggewend namate basiese LLM-modelverskaffers jaag om nuwe kenmerke te verskaf wat verbruikers betower. Sodoende verhoog hulle die KI-modelle se aanvalsoppervlak, wat sekuriteitsnavorsers in staat stel om nuwe ontdekkings te vind. Maatskappye, insluitend OpenAI en Google, het byvoorbeeld langtermyngeheue-vermoëns in hul LLM's ingestel, wat hulle in staat stel om gebruikers meer intiem te leer ken en beter resultate te lewer. Dit het navorser Johann Rehberger in staat gestel om vinnige inspuiting te gebruik wat kon plant vals langtermynherinneringe in Google se Gemini LLM.

Dit is ook die moeite werd om die sekuriteit van KI-modelle te ondersoek in die konteks van basiese kuberhigiëne. In Januarie 2025 het navorsers 'n data-oortreding by die Chinese-gemanipuleerde stigting LLM DeepSeek ontbloot, wat die publiek se verbeelding aangegryp het met sy hoë werkverrigting. Die oorsaak van die data-oortreding het niks te doen gehad met vinnige ingenieurswese, modelomkering of enige magiese KI-vermoëns nie; dit het gespruit uit a publiek blootgestel wolk databasis wat kletsgeskiedenis en gebruikerbesonderhede bevat. In die opwindende nuwe wêreld van KI is sommige van die skadelikste kwesbaarhede neerdrukkend oud-skool.