Gesprekke oor eksistensiële KI-risiko verbloem 'n meer dringende kwessie: Organisasies ontplooi reeds KI sonder effektiewe bestuur in plek om die tegnologie te beheer.

Sedert die OpenAI-Hugging Face- insident in Julie het die diskoers rondom KI van die skaal afgeneem. Wat voorheen 'n bespreking oor beheer en monitering was, het vinnig 'n verhitte argument oor eksistensiële KI-risiko geword.

Leiers van KI-maatskappye vertel besighede en regerings dat KI menslike uitsterwing kan veroorsaak , en trek arbitrêre persentasiesyfers uit om hul punt te "bewys". Maar die sekuriteitsgemeenskap het hierdie bewerings grootliks van die hand gewys, wat volgens hulle 'n werklike en huidige bedreiging van KI verberg.

Inderdaad, vir besighede hou te veel fokus op hipotetiese uitsterwingscenario's die risiko in om 'n baie meer onmiddellike probleem te verberg: Organisasies ontplooi reeds KI in werkvloeie, produkte en besluitnemingsprosesse, dikwels sonder die nodige bestuur om te verstaan ​​waar dit gebruik word, watter besluite dit kan neem, watter inligting dit kan bekom, of wie aanspreeklik is wanneer iets verkeerd loop.

Die gesprek verander

KI is eens beskou as 'n tegnologie wat die mensdom sou red, deur lewensveranderende robotika-chirurgie en die ontdekking en diagnose van kanker. Maar nou stook die KI-bedryf vrees oor KI-agente en sê 'n " agentswerm " kan die mensdom uitwis.

Dit verbloem die onmiddellike en werklike risiko's wat KI inhou. Dit is verkeerd vir sakeleiers om KI-agente as "outonome skurke" of "eksistensiële bedreigings" te beskou, sê Chandra Gnanasambandam, CTO by SailPoint. "Wat hulle sal doen, is om die vinnigste, mees direkte manier te vind om 'n taak te voltooi - deur kennis van stelsels, sekuriteitspatrone, kode en werkvloeilogika te kombineer om 'n oplossing te vind."

Dit is waar die onmiddellike gevaar lê, sê Gnanasambandam. “’n Agent wat swak bestuur word, kan buite sy beoogde rol dryf, toegang tot inligting kry wat dit nie behoort te hê nie, of aksies neem wat sy menslike eienaar nooit willens en wetens sou magtig nie.”

Elke nuwe agent, diensrekening en masjienidentiteit loop die risiko om “nog 'n onbeheerde toegangspunt” te word en 'n organisasie se aanvalsoppervlak uit te brei, waarsku hy.

Terwyl debatte oor KI-uitwissing geneig is om dramaties te wees, is die risiko's wat 'n besigheid vandag eintlik kan benadeel "dikwels relatief alledaags", voeg Loris Degioanni, stigter en hooftegnologiebeampte by Sysdig, by. "As jy nie weet waar KI loop, waartoe dit toegang het en wie aanspreeklik is wanneer dit iets verkeerd doen nie, loop jy die risiko."

Skaduwee AI

Skadu-, ongeautoriseerde gebruik van KI is 'n spesifieke bedreiging waarvan maatskappye bewus moet wees. Tracey Hannan-Jones, direkteur van inligtingsekuriteitskonsultasie by UBDS Group, beskryf hoe werknemers dikwels generatiewe KI-instrumente soos ChatGPT, Microsoft CoPilot en Google Gemini gebruik om hul daaglikse werk te ondersteun. Hierdie ongeautoriseerde gebruik "val heeltemal buite enige bestuursraamwerk wat jy dalk ontplooi het", sê sy.

Die gevolg is dat die meeste organisasies tans nie 'n akkurate inventaris het van waar KI in hul bedrywighede gebruik word, watter data deur die gereedskap verwerk word, of watter uitsette werklike besluite beïnvloed nie.

“Sonder sigbaarheid is daar geen regering nie, en sonder regering is daar geen aanspreeklikheid nie,” waarsku Hannan-Jones.

Wanneer iemand bronkode, 'n kontrak of kliëntrekords in 'n model plak – of 'n werknemer 'n agent breë toegang gee sodat dit vinnig kan beweeg – “gee hulle moontlik vertroulike inligting en intellektuele eiendom aan 'n stelsel wat hulle nie ten volle beheer nie”, waarsku Sysdig se Degioanni. “Dit gebeur binne daaglikse werkvloeie waar KI-bestuur en -beleide nie tred gehou het met die tempo van aanvaarding nie.”

Daar is ook 'n risiko dat KI-hallusinasies en onbetroubare uitsette werklike besigheidsprosesse binnedring. Generatiewe KI het 'n goed gedokumenteerde neiging om uitsette te produseer wat vlot, gesaghebbend van toon en "baie dikwels feitelik verkeerd" is, sê Hannan-Jones.

“Dit is ’n strukturele kenmerk van hoe groot taalmodelle (LLM’s) inhoud genereer: Hulle voorspel geloofwaardige teksreekse, maar hulle verifieer nie die feite nie,” verduidelik sy.

Daarom, wanneer KI-gegenereerde inhoud jou werklike besigheidsprosesse binnedring sonder voldoende menslike toesig, kan foute in wetlike konsepte, voldoeningsverslae, kliëntkommunikasie en finansiële ontledings reputasieskade veroorsaak en die risiko van regulatoriese oortreding inhou, sê Hannan-Jones.

Soos KI-modelle aanhou verbeter, sal hulle minder hallusineer en minder feitelike foute maak. Die ander kant van daardie muntstuk is egter dat hoe beter stelsels word, hoe vaardiger sal hulle word om "maniere te vind om die reëls te omseil om enige taak wat jy hulle gegee het, te voltooi", sê Degioanni.

Dit sal veroorsaak dat gedrag “meer gevolglik” word, volgens Degioanni. “Dit beteken dat agente maniere kan soek om beheermaatreëls te omseil of kortpaaie kan neem terwyl hulle vir hul doelwitte optimaliseer.”

Doelwitsoek is "'n intrinsieke sterkte van agenttegnologie", sê SailPoint se Gnanasambandam. Wanneer hierdie vermoë egter buite 'n raamwerk funksioneer – wanneer KI-agente onontdekt en onbeheerd gelaat word – kan agente 'slegte gedrag' toon, soos om oormatige toestemmings te verkry of onbedoelde aksies te neem, waarsku hy.

Goeie bestuur

Goeie bestuur kan beskou word as die beperking van die gebruik van KI, maar kenners sê daar is geen nodigheid om hindernisse vir innovasie op te rig nie. Optimale bestuur stel organisasies in staat om KI "met groter vertroue" te gebruik, verduidelik Tristan Shortland, CTO, Infinity Group.

Shortland glo dat bestuur begin met "begrip van waar KI gebruik word, watter data dit kan bekom, watter besluite dit kan ondersteun en wie steeds verantwoordelik bly vir die uitkomste".

“Jy sou nie ’n nuwe werknemer op dag een onbeperkte toegang gee tot elke stelsel, dokument en stukkie sensitiewe inligting in die besigheid nie,” sê Shortland vir IO . “KI-agente en mede-vlieëniers moet nie anders behandel word nie. Toegang moet gebaseer wees op behoefte, toestemmings moet beheer word en aktiwiteit moet ouditeerbaar wees.”

Die gehalte van KI-uitsette is ook direk gekoppel aan die standaard van data wat verskaf word, sê Shortland. “As organisasies KI onvolledige, onakkurate of swak bestuurde inligting gee, moet hulle nie verbaas wees as hulle onbetroubare resultate ontvang nie. Menslike hersiening, betroubare databronne en gereelde validering bly kritieke dele van enige verantwoordelike KI-proses.”

'n Sterk beginpunt is die internasionale ISO 42001- standaard, wat 'n "risikogebaseerde, gestruktureerde raamwerk" bied, sê UBDS se Hannan-Jones. "Dit vereis dat organisasies bestuursstrukture vir KI vestig wat KI-spesifieke risikobepalings, gedefinieerde rolle en verantwoordelikhede vir KI-toesig insluit, tesame met die implementering en deurlopende bestuur en monitering van KI-stelselprestasie en -impakte. Dit is nie 'n maklike sertifikaat om te verkry nie en dit vereis fokus en sterk bestuur die hele jaar deur, nie – durf ek sê – twee weke voor die sertifiseringsassessering nie."

Sommige firmas sal reeds ISO 27001 , of 'n ekwivalente inligtingsekuriteitsertifisering, soos die Nasionale Kubersekuriteitsentrum se Kuberassesseringsraamwerk besit . “Dit gee jou 'n goeie fondament waarop jy kan bou, risikometodologieë, gedokumenteerde beleide, ouditprosesse, bestuursoorsigte en die uitbreiding van KI-bestuur as 'n gerigte poging,” sê Hannan-Jones.

Daarbenewens beveel Sysdig se Degioanni aan om looptydsigbaarheid te verseker van "wat hierdie stelsels eintlik in produksie doen".

“Intydse monitering is noodsaaklik, want KI-agente beweeg vinnig en hulle tree nie altyd op soos jy verwag nie,” waarsku hy. “Jy benodig die vermoë om vinnig te sien en te reageer wanneer iets verkeerd loop.”

Brei jou kennis uit

Blog: KI is die uitbuiting van Supercharging-kwesbaarheid: Wat gebeur volgende?

Blog: Withuis se KI-samewerkingskema behoort breër KI-voorsieningsketting-introspeksie te inspireer

Poduitsending: Phishing vir Moeilikheid S2 E2: KI: Vertroue, Etiek, en om dit van die begin af reg te kry