Navorsers het 'n fout in Microsoft 365 se Copilot, "EchoLeak", in detail beskryf wat aanvallers in staat kan stel om sensitiewe maatskappydata te ontsluit sonder enige gebruikersinteraksie. Namate kwessies soos hierdie toeneem, is firmas selfvoldaan oor die bedreiging wat KI inhou?

In Junie het navorsers onthul dat hulle 'n fout in Microsoft 365 se ... gevind het. medevlieënier wat teenstanders in staat kan stel om sensitiewe maatskappydata in 'n "nul-klik"-aanval te exfiltreer, wat geen interaksie van die gebruiker vereis nie.

Gedoop as “EchoLeak” en vermoedelik die eerste van sy soort, die kwesbaarheid maak gebruik van ontwerpfoute wat gevind word in herwinning verhoogde generasie-gebaseerde kletsbotte en KI-agente, het navorsers by Aim Labs gesê.

in 'n blog, het die navorsers verduidelik hoe hulle 'n nuwe uitbuitingstegniek genaamd groottaalmodel (LLM) omvangskending gebruik het. “Dit verteenwoordig 'n belangrike navorsingsvordering in hoe bedreigingsakteurs KI-agente kan aanval – deur interne modelmeganika te benut,” het hulle geskryf.

Microsoft het die probleem opgelos voordat dit in werklike aanvalle gebruik kon word, maar EchoLeak demonstreer die werklike risiko's wat dit inhou. KI-gereedskap in besigheid.

Namate kwesbaarhede soos hierdie toenemend verskyn, is firmas selfvoldaan oor die bedreiging wat KI inhou, en watter stappe moet hulle neem om te verseker dat hulle veerkragtig is?

KI-gebaseerde bedreigings

KI-gereedskap hou talle risiko's vir besighede in. Byvoorbeeld, hoewel hulle opgelei is om behulpsaam te wees, verstaan hulle nie altyd wat nie gedeel moet word nie, sê Sam Peters, hoofprodukbeampte by ISMS.online.

Een van die grootste risiko's lê in die manier waarop generatiewe KI-stelsels opgelei of aangespoor word. “Hulle kan onbedoeld sensitiewe inligting stoor of na vore bring, sonder enige kwaadwillige bedoelings,” waarsku Lillian Tsang, senior databeskerming- en privaatheidsadvokaat by die regsfirma Harper James.

Indien swak gekonfigureer, kan KI-gereedskap selfs kliënt- of werknemerdata opspoor in reaksie op aanwysings. “Agtergrondprosesse kan gekaste of getokeniseerde inligting blootstel deur interaksies met eksterne stelsels,” verduidelik Tsang. “Die mees ontstellende deel is dat die gebruiker dalk nooit sal weet dat hul data verkeerd hanteer is nie, wat opsporing en reaksie des te moeiliker maak.”

Wat sake vererger, is die spoed waarteen KI aangeneem word. KI-instrumente word toenemend diep in besigheidsinfrastruktuur ingebed – dikwels saam met “vae beleide” of “beperkte sigbaarheid oor hoe hulle data verwerk en stoor”, sê Robert Rea, hoof tegniese beampte by Graylog.

Kwetsbaarhede in KI-gereedskap gooi verdere olie op die vuur. EchoLeak is 'n duidelike teken dat die sekuriteitsmodelle waarop firmas staatgemaak het, nie goed vertaal na KI nie, sê Emilio Pinna, direkteur by SecureFlag. “Gereedskap soos Copilot werk oor verskeie bronne en toestemmings heen, en trek outomaties data in om met produktiwiteit te help. Die uitdaging is dat KI nie dieselfde duidelike grense as tradisionele toepassings volg nie.”

KI-gereedskap, soos Microsoft Copilot, is ongetwyfeld kragtig, maar hulle is net so veilig soos die stelsels en bestuur rondom hulle, sê Peters. “Ek dink wat hierdie voorval beklemtoon, is dat die werklike risiko met KI tans nie net oor doelbewuste misbruik gaan nie; dit gaan oor onbedoelde blootstelling.”

Risikobewus

Soos EchoLeak wys, is die bedreiging werklik en groeiend, maar kenners dink sommige firmas is selfvoldaan oor die gevare wat met KI-instrumente verband hou. Dit is deels omdat daar soveel fokus is op wat KI kan doen, eerder as die risiko's wat dit inhou.

“Tot ’n sekere mate word besighede tans verblind deur die nuwigheid van KI en die moontlikhede daarvan,” vertel Joseph Thompson, prokureur in die kommersiële en tegnologiespan by Birketts LLP. ISMS.aanlyn“Ons vra onsself nie af of dit veilig is, wat die risiko's is, en hoe ons onsself en ons besighede kan beskerm nie.”

Die grootste probleem is dat baie organisasies KI steeds as 'n byvoeging beskou, eerder as iets wat fundamenteel verander hoe data verkry en blootgestel word, sê Peters. “Daar is 'n aanname dat verskaffers dit alles onder beheer het.”

Die realiteit is egter dat KI nie in 'n silo sit nie, sê hy. “Dit beïnvloed alles. Daardie interkonneksie is presies wat dit so riskant maak sonder die regte beheermaatreëls in plek.”

Namate KI diep geïntegreer is in kernproduktiwiteitspakkette, groei die gepaardgaande risiko's aansienlik, sê Rea. “KI-stelsels funksioneer nie meer as geïsoleerde gereedskap nie, maar ontwikkel in deurdringende lae wat ingebed is in toepassings, API's en kommunikasiekanale. Hierdie wydverspreide integrasie vergroot die potensiaal vir misbruik, toevallige data-blootstelling en lekkasie.”

As niks nou gedoen word om die probleem aan te pak nie, gaan dinge vererger. Soos die tegnologie ontwikkel, sal KI meer data, stelsels en werkvloeie raak, wat potensiële aanvalsoppervlaktes aansienlik sal uitbrei, sê Thompson.

Terselfdertyd sal besighede moet worstel met toenemend gesofistikeerde aanvalmetodes wat deur teenstanders gebruik word. “Aanvallers sal skuif van suiwer teiken van kode en infrastruktuur na fokus op KI-gedrag self,” waarsku Thompson.

Dit alles sal KI-bestuur toenemend kompleks maak, wat vereis dat spanne van regoor die besigheid saamwerk om toesig te hou oor voldoening en potensiële bedreigings te oorkom, voeg Thompson by.

Versterking van KI-bestuurstrategieë

Eerstens en bowenal is EchoLeak 'n wekroep, sê Thompson. “Dit gaan nie net daaroor om die kwesbaarheid op te los en aan te beweeg nie. Organisasies moet beide die omvang en wyse van KI-integrasie in besigheidskritieke stelsels heroorweeg.”

Met 'n toenemende aantal KI-gereedskap en -toepassings wat op die mark kom, moet besighede vinnig beweeg. Dit behels "'n ernstige stap vorentoe" in hoe maatskappye KI-bestuur benader, sê Peters. "So vervelig as wat dit waarskynlik klink, sluit dit dinge in soos duidelike dataklassifikasie, sterker toegangsbeheer, beter monitering, en, deurslaggewend, die opleiding van jou personeel om te verstaan hoe hierdie gereedskap optree."

Dit is die moeite werd om NIST se KI Risikobestuursraamwerk, wat firmas sal help om die voordele van die tegnologie te verwesenlik terwyl die risiko's daarvan verminder word. ISO's 42001:2023 Die raamwerk stel ook voor hoe om KI-bestuurstelsels verantwoordelik binne organisasies te skep en in stand te hou.

Doeltreffende bestuur kan nie 'n nagedagte wees nie. Indien wel, het jy reeds misluk, sê Peters. Vir bestuur om jou besigheid effektief te beskerm, moet dit van die begin af in jou risiko- en voldoeningsstrategieë ingebou word, adviseer hy.

“Geen besigheid kan dit bekostig om te sê ‘nee KI’ nie. Ons wil almal die voordele benut, maar dit moet verantwoordelik gedoen word,” verduidelik Peters.

Dit beteken om moeilike vrae te vra oor waar jou data is, hoe dit deur jou besigheid en jou verskaffers vloei, en wie – of wat – toegang daartoe het.

“My bekommernis is dat as besighede nie nou hierop vooruitkyk nie, hulle voortdurend op voorvalle sal reageer, eerder as om dit te voorkom,” sê Peters. “Vanuit 'n besigheidsperspektief, met die tempo van KI-ontwikkeling, sal dit vinnig onvolhoubaar word.”