Wat kan gedoen word om beheer terug te kry namate die finansiële bedryf se skadu-KI-probleem vererger?
Soos gereedskap soos OpenAI s'n Klets GPT word alomteenwoordig, skaduwee AI is 'n toenemende probleem vir die finansiële bedryf. Die gereedskap hou verskeie risiko's in, insluitend datalekkasie en hallusinasies, wat vererger word deur die feit dat finansiële firmas in baie gevalle nie eers weet dat hulle in gebruik is nie.
Met KI-aanvaarding wat vinniger aan die rand van die organisasie plaasvind as wat bestuur kan byhou, moet die sektor leer om hierdie vinnig ontwikkelende risiko te hanteer. Hoe kan sekuriteits- en voldoeningsleiers beheer oor skadu-KI begin herwin?
Blootgestelde Sektor
As 'n hoogs gereguleerde sektor wat met groot hoeveelhede sensitiewe data handel, is die finansiële bedryf veral blootgestel aan skadu-KI. “Die bedryf hanteer hoëwaarde, hoogs gereguleerde data onder konstante druk om vinnig te beweeg,” volgens Leslie Nielsen, CISO by Mimecast. “Daardie kombinasie skep toestande waar werknemers na watter hulpmiddel ook al gryp om hul werk te doen – dikwels voordat die organisasie enige idee het dat dit gebeur.”
Tog kan dit ook daartoe lei dat werknemers hoogs sensitiewe en bevoorregte data in KI-modelle invoer. Mark McClain, stigter en uitvoerende hoof by SailPoint, noem die voorbeeld van 'n ongemagtigde instrument wat gebruik word om 'n leningsoorsprongproses te hanteer. "Dit sou finansiële data saamvoeg, kredietgeskiedenis ontleed, terme voorberei, onderskrywing fasiliteer en met belanghebbendes kommunikeer."
As die agent egter onbeperkte toegang tot maatskappystelsels het, kan hy data verkeerd interpreteer, hoërisiko-lenings goedkeur of onbedoeld kliëntinligting blootstel, wat nakomingskendings of reputasieskade kan veroorsaak, stel hy voor.
Verskeie KI-gereedskap
Die meeste gebruik van skadu-KI is prakties en taakgedrewe, aangesien werknemers hulle wend tot gereedskap wat hulle help om tyd te bespaar of handmatige moeite in hul daaglikse werk te verminder.
Die reeks gereedskap wat in finansiële firmas gebruik word, is inderdaad wyer as wat die meeste sekuriteitspanne besef, sê Mimecast se Nielsen. “In finansiële dienste gebruik werknemers algemene gereedskap soos ChatGPT, KI-geaktiveerde e-pos- en vergaderingplatforms, transkripsie- en opsommingsdienste, en analitiese kopilote. Hulle stel kliëntkommunikasie op, som dokumente op en ontleed data, bestuur werkladings met gereedskap wat hul werkgewers nog nooit hersien of goedgekeur het nie.”
Die gedrag wat die grootste risiko veroorsaak, is nie gesofistikeerd nie, wys hy daarop. “Werknemers laai dokumente op na eksterne KI-gereedskap. Hulle stuur werk-e-posse aan na persoonlike rekeninge om toegang tot KI-funksies te verkry. Hulle plak sensitiewe konteks in aanwysings omdat die instrument beter daarmee presteer.”
Alhoewel hierdie tipe KI-gebruik nie kwaadwillig is nie, skandeer KI-funksies soos dié wat nou in persoonlike e-posrekeninge aangebied word, inhoud outomaties. “Dit beteken vertroulike besigheidsdata kan in derdeparty-stelsels of opleidingsmodelle beland sonder dat enigiemand dit besef,” waarsku Nielsen.
Nie skadu-IT nie
Die risiko is kommerwekkend, maar wanneer dit kom by die hantering daarvan, moet skadu-KI nie met skadu-IT verwar word nie. Om hulle dieselfde te behandel is "'n fout", sê Nielsen. "Skadu-IT gaan oor ongemagtigde toepassings wat buite IT-toesig werk. Die risiko gaan grootliks oor sigbaarheid en beheer van die gereedskap. Skadu-KI stel 'n tweede laag bekend: Die data wat in daardie gereedskap ingevoer word, die uitsette wat gegenereer word, en die maniere waarop inligting behou, hergebruik of blootgestel kan word."
Skadu-KI is nie net skadu-IT met 'n aangehegte kletsbot nie, stem Christopher Jess, senior O&O-bestuurder by Black Duck, saam. Hy noem modelspesifieke risiko's soos "sensitiewe data-lekkasie, vervaardigde maar oortuigende uitvoer, vinnige inspuiting en ingebedde KI-funksies wat binne sagteware aankom wat reeds goedgekeur lyk".
Die risiko is hoër in finansiële dienste omdat die insette meer sensitief is en die regulatoriese gevolge van blootstelling ernstiger is, sê Nielsen van Mimecast. “Wanneer 'n werknemer kliëntdata in 'n eksterne KI-instrument indien om vinniger 'n verslag te genereer, is die risiko nie net die instrument self nie. Dit gaan daaroor of daardie data gestoor word, wie toegang daartoe het, en of dit binne die grense val wat die organisasie moet handhaaf onder die algemene databeskermingsregulasie (GDPR) of ander raamwerke.”
Daar is ook 'n breër risiko wat dikwels oor die hoof gesien word: Verantwoordbaarheid en besluitnemingsintegriteit, sê Nielsen. “Wanneer KI-gegenereerde uitsette kliëntekommunikasie of operasionele besluite sonder duidelike toesig inlig, kan organisasies nie die herkoms of akkuraatheid aantoon nie. Dit is net soveel 'n bestuursprobleem as 'n sekuriteitsprobleem.”
Blokkering van KI
Om KI-gereedskap by die werk te blokkeer help nie. Trouens, sê kenners dit kan dinge vererger. Werknemers wat duidelike doeltreffendheidswinste sien, sal dikwels alternatiewe roetes vind om KI-gereedskap te gebruik, of na gevaarliker metodes wend om resultate te kry.
“Eerder as om goedgekeurde besigheidsinstrumente te gebruik, kan personeel hulle wend tot persoonlike rekeninge, blaaieruitbreidings of gratis KI-platforms met selfs minder sigbaarheid of toesig,” sê Callum Beckwith, tegniese hoof van sagteware-ontwikkelaars by Capture Expense. IO.
Terselfdertyd is 'n maatskappy wat sê: "ons het dit verbied" nie 'n verweer wat die reguleerder sal aanvaar nadat die oortreding plaasgevind het nie, voeg Ben Jacob-Smith, stigter van die Obsessed Group, by.
“Organisasies wat uitsluitlik op beperking fokus, verhoog dikwels risiko, eerder as om dit te verminder.”
Herwin die balans
Dit mag dalk kompleks lyk, maar dit is moontlik om die balans tussen produktiwiteit en beheer te herwin deur deurlopende toesig te verseker en geïntegreerde bestuurstelsels te gebruik.
As deel hiervan kan KI-bestuursraamwerke help, Soos ISO 42001 en ISO 27001 vir inligtingsekuriteitsbestuurstelsels.
Intussen het die NIST KI Risikobestuursraamwerk bied 'n nuttige beginpunt om oor KI-spesifieke risiko's en beheermaatreëls te dink, sê Beckwith. "Dit bied 'n gestruktureerde manier vir organisasies om te bepaal hoe KI-stelsels ontwerp, gebruik en bestuur word oor hul lewensiklus, terwyl sleuteloorwegings soos datahantering, betroubaarheid en aanspreeklikheid aangespreek word.
Finansiële firmas moet ook bewus wees van die EU KI-wet, wat van toepassing is op enige Britse maatskappy wie se KI-stelsels EU-kliënte raak.
Daar is geen twyfel dat die skadu-KI-uitdaging groei namate 'n toename in KI-instrumente die mark betree nie. Maar daar is geen manier om te verhoed dat dit gebeur nie. Met KI-instrumente wat produktiwiteit kan verhoog, is die doelwit vir sekuriteits- en voldoeningsleiers in die finansiële sektor nie om innovasie te vertraag nie, maar om dit veilig te lei, sê Beckwith.
Om beheer te herwin, beveel Beckwith aan dat "gestruktureerde, sigbare en beheerde paaie" vir KI-gebruik geskep word. "Dit begin met die begrip van waar KI reeds regoor die besigheid gebruik word. Van daar af kan organisasies duidelike verwagtinge vir aanvaarbare gebruik en datahantering definieer, in lyn met regulatoriese en voldoeningsverwagtinge."
Hy glo die kerndoel moet wees om werknemers effektiewe gereedskap te bied om hul werk te doen. Die verskaffing van goedgekeurde gereedskap verwyder die behoefte aan tydelike oplossings, terwyl realistiese opleiding werknemers help verstaan hoe om KI verantwoordelik in werklike scenario's te gebruik, soos die opsomming van interne beleide, sê Beckwith. “Die doel hier is nie perfeksie nie, maar bestuurde, ouditeerbare en goed verstaanbare gebruik.”
Brei jou kennis uit
Blog: 700 Kredietbreuk: API-risiko's plaas finansiële voorsieningskettingbestuur onder die kollig









