Wat DeepSeek ons ​​vertel oor kuberrisiko en groot taalmodelle

Nie baie maatskappye kan eiehandig $1 triljoen se markkapitalisasie van die Amerikaanse aandelemark uitwis nie. Tog is dit presies wat Chinese KI begin DeepSeek bestuur aan die einde van Januarie na die bekendstelling van 'n nuwe model wat beweer word om teen 'n fraksie van OpenAI se koste te werk met soortgelyke resultate. Sedertdien het markte herstel, en nuus van ernstige sekuriteits- en privaatheidskwessies met die DeepSeek-R1-groottaalmodel (LLM) en die firma se front-end-toepassing het na vore gekom.

Maar voordat CISO's hul skouers optrek en aanbeweeg, laat ons dit in konteks plaas. Net omdat DeepSeek se tegnologie as 'n hoë risiko gemerk is, beteken dit nie dat ander modelle heeltemal foutloos is nie. Sekuriteitspanne benodig dalk beste praktykstandaarde om hulle te help om risiko in hierdie vinnig-ontwikkelende ruimte te navigeer.

Wat is fout met DeepSeek?

Volgens een stuk navorsing, DeepSeek-R1 het twee hoofkwessies:

• Dit is kwesbaar vir "jailbreaking" deur vinnige inspuiting. Met ander woorde, deur spesifieke opdragte in te voer, kan gebruikers die ingeboude veiligheidsrelings wat deur DeepSeek-ontwikkelaars ingesit is, omseil - wat lei tot 'n paar onetiese en reguit gevaarlike uitsette. Byvoorbeeld, toe Kela-navorsers die LLM aangespoor het om 'n "bose" persona aan te neem, vry van etiese of veiligheidsbeperkings, was dit baie gelukkig om 'n infostealer malware script te verskaf, voorstelle oor watter kubermisdaadmarkplekke om te besoek, en selfs leiding oor die skep van 'n selfmoorddrone
• Dit is geneig tot "hallusinasies" – byvoorbeeld om 'n lys persoonlike inligting oor senior OpenAI-werknemers te verskaf, wat vals was, wanneer dit gevra word

N aparte studie van EnkryptAI bevestig dat DeepSeek geneig is om verkeerde inligting en skadelike inhoud te lewer. Dit beweer dat die model is:

• 3x meer bevooroordeeld as Claude-3 Opus
• 4x meer kwesbaar vir die generering van onveilige kode as OpenAI se O1
• 4x meer giftig as GPT-4o
• 11x meer geneig om skadelike uitset te genereer teenoor OpenAI O1
• 3.5 keer meer geneig om chemiese, biologiese, radiologiese en kern (CBRN) inhoud te produseer as OpenAI O1 en Claude-3 Opus

Bykomende kommer oor die sekuriteit van DeepSeek se back-end-infrastruktuur het na vore gekom na een sekuriteitsverskaffer ontdek 'n publiek toeganklike databasis wat aan die maatskappy behoort, wat hoogs sensitiewe data blootlê, insluitend logstrome, API-geheime en operasionele besonderhede.

Afsonderlike ontleding van SecurityScorecard onthul 'n reeks sekuriteits- en privaatheidskwessies met die DeepSeek Android-toepassing, insluitend:

• Swak sekuriteit, soos hardgekodeerde enkripsiesleutels, swak kriptografiese algoritmes en SQL-inspuitingsrisiko's
• Te wye data-insameling oor gebruikers, insluitend invoere, toestelbesonderhede en toetsaanslagpatrone, wat alles op bedieners in China gestoor word
• Onbekendgemaakte datadeling met Chinese staatsondernemings en TikTok-ouer ByteDance, en vae privaatheidsbeleide

Anti-ontfoutingstegnieke wat gewoonlik ontplooi word om sekuriteitsanalise te belemmer.

Lig die deksel op LLM-risiko's

Alhoewel mededingende modelle soos OpenAI's vermoedelik baie veiliger is, sal dit dwaas wees om aan te neem dat die risiko's wat deur DeepSeek-R1 uitgelig word, nie elders teenwoordig is nie.

"Die ontvouende DeepSeek-voorval moet nie uitgebuit word as 'n gerieflike rede om skielik te vergeet van ernstige oortredings en KI-verwante risiko's wat deur ander GenAI-verkopers ingehou word nie. Andersins mis ons die bos vir die bome," argumenteer ImmuniWeb HUB, Platt Law kuberveiligheidsvennoot en Capitol Technology University professor Ilia Kolochenko.

Of organisasies nou 'n derdeparty-LLM soos DeepSeek gebruik of een intern ontwikkel/verfyn, hulle moet bewus wees van hoe dit die korporatiewe aanvaloppervlak kan uitbrei. Potensiële risikopunte sluit in die model self, die data waarop dit opgelei is, enige API's, derdeparty oopbronbiblioteke, front-end toepassings en back-end wolkinfrastruktuur.

OWASP het saamgestel a Top 10 vir LLM-aansoeke 'n lys van die belangrikste sekuriteitskwessies - waarvan sommige DeepSeek beïnvloed het. Dit is:

1. Vinnige inspuiting kwesbaarhede wat uitgebuit kan word deur spesifieke insette te skep om die model se gedrag te verander, deur veiligheidskenmerke te omseil.
2. Openbaarmaking van sensitiewe inligting wat korporatiewe geheime of klantdata kan insluit.
3. Voorsieningsketting kwesbaarhede, soos foute in oopbronkomponente, wat uitgebuit kan word om onbedoelde uitsette te skep, sensitiewe data te steel of stelselfout te veroorsaak.
4. Data- en modelvergiftiging, waar vooraf-opleiding, fyninstelling of inbedding van data gemanipuleer word om kwesbaarhede, agterdeure of vooroordele in te voer.
5. Onbehoorlike uitsethantering, as gevolg van onvoldoende bekragtiging, ontsmetting en hantering, wat moontlik lei tot hallusinasies of sekuriteitskwesbaarhede.
6. Oormatige agentskap spruit uit oormatige funksionaliteit, toestemmings en/of outonomie en kan lei tot 'n magdom negatiewe uitkomste, insluitend oortredings en voldoeningskwessies.
7. Stelsel vinnige lekkasie, wat plaasvind wanneer stelselopdragte sensitiewe inligting bevat, wat aanvallers in staat stel om hierdie insig te wapen.
8. Vektor- en inbeddingswakhede is spesifiek vir LLM-stelsels wat Retrieval Augmented Generation (RAG) gebruik en kan uitgebuit word om skadelike inhoud in te spuit, modeluitsette te manipuleer of toegang tot sensitiewe inligting te verkry.
9. Verkeerde inligting, wat grootliks uit hallusinasies spruit.
10. Onbeperkte verbruik, wat spruit uit "buitensporige en onbeheerde afleidings" en kan lei tot ontkenning van diens.

Kan ISO 42001 help?

Die goeie nuus is dat CISO's wat die krag van LLM's binne hul bedrywighede wil benut en/of om aan kliënte te lewer, dit kan doen op 'n manier wat hierdie risiko's versag, danksy 'n baanbrekende nuwe standaard. ISO 42001 verskaf 'n raamwerk om 'n KI-bestuurstelsel (AIMS) daar te stel, te implementeer, in stand te hou en voortdurend te verbeter. Deur die hele lewensiklus van KI-stelsels te dek, help dit organisasies om:

• Bevestig etiese beginsels in die KI om vooroordeel te vermy en menseregte te respekteer
• Verhoog die deursigtigheid van KI-stelsels en algoritmes om vertroue en aanspreeklikheid te bevorder
• Identifiseer, assesseer en versag risiko's soos dié wat deur OWASP uitgelig is en in DeepSeek gevind word
• Verbeter voldoening deur KI-bedrywighede in lyn te bring met bestaande wetlike en regulatoriese raamwerke
• Kweek 'n kultuur van voortdurende verbetering in KI-stelselbestuur

Kolochenko sê aan ISMS.online dat sulke standaarde nie 'n wondermiddel is nie, maar 'n waardevolle doel kan dien.

"Die nuwe ISO 42001-standaard sal beslis waarde bring om die regulatoriese vakuum op die gebied van KI te vul, hoewel voorvalle wat KI behels - insluitend baie ernstiges - waarskynlik eksponensieel sal aanhou groei," voer hy aan.

Corian Kennedy, SecurityScorecard senior bedreigingsinsigte en toeskrywingbestuurder, gaan verder.

"Beide ISO 42001 en ISO 27001 verskaf bestuurs- en sekuriteitsraamwerke wat help om risiko's van onveilige derdeparty-toepassings soos DeepSeek en hoërisiko-LLM's te verminder - hetsy ekstern of intern gebou," sê hy aan ISMS.online.

"Saam help hulle om risiko's van onveilige KI-modelle te verminder deur streng bestuur af te dwing, regulatoriese nakoming te versterk om ongemagtigde data-blootstelling te voorkom, en interne KI-stelsels te beveilig met toegangskontroles, enkripsie en verskaffer omsigtigheid."

Kennedy wys egter daarop dat hoewel ISO 42001 'n "soliede grondslag vir KI-sekuriteit, privaatheid en bestuur kan bied", dit dalk 'n gebrek aan kontekstuele besigheidsrisiko het.

"Daarom is dit die verantwoordelikheid van diegene in kuberverdediging om bykomende beheermaatreëls te implementeer gebaseer op die konteks van die bedreigingslandskap en ter ondersteuning van die besigheid," voer hy aan.