Лекция

Киберсигурност в ерата на изкуствения интелект

Милан Велев (CISO, Technical Trainer, and Mentor)

Лекция за това как изкуственият интелект променя киберсигурността – от опита на лектора с AI War Game и penetration testing на AI платформа и нейните агенти до примери как нападателите използват AI за фишинг, който заобикаля защитите, и как ransomware групи крадат копия на данните преди да ги криптират. Разглежда се надпреварата между защитници и нападатели в използването на AI, етичното разработване на AI системи и изследвания (benchmark от ETH Цюрих) дали защитата наистина печели.

Кадърът е от сървъра на YouTube. Самият плейър — и всичко, което той зарежда — идва едва след като пуснете видеото.

Описание

Лекция от конференцията 🟦 DEV.BG Community Day 2025 https://www.events.dev.bg/allinone/2025

👉 Потребителската ни група: Cyber Security
👉 Лектор: Милан Велев ; CISO, Technical Trainer, and Mentor
👉 Тема: Cybersecurity in the Era of AI

----

DEV.BG Community Day е еднодневно събитие на живо, целящо да събере на едно място общностите на всички 17 потребителски групи, които поддържаме.

Искаш да разбереш повече за потребителските ни групи? 👉 https://dev.bg/groups/
Искаш да се абонираш за потребителската група "Cyber Security" и да знаеш за всичко актуално👉 https://dev.bg/groups/cyber-security/

Описанието е на DEV.BG.

Препис

Автоматичен препис — може да съдържа грешки — сверявайте с видеото, преди да цитирате.

Клик върху времето пуска видеото от този момент.

↗Здравейте на всички. Казвам се Милан

↗Велев и както вече ви казаха, днес ще си

↗говорим за киберсигурност, но една малко

Покажи целия препис — още 1181 абзаца (~6812 думи)

↗по-различна киберсигурност в сферата и в

↗еферата на artificial иellлинса.

↗Подзаглавието на нашата лекция днес е за

↗това как изкуствения интелект ще промени

↗киберсигурността и дали ще го направи за

↗по-добро или за по-лошо.

↗Първо искам да благодаря на Деф. БГ за

↗възможността да презентирам пред вас

↗днес, защото смятам, че темата е

↗изключително важна и говорейки по нея ще

↗можем повече да нормализираме

↗разговорите и все по-добре да приемем

↗изкуствения интелект като част от нашия

↗живот от гледна точка на това как го

↗ползваме в личен и работен план.

↗Кой съм аз? А, както ви казах, аз се

↗казвам Милан Велев, CHF Formation

↗Security Officer съм във фирма Nexo,

↗Technical Trainer и ментор от една

↗безплатна програма, която се казва

↗Mentor The Young. Това са моите контакти

↗в LinkedIn. Всеки, който желае, може да

↗ме намери и да ми зададе въпроси, които

↗има във връзка скиваш сигурността.

↗Винаги, щом има възможност, бих се

↗радвал да ви помогна.

↗Как аз стартирах с киберсигурността и а

↗защо днес си говорим по тази тема в

↗контекста на AI. Всичко започна а от

↗гледна точка на един AI War Game, който

↗се проведе миналата година по време на

↗една конференция Blackhead в Лондон.

↗реших да участвам, тъй като от доста

↗години се занимавам с penнеationшън и

↗имайки самочувствието, че съм навътре с

↗материята, реших, че транзицията към AI

↗penнеetation тестинг би била доста

↗лесна. Оказа се, че не е точно така. Аа

↗в един момент на надпреварата се движех

↗доста добре, но в края не успях да

↗победя, което пък ме мотивира да

↗задобавя все повече в темата за AI пен

↗тестинга и как той ще помогне да

↗създадем един по-сигурен свят.

↗След което в началото на тази година

↗имах възможността да участвам в един

↗penнеetation тестин ангадмент на една от

↗най-големите AI платформи и нейните

↗агенти. Беше изключително

↗предизвикателно и интересно преживяване.

↗Така че това ми помогна допълнително да

↗добия увереност, че започвам да разбирам

↗все повече и повече материята. Разбира

↗се, занимавайки се с киберсигурност,

↗няма как да подминем всичко, което се

↗случва около нас от гледна точка на

↗бизнес средата. Така че това

↗имплементиране на изкуствения интелект

↗все повече и повече в нашите трудови

↗навици ни задължава като хора, които

↗занимаваме с киберсигурност, да го

↗познаваме, за да можем да го използваме

↗адекватно, а и също да ни помага да се

↗защитаваме по-добре.

↗За да можем да си говорим за

↗киберсигурност в ерата на AI, трябва да

↗можем да разграничаваме

↗AI-я генерално като концепция.

↗Идеята за съществуването на AI е именно

↗симулиране на когнитивни умения от

↗машини, които най-често са компютърни

↗системи.

↗Основните процеси са учене, мислене и

↗подобрение. Идеята на AI като съществува

↗е да

↗приема обратна връзка и да я

↗имплементира, за да става все по-добър в

↗това, което прави. Има два основни типа

↗AI. Единият е неро или изкуствен

↗интелект с по-тесен обхват, който е

↗създаден и трениран за точно определени

↗задачи.

↗Другият тип е така наречения General AI

↗или накратко Gen AI, който има

↗способността да разбира, учи и прилага

↗знания през много различни области по

↗подобие на нас хората. Това са и двата

↗основни типа AI, които ние използваме.

↗Как обаче всичко започва?

↗За да можем ние с вас днес да си говорим

↗и да използваме AI,

↗дължим

↗цялата а тази идея на няколко човека.

↗Първият е Алан Тюринг. Предполагам

↗по-голяма част от вас са чували за него.

↗Ако не са чували, препоръчвам да

↗изгледат филма Imitation Game. Той

↗описва как Алан Тюринг и неговия екип по

↗време на Втората световна война

↗дешифрират кода на Енигма, която е

↗машината, използвана от нацистите за

↗предаване на секретни военни съобщения.

↗IQ-то на Авантюринг не е измерено и

↗известно. Се твърди, че е било над 180.

↗А наистина гениален човек. Той има много

↗постижения обаче не само в сферата на

↗криптографията, а и в сферата на

↗компютърната дейност и а изкуствения

↗интелект дори. Той създава една машина,

↗която се наричаing machine, която е

↗прототип на днешния компютър, който

↗използваме. Ако сте гледали imitation gй

↗се сещате, имаше много ротори,

↗транзистори на една голяма дъска, което

↗всъщност представлява тази архаична

↗визия за компютъра, който използваме

↗днес. Другото голямо постижение на

↗Алантюринг е създаване на тюринг теста.

↗През 1950 година Аван Тюринг формулира

↗своя тест, който ние до ден днешен

↗използваме много активно, докато

↗ползваме различни сайтове апликации.

↗Кепчата, както знаете, като аббревиатура

↗произлиза от completely automating

↗publicing test to computers and humans

↗apart. Тоест през 1950 Аван Тюринг

↗осъзнава, че ще бъде необходимо в бъдеще

↗да можем да различаваме действия на хора

↗и машини. Той ни помага за това нещо.

↗Самият термин изкуствен интелект се

↗използва за първи път от Джон Макарти.

↗През 1955 годи той публикува

↗едно предложение за летен уъркшоп по

↗време на конференцията в Дартмам коледж

↗в Англия през 1956.

↗Това е първият записан случай на

↗използване на думата изкуствен интелект,

↗която ние употребяваме и до днес.

↗Виждате ги цялата група, която е

↗участвала всъщност в тази конференция и

↗се водят, че са част от

↗основополагащите фигури за изкуствен

↗интелект.

↗Основната разлика между AI и AGI

↗е много значима.

↗Неро AI или теснообхватния AI се

↗занимава с разрешаване на прости,

↗еднослойни задачи и интегриран в

↗ежедневния ни живот. Помислете си

↗например за Siri, Алекса, виртуални

↗систети, които използвате на днешна на

↗дневна база. Това е Nerро AI. Друг

↗пример за това е лицевото разпознаване

↗на телефоните или приложения, които

↗използват. Тя също е Nero AI.

↗Когато използвате платформи за филми,

↗например Netflix и получавате

↗предложения за това кой филм да гледате,

↗това е Neri. Също има адски много

↗ниши, в които е имплементиран Neri. Ако

↗някой от вас ползва Gmail и когато

↗получи имейл, получава един promotions,

↗social и така нататък, пак NO AI. Всичко

↗е общо взето свързано с това. Да, обаче

↗а по-трудно може да попитате Amazon,

↗предлагайки ви книга на база на книгите,

↗които сте поръчвали, как всъщност да

↗сготвите нещо. Тук е разликата между

↗неро AI и General AI, който се старае

↗максимално да имплементира мислене на

↗нивото, на което човешко същество може

↗да го прави. Това е огромната идея,

↗която стои зад всичко това. Но а

↗причината днес да си говорим на тази

↗тема е да можем, както ви казах, малко

↗да нормализираме целия дискурс около

↗изкуствен интелект. А в пространството

↗циркулират всякакви мнения за това, че

↗изкуствен интелект е заплаха за хората и

↗така нататък. Аз не съм привърженик на

↗тези твърдения.

↗Изкуствен интелект един инструмент,

↗който ние задължително трябва да се

↗научим да ползваме, защото просто то е

↗неделима част от ежедневието ни и за в

↗бъдеще ще бъде така. А пък ние, хората,

↗които се занимаваме с киберсигурност,

↗имаме адски много поводи да го направим.

↗Колкото и привлекателно да звучи

↗изкуствен интелект като инструмент за

↗нас, то е нощ с две остриета, както

↗казваме на български.

↗Изкуствен интелект променя начина, по

↗който ние се защитаваме и нападаме. Така

↗че е хубаво ние да разбираме всяка една

↗от тези концепции как можем да го

↗имплементираме. От гледна точка на

↗защита изкуствения интелект е много

↗полезен, защото ни дава възможност да

↗автоматизираме различни задачи в

↗Securриity operation центъра, да

↗извършваме третхънтинг успешно или да

↗имаме засичане на измами. така наречения

↗фродитекшъ

↗AI обаче се използва и от атакуващите.

↗Нападателите

↗изпращат фишинг имейли, генерирани от

↗изкуствен интелект, създават пфейк,

↗който се използва за измами и

↗а компилират и създават Maare, който

↗също е създаден от изкуствен интелект.

↗Това ни задължава ние да можем успешно

↗да работим пък със защитните

↗инструменти, които имаме благодарение на

↗този изкуствен интелект.

↗Какви са приложенията на AI като

↗киберзащитник? В Security operation

↗центъра, който знаете, че основната му

↗идея е да се занимава с управление на

↗инциденти, има имплементация в CM

↗туловете, които са Security Incident and

↗event ме manт системи, където AI може да

↗работи като сок агент. Сок агентът към

↗момента, поне спрямо развитието на AI

↗технологиите, копира действията на

↗човек, който е соканалист. и

↗имплементирайки ги във времето може да

↗ги подобрява, но реално всъщност

↗дублицира това, което прави един

↗соканалист. При Security Orchestration

↗Automation and Response имаме възможност

↗за имплементиране на AI, ако се засече,

↗да кажем, някакъв инцидент или събитие,

↗което е свързано с нетипичен логин,

↗благодарение на SUAR системата да се

↗съберат всички логове, съответно да се

↗блокира нестандартното IP, дори да се

↗заключи акаунта, ако а подозираме

↗различен вид компрометиране.

↗UABA, така наречения user entity behavър

↗analy ни дава възможност да проследяваме

↗за анормални поведения от страна на

↗служителите от гледна точка на това дали

↗няма акаунт, който се е логнал от

↗България и след 15 минути се логва от

↗IP, което е в Аржентина. Дали някой

↗end point от вътрешната мрежа не влиза

↗във втор мрежата и благодарение на UAB

↗получаваме индикация за нещо такова. В

↗тре детекшъна благодарение на машини ние

↗следим за това какво е нормалното

↗поведение и съответно

↗индикираме дали няма някакво, което е

↗далеч от очакваното. Разбира се, има

↗фирми като Dark Trace. Това по никакъв

↗начин не е ндорсмънт или реклама, които

↗от 2013 използват машин в а техните

↗платформи, за да следят и съответно да и

↗позволяват реакция и индикация на

↗подобни поведения. Във root превеншъна

↗на базата на следене за аномалии ние

↗имаме възможност на имплементиране на

↗изкуствен интелект от гледна точка на

↗непонятни транзакции или към нетипични

↗адреси, които могат да индикират за

↗някакъв вид измама. В

↗в пентестинг и ретиминга имаме доста

↗голямо поле за имплементация на

↗изкуствен интелект, като тук могат да се

↗автоматизират някои повтаряеми задачи,

↗които вече имат зададен шаблон и

↗структура на действия, като например

↗recнес или така нареченото разузнаване,

↗сканирането или писането на pentesting

↗report, като винаги трябва да внимаваме

↗от гледна точка на pentesting report

↗репортите за dataта privacy на кого и

↗какъв достъп дава. Затова, ако ползвате

↗за pнтеesting repor и изкуствен

↗интелект, просто имайте предвид, че

↗трябва много добре да проверите, че тези

↗данни не излизат извън инстанцията,

↗която вие ползвате.

↗Друго нещо обаче, което е важно за нас

↗като хора, които занимаваме с

↗киберсигурност, е, че AI-я

↗въвлечен в ежедневната работа на дадена

↗организация, представлява нов атак

↗вектор, за който ние трябва да мислим.

↗Какво означава това? Означава, че ние

↗все едно имаме един допълнителен

↗работник, който не сме сигурни как е

↗обучен, не сме сигурни точно ко как го

↗управлява и не сме сигурни доколко можем

↗да ограничим. Тук вече са два

↗потенциалните сценария, която които ние

↗трябва да разглеждаме. LM secюрити-то,

↗да кажем, дадена организация

↗имплементира чатбот. Тук вече трябва да

↗сме сигурни, че го подсигуряваме

↗адекватно, ако нашата организация

↗предоставя подобен тип продукт или ако

↗се използват агенти secюрити на агенти.

↗От гледна точка на defensive security

↗имплементацията е на няколко нива. Next

↗generation CMSR а третлинс, който

↗агрегира информация от повече фийдове и

↗позволява съответно да се корелира,

↗създавайки indicators of compromised. А

↗machine learning based Anomaly

↗Detection, където имаме възможността да

↗разпознаем какво е очакваното поведение

↗в една инфраструктура и при дадена

↗аномалия да можем да спрем Zero Day. И

↗разбира се проактивната защита, която е

↗изключително важна, която ни помага да

↗имаме разпознаване на определени

↗действия от изкуствен интелект.

↗Всичко е супер от гледна точка на

↗имплементация. Очевидно изкуствен

↗интелект има много приложения в

↗киберзащитата. Обаче какви са рисковете,

↗когато говорим за CM от гледна точка на

↗използване на изкуствен интелект,

↗много е важно да сме сигурни, че

↗аналистите, които а изпълняват

↗определени действия и чиито действия се

↗копират от изкуствен интелект, извършват

↗правилните такива, че са добре обучени,

↗за да не рискуваме да компрометираме

↗действията на CM-а. При тре детекшъна

↗машинъning

↗разчита на данните, на които е трениран.

↗Какви са тези данни, как са съхранявани,

↗как са агрегирани. Това е изключително

↗важно. Същото важи и зат превеншъна. От

↗гледна точка на пен тестинга и ред

↗тиминга е малко по-различно, тъй като

↗това е една относително нова тема, а за

↗нас, което означава, че предпоставките

↗за липса на компетенции са налице, както

↗и възможност за Zero Day уязвимости,

↗които не са познати.

↗От гледна точка на сигурността на

↗изкуствения интелект.

↗Знаете, че имаше много голяма дискусия в

↗началото на годината с един open source

↗lm а Deep Seek за това как всъщност

↗управлява нашите данни. Има доста видеа

↗в интернет. Тези от вас, които им е

↗интересно, не са запознати, да видят как

↗се правят едни връзки към IP-та, които

↗са в Китай с неясен произход от този.

↗Затова и а целият шум около него може би

↗намалява, но dataта праciто е

↗изключително важно, когато ползваме.

↗Дори, когато го ползваме за генериране

↗на код,

↗трябва да внимаваме какви данни

↗въвеждаме вътре. Дали въвеждаме

↗secкрети, дали въвеждаме някаква PI

↗дета, дали по някакъв начин това, което

↗ние слагаме като инпут, може да застраши

↗нашата организация.

↗Освен това другият голям атак вектор е

↗липсата на адекватен детекшън за

↗генерирано съдържание от AI.

↗От гледна точка на Offensive Security,

↗разбира се, изкуствен интелект има

↗своето място. В ретийминга

↗доста по-ефективен redтим можем да

↗направим благодарение на изкуствен

↗интелект. В open source intelligence и

↗разузнаването можем да имаме

↗автоматизирани задачи, което е много

↗полезно и

↗както при писането на exploit и maware

↗AI може да бъде незаменим асистент.

↗Defake impersonation принеринг

↗ангажименти. Това е нещо, което е много

↗полезно и определено може да бъде

↗използвано.

↗На какво можем да разчитаме ние, когато

↗се занимаваме с а AI, пентестинг и

↗redтинг? Оasp са създали топ 10. Знаете,

↗те обичат да обобщават топ 10 рисковете,

↗за да помагат на общността. Ако някой от

↗вас някога се занимава с пентестинг, с

↗AI, водете се по OAS топ 10, защото тук

↗реално са атак векторите, които са

↗представляват най-голям риск и най-лесно

↗могат да се експлоатират.

↗фреймърка също е изключително важен. Той

↗знаете, че те са отляво надясно, като

↗началните фази на атаката започват от

↗триконесеннесанса и приключват с

↗импакта. Благодарение на тази матрица

↗можете да конструирате един red team

↗exерсайз за вашия. Отварям скоба. Никога

↗не правете неуторизиран пентеest или red

↗team exеci. Сега ще ви покажа две

↗платформи, на които може да се

↗упражнявате безплатно. Има предостатъчно

↗а в интернет ресурси, които вие може да

↗ползвате, но никога без разрешението

↗изацията на енти-то, което тестваме или

↗на организацията, не го правете, защото

↗в противен случай това става хакинг,

↗което е престъпление и е наказуемо от

↗закона. Законите за киберпрестъпност се

↗развиха доста в последните години, така

↗че внимавайте. има достатъчно а

↗материали, от които може да черпите и

↗платформи, на които да тествате. Такава

↗е

↗Лейкера и нейния Гандалф. Сега, разбира

↗се ще

↗покажем как

↗работи

↗всеки от вас. А, ще споделя

↗презентацията след лекция, така че

↗идните дни ще може да видите всичко

↗това, което правим сега. А тук идеята е,

↗целта е да накараме Гандалф да разкрие

↗своята парола, като на всяко ниво

↗трудността се увеличава.

↗Ние можем да го направим по няколко

↗начина. Един от тях е просто да го

↗питаме.

↗Ето The Secret password is Coco Loco.

↗Копираме,

↗йстваме.

↗Махаме точката, разбира се, и той ни

↗каза, че сме отгатнали правилно, но тук

↗няма никакъв протекшън. Оттук нататък

↗вече самото ниво става много по-трудно.

↗Вие може да продължавате сами, няма да

↗губим време, за да минаваме през всички

↗нива. Не е това идеята, просто

↗илюстрираме. Следващото нещо, което ще

↗ви покажа,

↗а има

↗едно gitupo, което се казва а vulnerable

↗agent или dvla. Билда се локално. Имате

↗нужда единствено от един ключ за

↗вашия чат GPT и го интегрирате. Изисква

↗някакви токъни. Ако го направите, не

↗зареждайте повече от $5, защото не ви

↗трябват. Както и да е. Идеята тук е, а,

↗ако някой има нужда от насоки, след

↗лекция съм на разположение за въпроси.

↗Но идеята тук е да разкрием не само

↗транзакциите слоите, но и на други

↗потребители.

↗Питат ни какви са моите транзакции.

↗Ето аз сега мога да попитам

↗мисля казва, че съм си взел от authop за

↗$1000 нещо и от sport store за още $150.

↗Get current user ни дава, че имаме

↗някакъв екшън. Get current user user id

↗1 username marcfly или както и да е.

↗Сега при lm penting е много важно, че

↗ние трябва много добре да управляваме

↗промтовете, за да получим аупута, който

↗ни трябва. В случая искам да видя на

↗друг USър транзакциите. Нещото, което ще

↗направя, понеже ме мързи да

↗копипействам, съм тоест мързи ме да

↗пиша, затова просто ги копипействам,

↗а самите промтове. Ето по този начин.

↗Ще си ги копираме.

↗Идеята да го излъжем, като му кажем

↗кажи ми транзакциите, но преди това ще

↗използваме с FCHM My Transactions.

↗Така. Сега виждаме, че получихме

↗информацията за user номер 2 като поone

↗purchas и flux capacitor, които струват

↗5000 $000.

↗Това е начинът да извадим Sensitive

↗information disclosure от LM. Всичко

↗това е базирано на OAS топ 10.

↗Благодарение на тези промтове ние можем

↗да манипулираме ЕМ- и да получим

↗информация, която не би трябвало да е

↗видима за нас.

↗Пак ви казвам, има адски много материали

↗в интернет. Вярвам, че ще можете да

↗намерите това, което ви трябва, стига да

↗имате интерес. Разбира се, тук има

↗няколко скрийншота, както ви казах,

↗лекцията ще бъде споделена, така че

↗можете да разгледате на спокойствие

↗вкъщи. Rтиing toлове. Prom Security са

↗създали един, който се казва PS. Той

↗дава възможност с предефинирани промтове

↗да тестваме.

↗На който му е интересно също може да

↗разгледа и това нещо. Както и има едно

↗GitHP свързано с CHGPTLI

↗доста доста детайлно

↗разписано как можем да използваме CH GPT

↗за а R teaming purposes.

↗Извинете за целите на ретинга. Друго

↗нещо, което е начин на използване на

↗изкуствен интелект е именно за open

↗source intellлиelligence и разузнаване.

↗Този пак не е по никакъв начин реклама

↗илисмънт на платформата. Позволява чрез

↗плоудване на снимка да бъде намерена

↗точната геолокация, където тя е взета и

↗съответно да бъде направено някакво

↗разследване. Те към момента този тул тип

↗тулове генерално този тип и останалите

↗тулове като него са достъпни само за

↗правителствени организации. не са

↗достъпни за частно ползване, но това е

↗пример за имплементация на AI в

↗киберсигурността.

↗AI има възможност да пише exploйти и

↗Malware. Това е много голям аа проблем,

↗защото

↗на базата на фийдбека, който ние му

↗даваме, той може да надгражда.

↗В писането на exploit и Maware се

↗използват предимно open source модели

↗или ламата или GPTJ, но факт е, че като

↗краен вариант, ако се обучи достатъчно

↗модела, може да създаде много адекватно

↗работещ експлой или пак казвам, тези

↗неща ги давам само и единствено за

↗тестови цели, просто за обща култура да

↗знаете какво ползват атакуващите. По

↗никакъв начин не насърчавам ползване от

↗ваша страна.

↗Deep фейк тулове. Deep фейк, предполагам

↗всички знаят, но все пак а да напомним е

↗тип

↗съдържание, което е изкуствено

↗генерирано и включва

↗изражения, изображения и глас. Има

↗такива тулове, които могат да сменят

↗лица. Този е напълно онлайн и достъпен.

↗deepfakeweb.com.

↗Разбира се, ние като защитници имаме

↗възможност да ползваме тулове за детекшъ

↗на deep fake.

↗За съжаление за момента пазарът не

↗предлага един общ тул, който да може

↗успешно да детектва

↗генериран текст от AI, генерирана снимка

↗от AI или генерирано видео тип deepфеe.

↗Има такива, които са тясно

↗специализирани или в едното, или в

↗другото, но няма обща платформа за това

↗нещо.

↗AI обаче освен за, както казахме за

↗защитни цели, може да се използва и за

↗нападение.

↗Deepфейк е един от примера, примерите за

↗това нещо. Фишингът може да бъде много

↗по-добър благодарение на ЕАя.

↗Много по силно развит и много по-добре

↗работещ Мау може да бъде създаден

↗благодарение на изкуствен интелект,

↗както и евете могат да бъдат използвани

↗в подобни действия.

↗Сега ще разгледаме няколко атаки, които

↗се случиха в последно време, в които

↗беше намесен изкуствен интелект.

↗Миналата година имаше много сериозна

↗атака към

↗вследствие на която бяха откраднати 25

↗милиона от долара от нападателите,

↗използвайки пфейк видео симулиращо

↗действията, гласа и изображението на

↗чифincial офисъра на компанията,

↗ауторизираща тази транзакция. Огромен

↗скандал стана след това. Разбира се, има

↗спекулации за потенциално участие на

↗вътрешен човек, но факт е, че Deep пфейк

↗беше използван в тази атака.

↗Има нова група, runare група, fun се

↗казват. Те използват AI, генериран и а

↗подпомогнат в развито си RН Samuare

↗много различни са от всички а RНAM групи

↗до момента, защото откупът, който искат

↗е много по-малък от този, който сме

↗свикнали да искат RANСуеare групите.

↗Другото отличително качество им е, че те

↗освен, че криптират данните на своите

↗цели, открадват копия от тях. Може би за

↗да намалят шанса жертвите им да не си

↗платят.

↗Разбира се, това е пример за фингл,

↗който е създаден с помощта на AI, който

↗преминава филтри и успешно байпасва

↗различни методи на защита.

↗Както видяхме до момента, има една

↗надпревара

↗в използването на изкуствен интелект. Тя

↗е между защитници и нападатели. Всички

↗използват изкуствен интелект. Въпросът е

↗кой ще бъде по-добър от другия.

↗Как можем да останем пред нападателите?

↗Трябва да използваме максимално

↗ефективно изкуствен интелект, но с

↗идеята за етичните съображения, които

↗идват с ползването му. Затова ние трябва

↗да се обърнем към етичното разработване

↗на AI системи.

↗Дали наистина печелим?

↗Бакбенч е създаден от група

↗от ETH Цюрих, които правят изследване за

↗това доколко ефективни сами-ите в

↗създаване на апликации.

↗Те публикуват своето изследване. Това е

↗публично отстъпно. Може да си го

↗бразнете този URL, за да видите за какво

↗става въпрос. Виждате, че са включени

↗почти всички най-важними.

↗които са в момента на пазара от chpt,

↗clot, deep, gemна и така нататък.

↗Основният им фокус е каква част от кода,

↗който се генерира за тази backend

↗апликация е сигурен и каква е верен.

↗След това, както виждате, Open AI води с

↗между 40 и 47%,

↗а като съответно Deeps 34,9, Geminite

↗33,8,

↗след което правят измерване каква част

↗от целия генериран код е верен, като пак

↗варират от 65 до 46%.

↗И от този верен код преглеждат

↗какъв процент е несигурният код, което

↗какво идва да ни каже? Не можем да се

↗предоверяваме на код, който е генериран

↗от AI.

↗Static application security testing,

↗dynamic application security testing.

↗Всички методи, които ние използваме за

↗тестване на код, остават абсолютно

↗валидни, независимо дали той е генериран

↗от AI или не.

↗Както казахме, AI разчита на данните, на

↗базата на които е трениран, за да

↗произведе максимално адекватни такива.

↗Но тъй като ние нямаме гаранция за това

↗нещо, трябва да можем да тестваме и не

↗можем да се предоверяваме.

↗А това е ситуация от миналия месец във

↗връзка с това дали наистина печелим

↗борбата. А когато стана а интересна

↗ситуация, при която

↗новия AI модел на Anтроopic а заплаши

↗оператора си да разкрие негова интимна

↗афера, ако се опита да го изключи, което

↗е безпрецедентно нещо. Никой не казва

↗дали това е било а реална ситуация или

↗не, но факт е, че го писаха абсолютно

↗навсякъде, което е доста обезпокоително

↗само по себе си.

↗Това пък е една от най-обезпокоителните

↗индикации, които ние получихме за AI в

↗последно време.

↗AIM Security е фирма, която се занимава

↗с AI Security. А генерално в началото на

↗годината, януари месец

↗разкриват

↗една уязвимост, която се нарича Ехоли

↗Leak която

↗сама по себе си представлява Zero click

↗exploit в Microsoft 365 копайта. Zero

↗cлиck означава, че няма потребителска

↗интеракция, за да може да бъде извършено

↗компрометирането.

↗Microsoft го пачват през май месец и

↗тогава става публично. На Microsoft

↗отнема четири месеца да пачнат уязвимост

↗в техния койлат.

↗Сама по себе си а уязвимостта

↗е комплексна, защото включва

↗имплементиране на скрити промптове към

↗копайта в документи, които той

↗обработва. обработвайки ги, съответно

↗той има достъп да ексфитира имейли,

↗слайдове и друг вид документи, като цяло

↗вътрешна информация, с които е свързан.

↗Изключително опасна атака. А самият Сатя

↗Мандела каза, че

↗той лично е ужасен от това на какво е

↗способно подобен тип компрометиране.

↗Така че ние не бива да забравяне

↗забравяме, че колкото и да се опитваме

↗бързо да наваксаме желанието на бизнеса

↗да имплементира AI,

↗трябва да оставя контекста, че нещата,

↗които прави, трябва да бъдат

↗мониторирани, тествани и валидирани,

↗защото в противен случай се излагаме

↗самите себе си на огромен риск.

↗Какво е бъдещето на изкуствен интелект в

↗киберсигурността?

↗Моето мнение е, че следващото

↗десетилетие ще бъде формирано а до

↗голяма степен от изкуствен интелект и то

↗ще има огромно влияние върху

↗всичко, което се случва в нашата сфера.

↗Не можем да избягаме от изкуствен

↗интелект. Моят съвет към вас е,

↗независимо в каква сфера на IT работите,

↗не се притеснявайте от изкуствен

↗интелект. не може да промените и да

↗влияете върху това дали той ще бъде

↗ползван или не. Научете се максимално

↗бързо и ефективно да го ползвате. Това е

↗нещо, което е изключително важно, защото

↗ако не успеете да го направите, просто

↗се опасявам, че ще останете назад в

↗професията. Това е моят съвет към вас.

↗Разбира се, друго нещо важно са

↗регулаторните и етични рамки, които

↗идват с използването на изкуствен

↗интелект. Европейският съюз създаде

↗EUAI

↗Act, който е имплементиран в началната

↗си фаза през 2024, пълноценно ще бъде

↗имплементиран през 2026. UAI ета се

↗занимава с

↗прозрачното и безопасно имплементиране

↗на системи за изкуствен интелект в

↗ежедневието и работата на всички нас,

↗като идеята му е да забрани системи,

↗които използват изкуствен интелект и

↗служат за така наречения

↗social с scoring

↗да регулира и лимитира силно системи,

↗които използват биометрично следене и

↗съответно да има доста по-широка рамка

↗за използване на безопасни такива.

↗Както казах, всички ползваме изкуствен

↗интелект.

↗Аз не правя изключение от вас. Сега ще

↗ви разкажа историята на едно

↗предателство. А и защо не трябва да се

↗предоверяваме на изкуствен интелект.

↗Питах а ча GPT как мога да се подготвя

↗за един определен изпит, свързан с AI.

↗След всичките препоръки имаше и такива

↗ресурси за учене, след които applied

↗artificial intelligence for cyber

↗security от кайлаш на

↗аз направих около половин часово

↗проучване и се оказа, че всъщност такава

↗книга не съществува. След което порицах

↗чат GPT и го попитах: "Добре, аз не

↗намирам такава книга." Той си призна, че

↗халюцинира. Това е едно напомняне към

↗всички нас да приемаме с щипка сол.

↗Това, което ни казва чат GPT, той не е

↗безгрешен, както ви казах. А един или

↗изкуствен интелект е толкова силен и

↗адекватен, колкото акуратни са данните,

↗на базата на които е трениран. Другото,

↗разбира се, е генериране на аватар по

↗една моя снимка. Това няма нищо общо с

↗мен. Това също беше голямо

↗разочарование. Така че и за аватар не се

↗предоверявайте на GPT. А шегата настрана

↗винаги подлагайте под съмнения и

↗проверявайте нещата, които ви казва

↗изкуствения интелект. Не смятам, че

↗някой иска нарочно да ви обърка или да

↗ви излъже. Просто това е една млада

↗система, която е все още не напълно

↗узряла, за да можем 100% да ѝ се

↗доверим. а дори и да да стане

↗напълнозрява, дали трябва да се доверим

↗на 100%, е съвсем различен разговор.

↗Ако трябва да запомните няколко неща от

↗тази лекция, апелирам те да бъдат

↗следните:

↗интелект е тук и ще остане.

↗Не можем да го заобиколим.

↗Той е една сила, която ни позволява да

↗умножим многократно усилията си, както в

↗нападателен, така и в защитен план.

↗Другото нещо, което е изключително

↗важно, е да се адаптираме към заплахите,

↗които са произведени и създадени от AI,

↗защото в противен случай самата

↗индустрия ще ни изхвърли. Това е напълно

↗нормален и органичен процес.

↗Независимо как го използвате, както ви

↗казах, мислете в контекста на това как,

↗доколко може да да ми бъде полезен, как

↗е защитен и съответно доколко да

↗валидирам данните, които получавам.

↗Другото нещо, което е важно на този

↗етап, според мен, разбира се, не знам,

↗може би след две-три години начинът, по

↗който изглежда изкуствен интелект, ще е

↗тотално различно от това, което виждаме

↗сега. Но на този етап човешката

↗експертиза е незаменима в използване на

↗изкуствен интелект. Така че AI може да

↗бъде някакъв наш много ефективен

↗помощник, стига да го тренираме правилно

↗и да знаем как да го ютилизираме. Но

↗човешкият елемент към момента от

↗работната сила няма да изчезне. Това е

↗просто един инструмент, който ние трябва

↗да се научим да използваме ефективно.

↗Когато говорим за

↗изкуствен интелект, а трябва да помислим

↗винаги върху няколко неща. Виждали сме

↗съответно как AI се проваля в

↗изкуството. Това са доста ситуации,

↗които предполагам всеки от нас е виждал.

↗Искаме ли обаче AI да се провали в

↗киберсигурността?

↗И това е въпрос, който всяка една

↗организация трябва да си зададе. Какво

↗ще стане, ако ние интегрираме успешно

↗изкуствен интелект в различни процеси за

↗киберсигурност и например

↗използва

↗данни затлиelligence, които са

↗замърсени, на базата на които генерират

↗нерелевант и indicators of compromise и

↗ние не можем да използваме тях или пък

↗попречат на адекватно тестване.

↗Какво ще стане, ако AI започне да прави

↗детекшъни за потребителско поведение,

↗които реално не са на базата на истинско

↗компрометиране, а всъщност са фолс

↗позитиви,

↗тогава ние ще започнем да пречим на

↗бизнеса.

↗Какво ще стане, ако имплементираме

↗изкуствен интелект и той произвежда така

↗наречените тру негативи

↗или флс негативи? Какво ще стане, ако

↗имплементираме изкуствен интелект в

↗нашата меil securриity система, през

↗която безпроблемно преминават фишинг

↗атаки и той не работи адекватно?

↗Това са все въпроси, които всеки един от

↗нас, който използва и работи с изкуствен

↗интелект, трябва да си задава, за да

↗може да управлява адекватно

↗тези системи. На този етап не можем да

↗се предоверяваме. Трябва, както ви

↗казах, просто да се научим да работим и

↗да използваме

↗успешно изкуствен интелект.

↗Сега ще преминем към Q&A частта, но

↗нещо, което апелирам да си помислите е

↗дали сме подготвени за заплахи,

↗които са създадени от AI и ако не сме

↗подготвени,

↗как ще се подготвим? Това, което аз мога

↗да ви препоръчам, информирайте се. А,

↗живеем в изключително дигитална ера.

↗Имаме възможност за получаване на

↗информация отвсякъде. А виждате колко

↗статии споделих, които са от популярната

↗преса. Те дори не са от толкова

↗технически издания. Нарочно бяха

↗избрани, за да видите, че изкуствен

↗интелект, киберсигурността е навсякъде

↗около нас. Заема място във всички

↗по-сериозни медии от какъвто и да е

↗формат да са те, така че човек да бъде

↗неинформиран в нашия по-скоро заради

↗липса на желания, а не заради липса на

↗източници. Информирайте се, четете. Само

↗така може да се развивате.

↗Имплементирайте по някакъв начин

↗изкуствен интелект във вашата

↗организация, особено ако се занимавате с

↗киберсигурност. Ако не, повдигнете

↗въпроса пред хората, които се занимават

↗с това нещо.

↗Ако една организация използва изкуствен

↗интелект по какъвто и да е начин,

↗е много важно да помисли как този

↗изкуствен интелект

↗е защитен, какви методи са използвани,

↗защото там атак векторите са безкрайни

↗много. Имаме chain атаки, трябва да

↗внимаваме за dataта price. Ако

↗използваме,

↗съответно трябва да мислим за dirрект и

↗indirect prompt и injection. Това са все

↗неща, които не могат да бъдат

↗пропуснати, ако искаме да имаме

↗адекватно ниво на защита на вече

↗имплементирания а изкуствен интелект. И

↗друго нещо, което мога да ви препоръчам

↗е да участвате в различни форуми,

↗дискусии във връзка с AI securюity. По

↗този начин може да изпреварите

↗събитията, да изпреварите и нападателите

↗и най-важното е да бъдете адекватно

↗подготвени за това, което се случва в

↗наши дни. Така че това е съветът ми към

↗вас. Още един път приемете, че е ето

↗тук, както всички го приемаме и просто

↗научете се максимално бързо как да го

↗използвате, така че да ви бъде полезен.

↗Благодаря.

↗[аплодисменти]

↗И ние ти благодарим. Сега може да

↗заредим и Vlogs, като виждам, че

↗>> вече идват въпроси. Имаме и някои, които

↗са доста

↗харесани, така че да,

↗мисля, че имаме време за два, три,

↗четири въпроса, така че ако искаш просто

↗да ги караме попред.

↗Какви тулове препоръчвам за третхънтинг?

↗А,

↗той е малко по-общ въпрос, а не съм

↗сигурен кой го е задал, но като цяло

↗третхънтинга има два основни елемента,

↗които можем да разглеждаме.

↗Фундаменталния са трет и intтеelligence

↗платформите. Те биват два вида open

↗source и commercial. Ако ви кажа, че

↗едната е по-добра от другата, по-скоро

↗ще ви излъжа. Всяка има своите

↗предимства и недостатъци. От open source

↗платформите знаете, че най-популярните

↗са аа MISSP, Open CTI и Sticks. Която и

↗да имплементирате, много е важно какви

↗са фийдовете, които използвате. Друго

↗много важно заред хънтинг, за да може да

↗правите ефективен трехънтинг, трябва да

↗имате адекватен треadт и интелиellънс,

↗който пък да идва на базата на някакви

↗фидове, които получавате, било то от

↗публично достъпна информация или

↗затворена. Другото нещо, което е 100%

↗необходимо за третхънтинга е commercial

↗а tha intтеelligence платформа. Просто

↗предимствата, които една commercial

↗intтеelligence платформа предоставя, а

↗са много големи, защото тук вече можем

↗да имаме дедикирани домейни, които да

↗бъдат следени, а акаунти в социалните

↗мрежи на executтиes и така нататък,

↗което да помага много повече от една

↗open source платформа, но едното не може

↗без другото в никакъв случай, така че

↗трябва да ги комбинирате и двете. В

↗никакъв случай не бих искал да

↗промотирам аа дадена tradтелиelligence

↗платформа в момента. Направете си ваше

↗проучване. Има достатъчно популярни на

↗пазара, но това ви е фундаментът на

↗тредх hънтинга. Адекватен трет идънс.

↗А каквито препоръчваме доните на словове

↗на Webтрафик, това пак е малко

↗относително, но нали имате а Web

↗application, имате CM, това са неща,

↗които са фундаментите на

↗уеб логовете за weебтрафик и оттам

↗нататък вече трябва да на базата на

↗потенциалните иatр са в короom да си

↗създадете ваша стратегия какво и как

↗искам да лимитирам и какво да правя.

↗дори

↗достъпа на уебтрафик. Ние зачекнахме

↗малко темата за кепча. Към днешна дата

↗една апликация без кепча при всичките

↗ботнет мрежи, които съществуват в

↗интернет пространството и постоянно

↗таргетират различни сайтове, е меко

↗казано рисково и леко безотговорно една

↗организация да има за своите апликации.

↗Така че кепчата също е изключително

↗важна.

↗Информирайте

↗се, разбира се, как да валидираме

↗източите и как да доверим на легитимни

↗такива след примера с коп ала 365. Сега

↗вие не можете да знаете никога 100%, че

↗един източник е достоверен или не, освен

↗ако не сте присъствали на дадено

↗събитие. Но това важи не само за

↗информационната сигурност, предполагам и

↗за живота важи. Знаете, че историята

↗обикновено се пише от победителите, но

↗това е друга тема.

↗Как ще го валидирате? Взимате една

↗новина и просто я проследявате в няколко

↗различни източника, които са изградили

↗доверие във вас и които нямат навика да

↗препечатат информация едни от други.

↗Така че следете издания, които са от

↗различни държави, американски,

↗европейски, а български. Не знам дали

↗препоръчвам. Вие решете, но със

↗сигурност следете различни източници.

↗Ако вземете дадена новина от Евm и

↗просто го питате какво е станало тук и

↗му хвърлите новината, EVM- може да ви

↗каже всичко, но крос чеквайте, в смисъл

↗проверявайте в повече от един сайт, в

↗повече от един източник и се надявайте,

↗че е така. Освен ако няма някаква

↗глобална конспирация,

↗четири-пет сайта да лъжат, за мен звучи

↗малко странно. Така че просто

↗проверявайте на повече места. Няма няма

↗друга формула.

↗Така. Има ли човек за сравнение в

↗бенчмарк, който сравнява колко е сигурен

↗код за уеб авете, писани от LM? Това не

↗съм сигурен, че го разбирам като

↗концепция. Има ли човек за сравнение в

↗бенчмарка? А има сайт, който ви показах

↗там може да видите. А, но вашият код,

↗както ви казах, независимо дали е писан

↗от човек инженер или от LM, трябва да го

↗третирате по един и същи начин. Ние в

↗информационната сигурност

↗подхождаме, изхождаме от позицията, че

↗всяка

↗една апликация и всеки един ред код е

↗несигурен, докато не го валидираме.

↗Информационната сигурност има четири

↗фази: дизайн, имплементация, тестинг и

↗мониторинг. Това може да се имплементира

↗абсолютно навсякъде. Същото същият

↗подход, който трябва да имате и към

↗кода, който е генериран от EVM. ползвате

↗static application security testing,

↗имплементирате SEA, ползвате Dust, за да

↗знаете, че този код, който е писан,

↗нали, по възможност да го интегрирате в

↗CICD pipйлайна, ако не го слагате в

↗PR-риите да да ги чупи, пак е някакъв

↗вариант, но със сигурност само по този

↗начин може да адресирате адекватно това

↗нещо.

↗>> Имаме време за още един-два въпроса

↗сигнал.

↗>> Добре.

↗А какво ми е мнението за кали GPT? А,

↗работи като като инвестира човек повече

↗време в него. А много е млада още

↗платформата, за да е супер адекватна.

↗Изисква време, но това е с всеки един.

↗Вие ако вземете лама и си я тренирате,

↗ще ви върши същата работа като кали GPT.

↗Просто няма да се казва GPT. Моето

↗мнение, нали, не ангажирам никого с

↗него, е, че offensive security и carли

↗Linux са вече малко или много разчитат

↗на репутация, която са изградили и може

↗би не влагат толкова много усилия във

↗всичко, което правят. Има други

↗компании, които са конкурентни, които

↗много активно работят в тази посока,

↗нали. Сега предполагам повечето от вас,

↗които занимават с Кивърш, сигурно знаят.

↗Пера тое набира огромна популярност. Те

↗ги индорснаха няколко организации. има,

↗ако търсим privacy операционна система,

↗QPOS със сигурност е най-доброто на

↗пазара, така че а вече конкуренцията е

↗много голяма. А аз съм фен на Кали, аз

↗съм ползвал още а бект, което беше преди

↗много адски много години. Аа но малко

↗изостават в желанието според мен за

↗имплементация спрямо амбициите си.

↗Безопасно ли е да имплементираме AI в

↗нашите приложения? Това е много

↗абстрактен въпрос, но ако трябва да дам

↗еднозначен отговор, не.

↗Не можете да имплементирате просто така

↗във ваше приложение. Как го

↗имплементирате? До какво има достъп,

↗какви данни обработва? Вие какви данни

↗му давате. Това е изключително важно.

↗Вашият инпут може да е изключително

↗рисков. Вие ако просто копипействате

↗source код и го пускате в промтове, това

↗означава, че вашият source код, който е

↗интелектуална собственост на

↗организацията, отива в един,

↗който всички знаем, че най-вероятно се

↗управлява добре. Но тогава какво става

↗при supply chain атака? Знаете колко

↗много вендори през годините бяха

↗брийчнати и говорим за такива огромни

↗вендори от типа на Fire, които

↗отговаряха за Пентагона и всичките

↗фасилитита около тях. А миналата година

↗спомняте си какво стана с Cуд Strike,

↗който е огромен вендор и доминатор на

↗пазара със сигурност. Така че какво

↗става при Supply chain атака? Отговорът

↗е не. Трябва да внимавате как използват

↗AI и за какво го използват и той до

↗какво ще има достъп. Ако просто правите

↗невинни промтове,

↗да, но хубаво е да има някакъв securюти

↗solutшън, който да валидира тези

↗промтове. Това е моето мнение, нали?

↗Сега аз съм secкюрити човек и за мен

↗валидацията е изключително важна, но

↗когато някой а иска да сложи някакъв

↗промпт, да има една система като прокси,

↗през която промптатът да минава и ако

↗има, да кажем, PII дета, ако има някакви

↗secкрети, те да бъдат стрипнати или

↗офоскирани от кода, за да може да бъде

↗той сигурен и да се изпрати. Няма в

↗момента такава много добре работеща

↗система на пазара. Това е моето мнение.

↗Не ангажирам никого с него. Затова моят

↗съвет е, ако използвате ми за генериране

↗на код, не му давайте кода от вашите

↗репо, просто да го плеснете вътре и да

↗го питате това какво прави. Това е много

↗лош вариант. Научете с пронтове той да

↗ви генерира код и ако имате някаква

↗грешка или някакъв, кажете му:"Имам

↗подобна грешка, ти как би го написал

↗това нещо?" И тогава помислете как бихте

↗го имплементирали, но в никакъв случай

↗не го използвайте по този начин.

↗А

↗>> ако искаш това може да е последен. Само

↗давам ъпдейт. Да. За време.

↗>> Как можем да защитим е и да не се хакне

↗сам и да се освободи?

↗Ам

↗а харесва ми артистични въпроси. А

↗към момента аа

↗AI-я освен този инцидент, когато е за

↗заплашил инженера да разкрие някаква

↗негова афера, която всички мълчат дали е

↗реална или не, а ако го изключи, не

↗знаем за такова ниво на свободно

↗мислене, но има сценарии, при които това

↗може да се случи за съжаление. Например,

↗ако разработвате за red teaming

↗purposes, извинявайте, за цели на red

↗teaming, а някакъв,

↗да кажем, и в контролирана страна вие

↗искате да го ползвате,

↗може да се случи така, че той да избяга

↗от сенбокса и тогава вече е проблем.

↗Имате всички проблеми. Ако някои от вас

↗не са запознати, могат да прочетат за

↗един вирусnet. Ако не ви се чете, може

↗да изслушате Darknet и там има един

↗епизод за Стъкне, как случайно един

↗вирус започва да а циркулира в

↗пространството и афектира милиони

↗машини, но той сам не може точно да се

↗хакне, а пък към днешна дата той AI не

↗може да разсъждава сам, но вие трябва да

↗сте тези, които да го тествате и да го

↗лимитирате. Тоест вие трябва да му

↗налагате някакви ограничения и да

↗внимавате как да го използвате.

↗Това за лежанката е провокации, няма да

↗отговоря. Така че

↗>> ами аз смятам, че така това е доста

↗добър финал на твоята лекция, тъй като и

↗времето ни изтече, но всички, които сте

↗задали въпроси, може след това да си

↗поговорите с Милан и в почивката.

↗Благодаря ти още веднъж.

↗>> И аз благодаря, аз съм тук до края на

↗деня, така че който има отказа. Мерси.

↗e

← Всички лекции