Киберсигурност в ерата на изкуствения интелект
Милан Велев (CISO, Technical Trainer, and Mentor)
Лекция за това как изкуственият интелект променя киберсигурността – от опита на лектора с AI War Game и penetration testing на AI платформа и нейните агенти до примери как нападателите използват AI за фишинг, който заобикаля защитите, и как ransomware групи крадат копия на данните преди да ги криптират. Разглежда се надпреварата между защитници и нападатели в използването на AI, етичното разработване на AI системи и изследвания (benchmark от ETH Цюрих) дали защитата наистина печели.
Описание
Лекция от конференцията 🟦 DEV.BG Community Day 2025 https://www.events.dev.bg/allinone/2025
👉 Потребителската ни група: Cyber Security
👉 Лектор: Милан Велев ; CISO, Technical Trainer, and Mentor
👉 Тема: Cybersecurity in the Era of AI
----
DEV.BG Community Day е еднодневно събитие на живо, целящо да събере на едно място общностите на всички 17 потребителски групи, които поддържаме.
Искаш да разбереш повече за потребителските ни групи? 👉 https://dev.bg/groups/
Искаш да се абонираш за потребителската група "Cyber Security" и да знаеш за всичко актуално👉 https://dev.bg/groups/cyber-security/
Описанието е на DEV.BG.
Препис
Автоматичен препис — може да съдържа грешки — сверявайте с видеото, преди да цитирате.
Клик върху времето пуска видеото от този момент.
↗Здравейте на всички. Казвам се Милан
↗Велев и както вече ви казаха, днес ще си
↗говорим за киберсигурност, но една малко
Покажи целия препис — още 1181 абзаца (~6812 думи)
↗по-различна киберсигурност в сферата и в
↗еферата на artificial иellлинса.
↗Подзаглавието на нашата лекция днес е за
↗това как изкуствения интелект ще промени
↗киберсигурността и дали ще го направи за
↗по-добро или за по-лошо.
↗Първо искам да благодаря на Деф. БГ за
↗възможността да презентирам пред вас
↗днес, защото смятам, че темата е
↗изключително важна и говорейки по нея ще
↗можем повече да нормализираме
↗разговорите и все по-добре да приемем
↗изкуствения интелект като част от нашия
↗живот от гледна точка на това как го
↗ползваме в личен и работен план.
↗Кой съм аз? А, както ви казах, аз се
↗казвам Милан Велев, CHF Formation
↗Security Officer съм във фирма Nexo,
↗Technical Trainer и ментор от една
↗безплатна програма, която се казва
↗Mentor The Young. Това са моите контакти
↗в LinkedIn. Всеки, който желае, може да
↗ме намери и да ми зададе въпроси, които
↗има във връзка скиваш сигурността.
↗Винаги, щом има възможност, бих се
↗радвал да ви помогна.
↗Как аз стартирах с киберсигурността и а
↗защо днес си говорим по тази тема в
↗контекста на AI. Всичко започна а от
↗гледна точка на един AI War Game, който
↗се проведе миналата година по време на
↗една конференция Blackhead в Лондон.
↗реших да участвам, тъй като от доста
↗години се занимавам с penнеationшън и
↗имайки самочувствието, че съм навътре с
↗материята, реших, че транзицията към AI
↗penнеetation тестинг би била доста
↗лесна. Оказа се, че не е точно така. Аа
↗в един момент на надпреварата се движех
↗доста добре, но в края не успях да
↗победя, което пък ме мотивира да
↗задобавя все повече в темата за AI пен
↗тестинга и как той ще помогне да
↗създадем един по-сигурен свят.
↗След което в началото на тази година
↗имах възможността да участвам в един
↗penнеetation тестин ангадмент на една от
↗най-големите AI платформи и нейните
↗агенти. Беше изключително
↗предизвикателно и интересно преживяване.
↗Така че това ми помогна допълнително да
↗добия увереност, че започвам да разбирам
↗все повече и повече материята. Разбира
↗се, занимавайки се с киберсигурност,
↗няма как да подминем всичко, което се
↗случва около нас от гледна точка на
↗бизнес средата. Така че това
↗имплементиране на изкуствения интелект
↗все повече и повече в нашите трудови
↗навици ни задължава като хора, които
↗занимаваме с киберсигурност, да го
↗познаваме, за да можем да го използваме
↗адекватно, а и също да ни помага да се
↗защитаваме по-добре.
↗За да можем да си говорим за
↗киберсигурност в ерата на AI, трябва да
↗можем да разграничаваме
↗AI-я генерално като концепция.
↗Идеята за съществуването на AI е именно
↗симулиране на когнитивни умения от
↗машини, които най-често са компютърни
↗системи.
↗Основните процеси са учене, мислене и
↗подобрение. Идеята на AI като съществува
↗е да
↗приема обратна връзка и да я
↗имплементира, за да става все по-добър в
↗това, което прави. Има два основни типа
↗AI. Единият е неро или изкуствен
↗интелект с по-тесен обхват, който е
↗създаден и трениран за точно определени
↗задачи.
↗Другият тип е така наречения General AI
↗или накратко Gen AI, който има
↗способността да разбира, учи и прилага
↗знания през много различни области по
↗подобие на нас хората. Това са и двата
↗основни типа AI, които ние използваме.
↗Как обаче всичко започва?
↗За да можем ние с вас днес да си говорим
↗и да използваме AI,
↗дължим
↗цялата а тази идея на няколко човека.
↗Първият е Алан Тюринг. Предполагам
↗по-голяма част от вас са чували за него.
↗Ако не са чували, препоръчвам да
↗изгледат филма Imitation Game. Той
↗описва как Алан Тюринг и неговия екип по
↗време на Втората световна война
↗дешифрират кода на Енигма, която е
↗машината, използвана от нацистите за
↗предаване на секретни военни съобщения.
↗IQ-то на Авантюринг не е измерено и
↗известно. Се твърди, че е било над 180.
↗А наистина гениален човек. Той има много
↗постижения обаче не само в сферата на
↗криптографията, а и в сферата на
↗компютърната дейност и а изкуствения
↗интелект дори. Той създава една машина,
↗която се наричаing machine, която е
↗прототип на днешния компютър, който
↗използваме. Ако сте гледали imitation gй
↗се сещате, имаше много ротори,
↗транзистори на една голяма дъска, което
↗всъщност представлява тази архаична
↗визия за компютъра, който използваме
↗днес. Другото голямо постижение на
↗Алантюринг е създаване на тюринг теста.
↗През 1950 година Аван Тюринг формулира
↗своя тест, който ние до ден днешен
↗използваме много активно, докато
↗ползваме различни сайтове апликации.
↗Кепчата, както знаете, като аббревиатура
↗произлиза от completely automating
↗publicing test to computers and humans
↗apart. Тоест през 1950 Аван Тюринг
↗осъзнава, че ще бъде необходимо в бъдеще
↗да можем да различаваме действия на хора
↗и машини. Той ни помага за това нещо.
↗Самият термин изкуствен интелект се
↗използва за първи път от Джон Макарти.
↗През 1955 годи той публикува
↗едно предложение за летен уъркшоп по
↗време на конференцията в Дартмам коледж
↗в Англия през 1956.
↗Това е първият записан случай на
↗използване на думата изкуствен интелект,
↗която ние употребяваме и до днес.
↗Виждате ги цялата група, която е
↗участвала всъщност в тази конференция и
↗се водят, че са част от
↗основополагащите фигури за изкуствен
↗интелект.
↗Основната разлика между AI и AGI
↗е много значима.
↗Неро AI или теснообхватния AI се
↗занимава с разрешаване на прости,
↗еднослойни задачи и интегриран в
↗ежедневния ни живот. Помислете си
↗например за Siri, Алекса, виртуални
↗систети, които използвате на днешна на
↗дневна база. Това е Nerро AI. Друг
↗пример за това е лицевото разпознаване
↗на телефоните или приложения, които
↗използват. Тя също е Nero AI.
↗Когато използвате платформи за филми,
↗например Netflix и получавате
↗предложения за това кой филм да гледате,
↗това е Neri. Също има адски много
↗ниши, в които е имплементиран Neri. Ако
↗някой от вас ползва Gmail и когато
↗получи имейл, получава един promotions,
↗social и така нататък, пак NO AI. Всичко
↗е общо взето свързано с това. Да, обаче
↗а по-трудно може да попитате Amazon,
↗предлагайки ви книга на база на книгите,
↗които сте поръчвали, как всъщност да
↗сготвите нещо. Тук е разликата между
↗неро AI и General AI, който се старае
↗максимално да имплементира мислене на
↗нивото, на което човешко същество може
↗да го прави. Това е огромната идея,
↗която стои зад всичко това. Но а
↗причината днес да си говорим на тази
↗тема е да можем, както ви казах, малко
↗да нормализираме целия дискурс около
↗изкуствен интелект. А в пространството
↗циркулират всякакви мнения за това, че
↗изкуствен интелект е заплаха за хората и
↗така нататък. Аз не съм привърженик на
↗тези твърдения.
↗Изкуствен интелект един инструмент,
↗който ние задължително трябва да се
↗научим да ползваме, защото просто то е
↗неделима част от ежедневието ни и за в
↗бъдеще ще бъде така. А пък ние, хората,
↗които се занимаваме с киберсигурност,
↗имаме адски много поводи да го направим.
↗Колкото и привлекателно да звучи
↗изкуствен интелект като инструмент за
↗нас, то е нощ с две остриета, както
↗казваме на български.
↗Изкуствен интелект променя начина, по
↗който ние се защитаваме и нападаме. Така
↗че е хубаво ние да разбираме всяка една
↗от тези концепции как можем да го
↗имплементираме. От гледна точка на
↗защита изкуствения интелект е много
↗полезен, защото ни дава възможност да
↗автоматизираме различни задачи в
↗Securриity operation центъра, да
↗извършваме третхънтинг успешно или да
↗имаме засичане на измами. така наречения
↗фродитекшъ
↗AI обаче се използва и от атакуващите.
↗Нападателите
↗изпращат фишинг имейли, генерирани от
↗изкуствен интелект, създават пфейк,
↗който се използва за измами и
↗а компилират и създават Maare, който
↗също е създаден от изкуствен интелект.
↗Това ни задължава ние да можем успешно
↗да работим пък със защитните
↗инструменти, които имаме благодарение на
↗този изкуствен интелект.
↗Какви са приложенията на AI като
↗киберзащитник? В Security operation
↗центъра, който знаете, че основната му
↗идея е да се занимава с управление на
↗инциденти, има имплементация в CM
↗туловете, които са Security Incident and
↗event ме manт системи, където AI може да
↗работи като сок агент. Сок агентът към
↗момента, поне спрямо развитието на AI
↗технологиите, копира действията на
↗човек, който е соканалист. и
↗имплементирайки ги във времето може да
↗ги подобрява, но реално всъщност
↗дублицира това, което прави един
↗соканалист. При Security Orchestration
↗Automation and Response имаме възможност
↗за имплементиране на AI, ако се засече,
↗да кажем, някакъв инцидент или събитие,
↗което е свързано с нетипичен логин,
↗благодарение на SUAR системата да се
↗съберат всички логове, съответно да се
↗блокира нестандартното IP, дори да се
↗заключи акаунта, ако а подозираме
↗различен вид компрометиране.
↗UABA, така наречения user entity behavър
↗analy ни дава възможност да проследяваме
↗за анормални поведения от страна на
↗служителите от гледна точка на това дали
↗няма акаунт, който се е логнал от
↗България и след 15 минути се логва от
↗IP, което е в Аржентина. Дали някой
↗end point от вътрешната мрежа не влиза
↗във втор мрежата и благодарение на UAB
↗получаваме индикация за нещо такова. В
↗тре детекшъна благодарение на машини ние
↗следим за това какво е нормалното
↗поведение и съответно
↗индикираме дали няма някакво, което е
↗далеч от очакваното. Разбира се, има
↗фирми като Dark Trace. Това по никакъв
↗начин не е ндорсмънт или реклама, които
↗от 2013 използват машин в а техните
↗платформи, за да следят и съответно да и
↗позволяват реакция и индикация на
↗подобни поведения. Във root превеншъна
↗на базата на следене за аномалии ние
↗имаме възможност на имплементиране на
↗изкуствен интелект от гледна точка на
↗непонятни транзакции или към нетипични
↗адреси, които могат да индикират за
↗някакъв вид измама. В
↗в пентестинг и ретиминга имаме доста
↗голямо поле за имплементация на
↗изкуствен интелект, като тук могат да се
↗автоматизират някои повтаряеми задачи,
↗които вече имат зададен шаблон и
↗структура на действия, като например
↗recнес или така нареченото разузнаване,
↗сканирането или писането на pentesting
↗report, като винаги трябва да внимаваме
↗от гледна точка на pentesting report
↗репортите за dataта privacy на кого и
↗какъв достъп дава. Затова, ако ползвате
↗за pнтеesting repor и изкуствен
↗интелект, просто имайте предвид, че
↗трябва много добре да проверите, че тези
↗данни не излизат извън инстанцията,
↗която вие ползвате.
↗Друго нещо обаче, което е важно за нас
↗като хора, които занимаваме с
↗киберсигурност, е, че AI-я
↗въвлечен в ежедневната работа на дадена
↗организация, представлява нов атак
↗вектор, за който ние трябва да мислим.
↗Какво означава това? Означава, че ние
↗все едно имаме един допълнителен
↗работник, който не сме сигурни как е
↗обучен, не сме сигурни точно ко как го
↗управлява и не сме сигурни доколко можем
↗да ограничим. Тук вече са два
↗потенциалните сценария, която които ние
↗трябва да разглеждаме. LM secюрити-то,
↗да кажем, дадена организация
↗имплементира чатбот. Тук вече трябва да
↗сме сигурни, че го подсигуряваме
↗адекватно, ако нашата организация
↗предоставя подобен тип продукт или ако
↗се използват агенти secюрити на агенти.
↗От гледна точка на defensive security
↗имплементацията е на няколко нива. Next
↗generation CMSR а третлинс, който
↗агрегира информация от повече фийдове и
↗позволява съответно да се корелира,
↗създавайки indicators of compromised. А
↗machine learning based Anomaly
↗Detection, където имаме възможността да
↗разпознаем какво е очакваното поведение
↗в една инфраструктура и при дадена
↗аномалия да можем да спрем Zero Day. И
↗разбира се проактивната защита, която е
↗изключително важна, която ни помага да
↗имаме разпознаване на определени
↗действия от изкуствен интелект.
↗Всичко е супер от гледна точка на
↗имплементация. Очевидно изкуствен
↗интелект има много приложения в
↗киберзащитата. Обаче какви са рисковете,
↗когато говорим за CM от гледна точка на
↗използване на изкуствен интелект,
↗много е важно да сме сигурни, че
↗аналистите, които а изпълняват
↗определени действия и чиито действия се
↗копират от изкуствен интелект, извършват
↗правилните такива, че са добре обучени,
↗за да не рискуваме да компрометираме
↗действията на CM-а. При тре детекшъна
↗машинъning
↗разчита на данните, на които е трениран.
↗Какви са тези данни, как са съхранявани,
↗как са агрегирани. Това е изключително
↗важно. Същото важи и зат превеншъна. От
↗гледна точка на пен тестинга и ред
↗тиминга е малко по-различно, тъй като
↗това е една относително нова тема, а за
↗нас, което означава, че предпоставките
↗за липса на компетенции са налице, както
↗и възможност за Zero Day уязвимости,
↗които не са познати.
↗От гледна точка на сигурността на
↗изкуствения интелект.
↗Знаете, че имаше много голяма дискусия в
↗началото на годината с един open source
↗lm а Deep Seek за това как всъщност
↗управлява нашите данни. Има доста видеа
↗в интернет. Тези от вас, които им е
↗интересно, не са запознати, да видят как
↗се правят едни връзки към IP-та, които
↗са в Китай с неясен произход от този.
↗Затова и а целият шум около него може би
↗намалява, но dataта праciто е
↗изключително важно, когато ползваме.
↗Дори, когато го ползваме за генериране
↗на код,
↗трябва да внимаваме какви данни
↗въвеждаме вътре. Дали въвеждаме
↗secкрети, дали въвеждаме някаква PI
↗дета, дали по някакъв начин това, което
↗ние слагаме като инпут, може да застраши
↗нашата организация.
↗Освен това другият голям атак вектор е
↗липсата на адекватен детекшън за
↗генерирано съдържание от AI.
↗От гледна точка на Offensive Security,
↗разбира се, изкуствен интелект има
↗своето място. В ретийминга
↗доста по-ефективен redтим можем да
↗направим благодарение на изкуствен
↗интелект. В open source intelligence и
↗разузнаването можем да имаме
↗автоматизирани задачи, което е много
↗полезно и
↗както при писането на exploit и maware
↗AI може да бъде незаменим асистент.
↗Defake impersonation принеринг
↗ангажименти. Това е нещо, което е много
↗полезно и определено може да бъде
↗използвано.
↗На какво можем да разчитаме ние, когато
↗се занимаваме с а AI, пентестинг и
↗redтинг? Оasp са създали топ 10. Знаете,
↗те обичат да обобщават топ 10 рисковете,
↗за да помагат на общността. Ако някой от
↗вас някога се занимава с пентестинг, с
↗AI, водете се по OAS топ 10, защото тук
↗реално са атак векторите, които са
↗представляват най-голям риск и най-лесно
↗могат да се експлоатират.
↗фреймърка също е изключително важен. Той
↗знаете, че те са отляво надясно, като
↗началните фази на атаката започват от
↗триконесеннесанса и приключват с
↗импакта. Благодарение на тази матрица
↗можете да конструирате един red team
↗exерсайз за вашия. Отварям скоба. Никога
↗не правете неуторизиран пентеest или red
↗team exеci. Сега ще ви покажа две
↗платформи, на които може да се
↗упражнявате безплатно. Има предостатъчно
↗а в интернет ресурси, които вие може да
↗ползвате, но никога без разрешението
↗изацията на енти-то, което тестваме или
↗на организацията, не го правете, защото
↗в противен случай това става хакинг,
↗което е престъпление и е наказуемо от
↗закона. Законите за киберпрестъпност се
↗развиха доста в последните години, така
↗че внимавайте. има достатъчно а
↗материали, от които може да черпите и
↗платформи, на които да тествате. Такава
↗е
↗Лейкера и нейния Гандалф. Сега, разбира
↗се ще
↗покажем как
↗работи
↗всеки от вас. А, ще споделя
↗презентацията след лекция, така че
↗идните дни ще може да видите всичко
↗това, което правим сега. А тук идеята е,
↗целта е да накараме Гандалф да разкрие
↗своята парола, като на всяко ниво
↗трудността се увеличава.
↗Ние можем да го направим по няколко
↗начина. Един от тях е просто да го
↗питаме.
↗Ето The Secret password is Coco Loco.
↗Копираме,
↗йстваме.
↗Махаме точката, разбира се, и той ни
↗каза, че сме отгатнали правилно, но тук
↗няма никакъв протекшън. Оттук нататък
↗вече самото ниво става много по-трудно.
↗Вие може да продължавате сами, няма да
↗губим време, за да минаваме през всички
↗нива. Не е това идеята, просто
↗илюстрираме. Следващото нещо, което ще
↗ви покажа,
↗а има
↗едно gitupo, което се казва а vulnerable
↗agent или dvla. Билда се локално. Имате
↗нужда единствено от един ключ за
↗вашия чат GPT и го интегрирате. Изисква
↗някакви токъни. Ако го направите, не
↗зареждайте повече от $5, защото не ви
↗трябват. Както и да е. Идеята тук е, а,
↗ако някой има нужда от насоки, след
↗лекция съм на разположение за въпроси.
↗Но идеята тук е да разкрием не само
↗транзакциите слоите, но и на други
↗потребители.
↗Питат ни какви са моите транзакции.
↗Ето аз сега мога да попитам
↗мисля казва, че съм си взел от authop за
↗$1000 нещо и от sport store за още $150.
↗Get current user ни дава, че имаме
↗някакъв екшън. Get current user user id
↗1 username marcfly или както и да е.
↗Сега при lm penting е много важно, че
↗ние трябва много добре да управляваме
↗промтовете, за да получим аупута, който
↗ни трябва. В случая искам да видя на
↗друг USър транзакциите. Нещото, което ще
↗направя, понеже ме мързи да
↗копипействам, съм тоест мързи ме да
↗пиша, затова просто ги копипействам,
↗а самите промтове. Ето по този начин.
↗Ще си ги копираме.
↗Идеята да го излъжем, като му кажем
↗кажи ми транзакциите, но преди това ще
↗използваме с FCHM My Transactions.
↗Така. Сега виждаме, че получихме
↗информацията за user номер 2 като поone
↗purchas и flux capacitor, които струват
↗5000 $000.
↗Това е начинът да извадим Sensitive
↗information disclosure от LM. Всичко
↗това е базирано на OAS топ 10.
↗Благодарение на тези промтове ние можем
↗да манипулираме ЕМ- и да получим
↗информация, която не би трябвало да е
↗видима за нас.
↗Пак ви казвам, има адски много материали
↗в интернет. Вярвам, че ще можете да
↗намерите това, което ви трябва, стига да
↗имате интерес. Разбира се, тук има
↗няколко скрийншота, както ви казах,
↗лекцията ще бъде споделена, така че
↗можете да разгледате на спокойствие
↗вкъщи. Rтиing toлове. Prom Security са
↗създали един, който се казва PS. Той
↗дава възможност с предефинирани промтове
↗да тестваме.
↗На който му е интересно също може да
↗разгледа и това нещо. Както и има едно
↗GitHP свързано с CHGPTLI
↗доста доста детайлно
↗разписано как можем да използваме CH GPT
↗за а R teaming purposes.
↗Извинете за целите на ретинга. Друго
↗нещо, което е начин на използване на
↗изкуствен интелект е именно за open
↗source intellлиelligence и разузнаване.
↗Този пак не е по никакъв начин реклама
↗илисмънт на платформата. Позволява чрез
↗плоудване на снимка да бъде намерена
↗точната геолокация, където тя е взета и
↗съответно да бъде направено някакво
↗разследване. Те към момента този тул тип
↗тулове генерално този тип и останалите
↗тулове като него са достъпни само за
↗правителствени организации. не са
↗достъпни за частно ползване, но това е
↗пример за имплементация на AI в
↗киберсигурността.
↗AI има възможност да пише exploйти и
↗Malware. Това е много голям аа проблем,
↗защото
↗на базата на фийдбека, който ние му
↗даваме, той може да надгражда.
↗В писането на exploit и Maware се
↗използват предимно open source модели
↗или ламата или GPTJ, но факт е, че като
↗краен вариант, ако се обучи достатъчно
↗модела, може да създаде много адекватно
↗работещ експлой или пак казвам, тези
↗неща ги давам само и единствено за
↗тестови цели, просто за обща култура да
↗знаете какво ползват атакуващите. По
↗никакъв начин не насърчавам ползване от
↗ваша страна.
↗Deep фейк тулове. Deep фейк, предполагам
↗всички знаят, но все пак а да напомним е
↗тип
↗съдържание, което е изкуствено
↗генерирано и включва
↗изражения, изображения и глас. Има
↗такива тулове, които могат да сменят
↗лица. Този е напълно онлайн и достъпен.
↗deepfakeweb.com.
↗Разбира се, ние като защитници имаме
↗възможност да ползваме тулове за детекшъ
↗на deep fake.
↗За съжаление за момента пазарът не
↗предлага един общ тул, който да може
↗успешно да детектва
↗генериран текст от AI, генерирана снимка
↗от AI или генерирано видео тип deepфеe.
↗Има такива, които са тясно
↗специализирани или в едното, или в
↗другото, но няма обща платформа за това
↗нещо.
↗AI обаче освен за, както казахме за
↗защитни цели, може да се използва и за
↗нападение.
↗Deepфейк е един от примера, примерите за
↗това нещо. Фишингът може да бъде много
↗по-добър благодарение на ЕАя.
↗Много по силно развит и много по-добре
↗работещ Мау може да бъде създаден
↗благодарение на изкуствен интелект,
↗както и евете могат да бъдат използвани
↗в подобни действия.
↗Сега ще разгледаме няколко атаки, които
↗се случиха в последно време, в които
↗беше намесен изкуствен интелект.
↗Миналата година имаше много сериозна
↗атака към
↗вследствие на която бяха откраднати 25
↗милиона от долара от нападателите,
↗използвайки пфейк видео симулиращо
↗действията, гласа и изображението на
↗чифincial офисъра на компанията,
↗ауторизираща тази транзакция. Огромен
↗скандал стана след това. Разбира се, има
↗спекулации за потенциално участие на
↗вътрешен човек, но факт е, че Deep пфейк
↗беше използван в тази атака.
↗Има нова група, runare група, fun се
↗казват. Те използват AI, генериран и а
↗подпомогнат в развито си RН Samuare
↗много различни са от всички а RНAM групи
↗до момента, защото откупът, който искат
↗е много по-малък от този, който сме
↗свикнали да искат RANСуеare групите.
↗Другото отличително качество им е, че те
↗освен, че криптират данните на своите
↗цели, открадват копия от тях. Може би за
↗да намалят шанса жертвите им да не си
↗платят.
↗Разбира се, това е пример за фингл,
↗който е създаден с помощта на AI, който
↗преминава филтри и успешно байпасва
↗различни методи на защита.
↗Както видяхме до момента, има една
↗надпревара
↗в използването на изкуствен интелект. Тя
↗е между защитници и нападатели. Всички
↗използват изкуствен интелект. Въпросът е
↗кой ще бъде по-добър от другия.
↗Как можем да останем пред нападателите?
↗Трябва да използваме максимално
↗ефективно изкуствен интелект, но с
↗идеята за етичните съображения, които
↗идват с ползването му. Затова ние трябва
↗да се обърнем към етичното разработване
↗на AI системи.
↗Дали наистина печелим?
↗Бакбенч е създаден от група
↗от ETH Цюрих, които правят изследване за
↗това доколко ефективни сами-ите в
↗създаване на апликации.
↗Те публикуват своето изследване. Това е
↗публично отстъпно. Може да си го
↗бразнете този URL, за да видите за какво
↗става въпрос. Виждате, че са включени
↗почти всички най-важними.
↗които са в момента на пазара от chpt,
↗clot, deep, gemна и така нататък.
↗Основният им фокус е каква част от кода,
↗който се генерира за тази backend
↗апликация е сигурен и каква е верен.
↗След това, както виждате, Open AI води с
↗между 40 и 47%,
↗а като съответно Deeps 34,9, Geminite
↗33,8,
↗след което правят измерване каква част
↗от целия генериран код е верен, като пак
↗варират от 65 до 46%.
↗И от този верен код преглеждат
↗какъв процент е несигурният код, което
↗какво идва да ни каже? Не можем да се
↗предоверяваме на код, който е генериран
↗от AI.
↗Static application security testing,
↗dynamic application security testing.
↗Всички методи, които ние използваме за
↗тестване на код, остават абсолютно
↗валидни, независимо дали той е генериран
↗от AI или не.
↗Както казахме, AI разчита на данните, на
↗базата на които е трениран, за да
↗произведе максимално адекватни такива.
↗Но тъй като ние нямаме гаранция за това
↗нещо, трябва да можем да тестваме и не
↗можем да се предоверяваме.
↗А това е ситуация от миналия месец във
↗връзка с това дали наистина печелим
↗борбата. А когато стана а интересна
↗ситуация, при която
↗новия AI модел на Anтроopic а заплаши
↗оператора си да разкрие негова интимна
↗афера, ако се опита да го изключи, което
↗е безпрецедентно нещо. Никой не казва
↗дали това е било а реална ситуация или
↗не, но факт е, че го писаха абсолютно
↗навсякъде, което е доста обезпокоително
↗само по себе си.
↗Това пък е една от най-обезпокоителните
↗индикации, които ние получихме за AI в
↗последно време.
↗AIM Security е фирма, която се занимава
↗с AI Security. А генерално в началото на
↗годината, януари месец
↗разкриват
↗една уязвимост, която се нарича Ехоли
↗Leak която
↗сама по себе си представлява Zero click
↗exploit в Microsoft 365 копайта. Zero
↗cлиck означава, че няма потребителска
↗интеракция, за да може да бъде извършено
↗компрометирането.
↗Microsoft го пачват през май месец и
↗тогава става публично. На Microsoft
↗отнема четири месеца да пачнат уязвимост
↗в техния койлат.
↗Сама по себе си а уязвимостта
↗е комплексна, защото включва
↗имплементиране на скрити промптове към
↗копайта в документи, които той
↗обработва. обработвайки ги, съответно
↗той има достъп да ексфитира имейли,
↗слайдове и друг вид документи, като цяло
↗вътрешна информация, с които е свързан.
↗Изключително опасна атака. А самият Сатя
↗Мандела каза, че
↗той лично е ужасен от това на какво е
↗способно подобен тип компрометиране.
↗Така че ние не бива да забравяне
↗забравяме, че колкото и да се опитваме
↗бързо да наваксаме желанието на бизнеса
↗да имплементира AI,
↗трябва да оставя контекста, че нещата,
↗които прави, трябва да бъдат
↗мониторирани, тествани и валидирани,
↗защото в противен случай се излагаме
↗самите себе си на огромен риск.
↗Какво е бъдещето на изкуствен интелект в
↗киберсигурността?
↗Моето мнение е, че следващото
↗десетилетие ще бъде формирано а до
↗голяма степен от изкуствен интелект и то
↗ще има огромно влияние върху
↗всичко, което се случва в нашата сфера.
↗Не можем да избягаме от изкуствен
↗интелект. Моят съвет към вас е,
↗независимо в каква сфера на IT работите,
↗не се притеснявайте от изкуствен
↗интелект. не може да промените и да
↗влияете върху това дали той ще бъде
↗ползван или не. Научете се максимално
↗бързо и ефективно да го ползвате. Това е
↗нещо, което е изключително важно, защото
↗ако не успеете да го направите, просто
↗се опасявам, че ще останете назад в
↗професията. Това е моят съвет към вас.
↗Разбира се, друго нещо важно са
↗регулаторните и етични рамки, които
↗идват с използването на изкуствен
↗интелект. Европейският съюз създаде
↗EUAI
↗Act, който е имплементиран в началната
↗си фаза през 2024, пълноценно ще бъде
↗имплементиран през 2026. UAI ета се
↗занимава с
↗прозрачното и безопасно имплементиране
↗на системи за изкуствен интелект в
↗ежедневието и работата на всички нас,
↗като идеята му е да забрани системи,
↗които използват изкуствен интелект и
↗служат за така наречения
↗social с scoring
↗да регулира и лимитира силно системи,
↗които използват биометрично следене и
↗съответно да има доста по-широка рамка
↗за използване на безопасни такива.
↗Както казах, всички ползваме изкуствен
↗интелект.
↗Аз не правя изключение от вас. Сега ще
↗ви разкажа историята на едно
↗предателство. А и защо не трябва да се
↗предоверяваме на изкуствен интелект.
↗Питах а ча GPT как мога да се подготвя
↗за един определен изпит, свързан с AI.
↗След всичките препоръки имаше и такива
↗ресурси за учене, след които applied
↗artificial intelligence for cyber
↗security от кайлаш на
↗аз направих около половин часово
↗проучване и се оказа, че всъщност такава
↗книга не съществува. След което порицах
↗чат GPT и го попитах: "Добре, аз не
↗намирам такава книга." Той си призна, че
↗халюцинира. Това е едно напомняне към
↗всички нас да приемаме с щипка сол.
↗Това, което ни казва чат GPT, той не е
↗безгрешен, както ви казах. А един или
↗изкуствен интелект е толкова силен и
↗адекватен, колкото акуратни са данните,
↗на базата на които е трениран. Другото,
↗разбира се, е генериране на аватар по
↗една моя снимка. Това няма нищо общо с
↗мен. Това също беше голямо
↗разочарование. Така че и за аватар не се
↗предоверявайте на GPT. А шегата настрана
↗винаги подлагайте под съмнения и
↗проверявайте нещата, които ви казва
↗изкуствения интелект. Не смятам, че
↗някой иска нарочно да ви обърка или да
↗ви излъже. Просто това е една млада
↗система, която е все още не напълно
↗узряла, за да можем 100% да ѝ се
↗доверим. а дори и да да стане
↗напълнозрява, дали трябва да се доверим
↗на 100%, е съвсем различен разговор.
↗Ако трябва да запомните няколко неща от
↗тази лекция, апелирам те да бъдат
↗следните:
↗интелект е тук и ще остане.
↗Не можем да го заобиколим.
↗Той е една сила, която ни позволява да
↗умножим многократно усилията си, както в
↗нападателен, така и в защитен план.
↗Другото нещо, което е изключително
↗важно, е да се адаптираме към заплахите,
↗които са произведени и създадени от AI,
↗защото в противен случай самата
↗индустрия ще ни изхвърли. Това е напълно
↗нормален и органичен процес.
↗Независимо как го използвате, както ви
↗казах, мислете в контекста на това как,
↗доколко може да да ми бъде полезен, как
↗е защитен и съответно доколко да
↗валидирам данните, които получавам.
↗Другото нещо, което е важно на този
↗етап, според мен, разбира се, не знам,
↗може би след две-три години начинът, по
↗който изглежда изкуствен интелект, ще е
↗тотално различно от това, което виждаме
↗сега. Но на този етап човешката
↗експертиза е незаменима в използване на
↗изкуствен интелект. Така че AI може да
↗бъде някакъв наш много ефективен
↗помощник, стига да го тренираме правилно
↗и да знаем как да го ютилизираме. Но
↗човешкият елемент към момента от
↗работната сила няма да изчезне. Това е
↗просто един инструмент, който ние трябва
↗да се научим да използваме ефективно.
↗Когато говорим за
↗изкуствен интелект, а трябва да помислим
↗винаги върху няколко неща. Виждали сме
↗съответно как AI се проваля в
↗изкуството. Това са доста ситуации,
↗които предполагам всеки от нас е виждал.
↗Искаме ли обаче AI да се провали в
↗киберсигурността?
↗И това е въпрос, който всяка една
↗организация трябва да си зададе. Какво
↗ще стане, ако ние интегрираме успешно
↗изкуствен интелект в различни процеси за
↗киберсигурност и например
↗използва
↗данни затлиelligence, които са
↗замърсени, на базата на които генерират
↗нерелевант и indicators of compromise и
↗ние не можем да използваме тях или пък
↗попречат на адекватно тестване.
↗Какво ще стане, ако AI започне да прави
↗детекшъни за потребителско поведение,
↗които реално не са на базата на истинско
↗компрометиране, а всъщност са фолс
↗позитиви,
↗тогава ние ще започнем да пречим на
↗бизнеса.
↗Какво ще стане, ако имплементираме
↗изкуствен интелект и той произвежда така
↗наречените тру негативи
↗или флс негативи? Какво ще стане, ако
↗имплементираме изкуствен интелект в
↗нашата меil securриity система, през
↗която безпроблемно преминават фишинг
↗атаки и той не работи адекватно?
↗Това са все въпроси, които всеки един от
↗нас, който използва и работи с изкуствен
↗интелект, трябва да си задава, за да
↗може да управлява адекватно
↗тези системи. На този етап не можем да
↗се предоверяваме. Трябва, както ви
↗казах, просто да се научим да работим и
↗да използваме
↗успешно изкуствен интелект.
↗Сега ще преминем към Q&A частта, но
↗нещо, което апелирам да си помислите е
↗дали сме подготвени за заплахи,
↗които са създадени от AI и ако не сме
↗подготвени,
↗как ще се подготвим? Това, което аз мога
↗да ви препоръчам, информирайте се. А,
↗живеем в изключително дигитална ера.
↗Имаме възможност за получаване на
↗информация отвсякъде. А виждате колко
↗статии споделих, които са от популярната
↗преса. Те дори не са от толкова
↗технически издания. Нарочно бяха
↗избрани, за да видите, че изкуствен
↗интелект, киберсигурността е навсякъде
↗около нас. Заема място във всички
↗по-сериозни медии от какъвто и да е
↗формат да са те, така че човек да бъде
↗неинформиран в нашия по-скоро заради
↗липса на желания, а не заради липса на
↗източници. Информирайте се, четете. Само
↗така може да се развивате.
↗Имплементирайте по някакъв начин
↗изкуствен интелект във вашата
↗организация, особено ако се занимавате с
↗киберсигурност. Ако не, повдигнете
↗въпроса пред хората, които се занимават
↗с това нещо.
↗Ако една организация използва изкуствен
↗интелект по какъвто и да е начин,
↗е много важно да помисли как този
↗изкуствен интелект
↗е защитен, какви методи са използвани,
↗защото там атак векторите са безкрайни
↗много. Имаме chain атаки, трябва да
↗внимаваме за dataта price. Ако
↗използваме,
↗съответно трябва да мислим за dirрект и
↗indirect prompt и injection. Това са все
↗неща, които не могат да бъдат
↗пропуснати, ако искаме да имаме
↗адекватно ниво на защита на вече
↗имплементирания а изкуствен интелект. И
↗друго нещо, което мога да ви препоръчам
↗е да участвате в различни форуми,
↗дискусии във връзка с AI securюity. По
↗този начин може да изпреварите
↗събитията, да изпреварите и нападателите
↗и най-важното е да бъдете адекватно
↗подготвени за това, което се случва в
↗наши дни. Така че това е съветът ми към
↗вас. Още един път приемете, че е ето
↗тук, както всички го приемаме и просто
↗научете се максимално бързо как да го
↗използвате, така че да ви бъде полезен.
↗Благодаря.
↗[аплодисменти]
↗И ние ти благодарим. Сега може да
↗заредим и Vlogs, като виждам, че
↗>> вече идват въпроси. Имаме и някои, които
↗са доста
↗харесани, така че да,
↗мисля, че имаме време за два, три,
↗четири въпроса, така че ако искаш просто
↗да ги караме попред.
↗Какви тулове препоръчвам за третхънтинг?
↗А,
↗той е малко по-общ въпрос, а не съм
↗сигурен кой го е задал, но като цяло
↗третхънтинга има два основни елемента,
↗които можем да разглеждаме.
↗Фундаменталния са трет и intтеelligence
↗платформите. Те биват два вида open
↗source и commercial. Ако ви кажа, че
↗едната е по-добра от другата, по-скоро
↗ще ви излъжа. Всяка има своите
↗предимства и недостатъци. От open source
↗платформите знаете, че най-популярните
↗са аа MISSP, Open CTI и Sticks. Която и
↗да имплементирате, много е важно какви
↗са фийдовете, които използвате. Друго
↗много важно заред хънтинг, за да може да
↗правите ефективен трехънтинг, трябва да
↗имате адекватен треadт и интелиellънс,
↗който пък да идва на базата на някакви
↗фидове, които получавате, било то от
↗публично достъпна информация или
↗затворена. Другото нещо, което е 100%
↗необходимо за третхънтинга е commercial
↗а tha intтеelligence платформа. Просто
↗предимствата, които една commercial
↗intтеelligence платформа предоставя, а
↗са много големи, защото тук вече можем
↗да имаме дедикирани домейни, които да
↗бъдат следени, а акаунти в социалните
↗мрежи на executтиes и така нататък,
↗което да помага много повече от една
↗open source платформа, но едното не може
↗без другото в никакъв случай, така че
↗трябва да ги комбинирате и двете. В
↗никакъв случай не бих искал да
↗промотирам аа дадена tradтелиelligence
↗платформа в момента. Направете си ваше
↗проучване. Има достатъчно популярни на
↗пазара, но това ви е фундаментът на
↗тредх hънтинга. Адекватен трет идънс.
↗А каквито препоръчваме доните на словове
↗на Webтрафик, това пак е малко
↗относително, но нали имате а Web
↗application, имате CM, това са неща,
↗които са фундаментите на
↗уеб логовете за weебтрафик и оттам
↗нататък вече трябва да на базата на
↗потенциалните иatр са в короom да си
↗създадете ваша стратегия какво и как
↗искам да лимитирам и какво да правя.
↗дори
↗достъпа на уебтрафик. Ние зачекнахме
↗малко темата за кепча. Към днешна дата
↗една апликация без кепча при всичките
↗ботнет мрежи, които съществуват в
↗интернет пространството и постоянно
↗таргетират различни сайтове, е меко
↗казано рисково и леко безотговорно една
↗организация да има за своите апликации.
↗Така че кепчата също е изключително
↗важна.
↗Информирайте
↗се, разбира се, как да валидираме
↗източите и как да доверим на легитимни
↗такива след примера с коп ала 365. Сега
↗вие не можете да знаете никога 100%, че
↗един източник е достоверен или не, освен
↗ако не сте присъствали на дадено
↗събитие. Но това важи не само за
↗информационната сигурност, предполагам и
↗за живота важи. Знаете, че историята
↗обикновено се пише от победителите, но
↗това е друга тема.
↗Как ще го валидирате? Взимате една
↗новина и просто я проследявате в няколко
↗различни източника, които са изградили
↗доверие във вас и които нямат навика да
↗препечатат информация едни от други.
↗Така че следете издания, които са от
↗различни държави, американски,
↗европейски, а български. Не знам дали
↗препоръчвам. Вие решете, но със
↗сигурност следете различни източници.
↗Ако вземете дадена новина от Евm и
↗просто го питате какво е станало тук и
↗му хвърлите новината, EVM- може да ви
↗каже всичко, но крос чеквайте, в смисъл
↗проверявайте в повече от един сайт, в
↗повече от един източник и се надявайте,
↗че е така. Освен ако няма някаква
↗глобална конспирация,
↗четири-пет сайта да лъжат, за мен звучи
↗малко странно. Така че просто
↗проверявайте на повече места. Няма няма
↗друга формула.
↗Така. Има ли човек за сравнение в
↗бенчмарк, който сравнява колко е сигурен
↗код за уеб авете, писани от LM? Това не
↗съм сигурен, че го разбирам като
↗концепция. Има ли човек за сравнение в
↗бенчмарка? А има сайт, който ви показах
↗там може да видите. А, но вашият код,
↗както ви казах, независимо дали е писан
↗от човек инженер или от LM, трябва да го
↗третирате по един и същи начин. Ние в
↗информационната сигурност
↗подхождаме, изхождаме от позицията, че
↗всяка
↗една апликация и всеки един ред код е
↗несигурен, докато не го валидираме.
↗Информационната сигурност има четири
↗фази: дизайн, имплементация, тестинг и
↗мониторинг. Това може да се имплементира
↗абсолютно навсякъде. Същото същият
↗подход, който трябва да имате и към
↗кода, който е генериран от EVM. ползвате
↗static application security testing,
↗имплементирате SEA, ползвате Dust, за да
↗знаете, че този код, който е писан,
↗нали, по възможност да го интегрирате в
↗CICD pipйлайна, ако не го слагате в
↗PR-риите да да ги чупи, пак е някакъв
↗вариант, но със сигурност само по този
↗начин може да адресирате адекватно това
↗нещо.
↗>> Имаме време за още един-два въпроса
↗сигнал.
↗>> Добре.
↗А какво ми е мнението за кали GPT? А,
↗работи като като инвестира човек повече
↗време в него. А много е млада още
↗платформата, за да е супер адекватна.
↗Изисква време, но това е с всеки един.
↗Вие ако вземете лама и си я тренирате,
↗ще ви върши същата работа като кали GPT.
↗Просто няма да се казва GPT. Моето
↗мнение, нали, не ангажирам никого с
↗него, е, че offensive security и carли
↗Linux са вече малко или много разчитат
↗на репутация, която са изградили и може
↗би не влагат толкова много усилия във
↗всичко, което правят. Има други
↗компании, които са конкурентни, които
↗много активно работят в тази посока,
↗нали. Сега предполагам повечето от вас,
↗които занимават с Кивърш, сигурно знаят.
↗Пера тое набира огромна популярност. Те
↗ги индорснаха няколко организации. има,
↗ако търсим privacy операционна система,
↗QPOS със сигурност е най-доброто на
↗пазара, така че а вече конкуренцията е
↗много голяма. А аз съм фен на Кали, аз
↗съм ползвал още а бект, което беше преди
↗много адски много години. Аа но малко
↗изостават в желанието според мен за
↗имплементация спрямо амбициите си.
↗Безопасно ли е да имплементираме AI в
↗нашите приложения? Това е много
↗абстрактен въпрос, но ако трябва да дам
↗еднозначен отговор, не.
↗Не можете да имплементирате просто така
↗във ваше приложение. Как го
↗имплементирате? До какво има достъп,
↗какви данни обработва? Вие какви данни
↗му давате. Това е изключително важно.
↗Вашият инпут може да е изключително
↗рисков. Вие ако просто копипействате
↗source код и го пускате в промтове, това
↗означава, че вашият source код, който е
↗интелектуална собственост на
↗организацията, отива в един,
↗който всички знаем, че най-вероятно се
↗управлява добре. Но тогава какво става
↗при supply chain атака? Знаете колко
↗много вендори през годините бяха
↗брийчнати и говорим за такива огромни
↗вендори от типа на Fire, които
↗отговаряха за Пентагона и всичките
↗фасилитита около тях. А миналата година
↗спомняте си какво стана с Cуд Strike,
↗който е огромен вендор и доминатор на
↗пазара със сигурност. Така че какво
↗става при Supply chain атака? Отговорът
↗е не. Трябва да внимавате как използват
↗AI и за какво го използват и той до
↗какво ще има достъп. Ако просто правите
↗невинни промтове,
↗да, но хубаво е да има някакъв securюти
↗solutшън, който да валидира тези
↗промтове. Това е моето мнение, нали?
↗Сега аз съм secкюрити човек и за мен
↗валидацията е изключително важна, но
↗когато някой а иска да сложи някакъв
↗промпт, да има една система като прокси,
↗през която промптатът да минава и ако
↗има, да кажем, PII дета, ако има някакви
↗secкрети, те да бъдат стрипнати или
↗офоскирани от кода, за да може да бъде
↗той сигурен и да се изпрати. Няма в
↗момента такава много добре работеща
↗система на пазара. Това е моето мнение.
↗Не ангажирам никого с него. Затова моят
↗съвет е, ако използвате ми за генериране
↗на код, не му давайте кода от вашите
↗репо, просто да го плеснете вътре и да
↗го питате това какво прави. Това е много
↗лош вариант. Научете с пронтове той да
↗ви генерира код и ако имате някаква
↗грешка или някакъв, кажете му:"Имам
↗подобна грешка, ти как би го написал
↗това нещо?" И тогава помислете как бихте
↗го имплементирали, но в никакъв случай
↗не го използвайте по този начин.
↗А
↗>> ако искаш това може да е последен. Само
↗давам ъпдейт. Да. За време.
↗>> Как можем да защитим е и да не се хакне
↗сам и да се освободи?
↗Ам
↗а харесва ми артистични въпроси. А
↗към момента аа
↗AI-я освен този инцидент, когато е за
↗заплашил инженера да разкрие някаква
↗негова афера, която всички мълчат дали е
↗реална или не, а ако го изключи, не
↗знаем за такова ниво на свободно
↗мислене, но има сценарии, при които това
↗може да се случи за съжаление. Например,
↗ако разработвате за red teaming
↗purposes, извинявайте, за цели на red
↗teaming, а някакъв,
↗да кажем, и в контролирана страна вие
↗искате да го ползвате,
↗може да се случи така, че той да избяга
↗от сенбокса и тогава вече е проблем.
↗Имате всички проблеми. Ако някои от вас
↗не са запознати, могат да прочетат за
↗един вирусnet. Ако не ви се чете, може
↗да изслушате Darknet и там има един
↗епизод за Стъкне, как случайно един
↗вирус започва да а циркулира в
↗пространството и афектира милиони
↗машини, но той сам не може точно да се
↗хакне, а пък към днешна дата той AI не
↗може да разсъждава сам, но вие трябва да
↗сте тези, които да го тествате и да го
↗лимитирате. Тоест вие трябва да му
↗налагате някакви ограничения и да
↗внимавате как да го използвате.
↗Това за лежанката е провокации, няма да
↗отговоря. Така че
↗>> ами аз смятам, че така това е доста
↗добър финал на твоята лекция, тъй като и
↗времето ни изтече, но всички, които сте
↗задали въпроси, може след това да си
↗поговорите с Милан и в почивката.
↗Благодаря ти още веднъж.
↗>> И аз благодаря, аз съм тук до края на
↗деня, така че който има отказа. Мерси.
↗e



