"Are AI tools opening new doors for hackers?" с Миглен Евлогиев, Марко Симеонов и Пламен Тошев

3:51↗познат и добре а поставен електро в редица международни организации а именно Миглене Влогев. >> Заповядайтека. Много благодаря за милите думи. Майка ми не ме е хвалила така. Иначе единствено бих добавил, че нали инициативите на Туктам са ми много при сърце. Аз последните една, две-три години съм прекарал доста време, менторирайки млади таланти в платформата и изключително много вярвам в нали светлия път на това, което прави и тук-там и съответно събитието Кошер. Благодаря за поканата. и е последен, но не на последно място, един много близък до мен човек, който всъщност имам удоволствието да сме били а заедно колеги в университета и а преди четири-пет години а на първата конференция на компанията, на която в момента е изпълнителен директор, а по-голяма конференция в страната, а той в разговор такъв между нас спомена, че има планове в следващите месеци да

4:57↗разраснат екипа, който е в страната, да станат водещ R&D аа екип в огромната а компания Кронис и съм изключително Аз тогава не, ако трябва да съм честен, не ти вярвах точно как ще стане това нещо, но ти успя дори надмина бройката, която ми беше казал за за служители тука в в българското звено, което е огромни адмирации и а изключително много уважавам това, което си направил. А от дълги години разбирам, че подкрепяш и кошер, а и редица инициативи а свързани с образованието. А колеги Пламен Тошев е а последният, но не е на последно място участник в днешната дискусия. >> Благодаря ти, Павка. Мен майка ми ме е хвалила и по-добре, но >> реших да не споменавам моменти от съвместното ни студентство >> и по-добре. Така, понеже времето ни е ограничено, преминавам към първия въпрос и AI AI аа използвайки го в ежедневието си, вярвам, че може би повечето от вас го правят, а

6:09↗като помощник за справяне с трудни, а може би и досадни задачи, а всъщност се оказа, че може да отвори и да предостави аа достъп а врата за тъмната страна на киберсвета. И оставям колегите тук малко настрана, но има един въпрос към публиката. А чувайки това нещо, че Ай всъщност може и да е зловреден и по някакъв начин да ни навреди, не малко филми има и книги писани по по темата, а ако имаше AI off бутон, кой от вас би го натиснал сега? Някой би ли го направил? Не виждам болшинство. Краси. А не виждам болшинство. Защо? Защото наистина има хубави неща в AI-я, но въпреки това а има и не такива приятни елементи, които може да доведе. И първият въпрос към вас, колеги, е, когато чуете изкуствен интелект, каква е първата първосигналната дума или ня няколко думи, за които се сещате, които изниква в съзнанието ви? >> Ами аз бих казал, че за мен първата дума е възможност, аа но определено и

7:24↗предизвикателство до голяма степен, може би и предизвикателство, че хората до такава степен изведнъж започнаха да ползват всяка всякакви AI тулове, че малко спират да мислят във всяко едно отношение, което не е много готино. Това е извън вече дори сферата на cyбер secкюрити и рисковете, обвързани с него. Така че това това са моите мисли първоначално. >> Първата дума, която аз се сещам като чуя AI е слоп. А за тези от вас, които не знаят какво е слоб, е, когато промтът ви не е добре фокусиран и не сте много добре обяснили какво точно искате, ще ви генерира някакви общи приказки и неща, които може би не са смислени. >> Добре, >> аз ще съм малко по-дарък. А на мене си записал също не ми изниква като първа дума. А, но просто това е едно такова напомняне, че освен всички тия възможности и готини неща, които ни дава и аз не бих го изключил, разбира се, ако има възможност, има все пак и някаква

8:28↗доза риск и за съжаление се и ползва за тъмни дейности. Аз ще си позволя да спомена моите. Ами първата е може би лудост или меднес с темпа, с който се развива това нещо. Е много сериозен възможността да го изтървем по някакъв начин. И разбира се след това Skynet, Вики от та робота, ако някой се сеща, а матрицата. Така че все е такива малко по-рксай неща. И продължавайки в тъмната сфера, а отправям първия си въпрос към Иглен, а именно а последните години как изкуствен интелект промени или може би улесни кибератаките и по-скоро според теб кой би написал по-лесно един фиishнг имейл или една измама chatт GPT или пък а косическия нигерийски принц? Лесен въпрос. Аа ще стигнем до него накрая. Първо, понеже не съм сигурен дали аудиторията има целия контекст, затова ще почна малко по-назад. Аа прав си, нали, че последните години изкуственият интелект изключително много

9:36↗се развива и то с много бързи темпове, граматически доста коректно пише, без значение от езика, включително и се генерира доста добро аудио и на български език. Имитира хора, прави видео от картинка и така нататък и така нататък. А ако стъпим една стъпка назад, това е просто нали много просто казано е една нова технология, едно ново измерение и ако го погледнем от гледна точка на други технологични революции, през които сме минали, аа реално намерението и морала стои в този отзад, който използва, нали, в случая клавиатурата, в миналото е било оръжието нали огнестрелното ножа огъня и така нататък и така нататък. А, така че това е просто един инструмент и зависи как ще го използваме, нали? Той сами по себе си е доста ефективен в определени задачи. Ако се върнем на думата, която аз използвах Слоб, ако се постараем в промт инженеринга, може да стане доста ефективен. И сега конкретно

10:33↗нали на въпроса как променя киберсигурността последните няколко години. Първо за тези от вас, които не живеят, работят и не се занимават всеки ден с киберсигурност като нас, а киберсигурността представлява една игра най-просто казано, която не е zero su game. Тоест тези от нас, които се занимават с това да защитават самата организация, да предпазват от атаки. Представете си, това е една крепост дигитална. От срещната страна трябва да намери само една пролука, едно слабо място някъде. Не е важно дали ще е централно това място или ще е заден вход или ще е отгоре или ще изкопаят тунел. Важно е, нали, да пробият защитната дигитална стена, образно казано. Аа в най-честия случай, най-лесният път е чрез хората, нали, на ние като служители на една компания много лесно бъдем, можем да бъдем подведени да направим едно действие, отколкото самата аа техника и технология. И сега конкретно а

11:28↗AI доста подпомага подготвянето на такъв тип атаки. Тоест аз, ако съм злонамерен атакуващ хакер, много по-лесно ми е имайки а в инструментариума си изкуствен интелект да подготвя една атака. А защо? Първо аз мога да събера контекст от интернет и много бързо да го сумаризирам, да го обобщя и атаката ми да е много по-фокусирана, много по-специализирана спрямо жертвата, нали, дали ще е организация или човек. А второ, въпросният нигерийски принцип, нали, в миналото те са ползвали транслатори или нещо друго, да си там пишат с хората, да ги мамят, да ги лъжат, да им правят фактури и така нататък. Сега, когато компроментират една комуникация, примерно между две страни, дали ще са между две фирми, дали ще пишат на леля ви във Facebook, че са военнослужещ в Ирак и някакви там глупости, няма значение. Идеята е, че първо го пишат перфектно, граматически коректно, второ го пишат с невероятен

12:25↗контекст, защото са захранили модела или промта с този контекст, дали това е предишната имейл комуникация или нещо друго и просто го насочват и нали това другото, което помага е за подобен тип атаки, е, че ги а прави много по-достъпни, много по-лесни, много по-автоматизируеми, както се казва в технологичния свят at scale, тоест много повече атаки едновременно. Един човек не трябва да седи на един промт и нали да гледа отговорите и така нататък. Той просто насочва, хвърля въдицата, така да се каже, слага звънче и хвърля друга въдица. Това е нали от гледна точка на социалното инженерство и фишинга, който предполагам, че са запознати, от гледна точка на чисто нали технологичните атаки, не сме все още стигнали нали някакъв краен Skynet вариант, при който изкуственият интелект абсолютно автономно атакува организации и компании, но полуавтоматично е доста

13:16↗ефективно, защото сваля Прага. Ако преди примерно един млад тийнейджър иска да направи някоя пакост, да речем, да хакне сайта на училището или на министерството или нещо друго, нали, той трябва да чете с дни как се пише е exploйт, какво работи, какво не и така нататък. Сега това е на върха на пръста изключително достъпно и е много по-лесно и бързо. от една страна, нали, прави тази възможност много по-лесна, от друга страна прави нашата работа една идея по-трудна, защото ако ние, тоест тези от нас, които се занимават с това професионално и защитаваме компании, организации и така нататък, не се адаптираме, от срещната страна просто ще има нали един инструментариум, който е няколко стъпки напред, но това е една игра, както ви казах в началото, която се опитваме да се адаптираме и да се настигнем. А факт е, че да има една такава постоянна надпревара между лошите в

14:09↗киберпространство и добрите. А в този ред на мисли изкуствен интелект може би да е шокиращо за някои от вас, но не се е появил преди две-три години с чат GPT. А всъщност преди от редица години а се използва друг вид, да го наречем изкуствен интелект, а именно машин в защитните софтуери, които компаниите разработват, за да ни предпазят от от невиждани може би до момента а з зовредни софтуери или похвати на хакерите. А и може би можем ли да кажем Пламка, че всъщност изкуствен интелект е едно следващо ниво или надграждане на машин урнинга и как вие в продуктите, които създавате в Акронис, успявате да го интегрирате или използвате? >> Чисто теоретично изкуствен интелект е обхваща машинга. Той е общо взето събсет от от него. А на практика да машининг, тоест машинно самообучение на български, а си е метод, който с алгоритми позволяваме да се подобрява с добавяне

15:20↗на допълнителни данни да се подобрява работата на на даден софтуер. Аа и специално за защитата, за софтуера за защита, върху който и ние работим, това е технология, която съществува от вече повече от 10 години със сигурност. А поне ние в компанията от над 10 години имаме машинин вкаран в софтуера, за да може да тъй като до преди повечко време как един антивирусен софтуер работеше беше имаме да кажем една лаборатория, в която някакви умни хора седят, са пуснали са си компютрите без антивирусни и се опитват да цъкат на сайтчета, дето знаем всички, че не трябва да цъкаме и гледат какво ще се свали и какво това нещо какво ще почне да прави и се надяват да хванат всякакви вируси и с тия вируси като ги хванат да им извлекат някакъв вид аа как да го кажа идентификатор нещо уникално за тях аа сигнатура която сигнатура да си я вкарат в една база данни с известни проблеми и

16:28↗тая база данни да я обновят на антивирусните програмки на всички хора които са си ги инсталирали в компютрите а така наречени Signature base detction. И проблемът е, че тука има едно забавяне, нали, от момента, в който е създаден вируса, тоя вирус или ма общо казано функционира известно време и разчитаме на това, че в тая лабораторийка а някъде по света някой го е хванал. Извинявайте, много ме харесват и птички разни насекоми. Аа >> ловиш бъго, >> което ловя бъгове дори. дори тук. А така. >> А та въпросът е, че тези лаборатории са на определени места. Тоест, ако вирусът, да кажем, е таргетиран само в една държава, геолокирали са го само там да работи, а много повече време той ще функционира преди евентуално да бъде хванат от такава лаборатория. А и през това време може да зареди страшно страшно много компютри, устройства, хора да пострадат, фирми да пострадат и така

17:35↗нататък. А докато друг другият метод, по-съвременния всъщност използвайки машин урниing, е да се опитаме, това което и съответно и ние, разбира се, правим, е а да следим поведението на самия самите програми на един компютър, да кажем. Тоест, ако вие имате Skype, той понеже вече end of life, нали, затова го давам за пример. Примерно имате Skype. Тоя Skype работи и прави едни и същи неща, нали? Той праща някакви файлове или създава някакъв канал за разговори или съобщения. Обаче ако изведнъж почне да криптира файлове на харддиска, това не е нещо, което очакваме от тая това приложение, нали, на база на на опита досега. И всъщност това поведение, анализиране, следене на поведението и хващане на някакви аномали в това поведение се прави точно с такива машин алгоритми от много време. И ние го правим точно по тоя начин, с идеята, че по тоя начин може да хванем на самото

18:35↗устройство, дори това да е първото заразено устройство в света с тоя вирус, ние с тая промяна в поведението на заразения софтуер, да кажем, може да разберем веднага, че нещо не е наред и да го блокираме. А тука имаме и една еволюция при заплахите, както Миглен спомена. А, Марко, с твоя опит и срещи, които си имал, защото са не малко с чуждестранни компании на международни форуми, как в смисъл според тебе защо компаниите трябва да се интересуват от заплахите от AI и кои са най-уязвимите сектори аа не само в България, може би в световен мащаб, но нека да се фокусирам върху България. Кои са най-узвимите сектори срещу такива атаки? >> Ами, първо всички компании трябва да се интересуват, защото както споменаха и колегите, AI това е просто един инструмент, както той може да се използва аа по хубави начини, за да си улесним работата, за да бъдем по-ефективни, да разработваме

19:43↗аа нови приложения и решения, той може да бъде използван и а със зловредни цели. Така че от тази гледна точка трябва всички компании да му обърнат внимание. А от чисто като сектор, но като го погледнем, а разбира се, веднага хората се замислят за банковия сектор, а за сектор на здравеопазване, на критична инфраструктура, енергетика и така нататък. А и определено те са почти винаги най-силно засегнати от всякакъв тип атаки, особено в момента използвайки AI инструменти, а просто защото а там е а доста усилия, а висок риск, но и много висока награда съответно от страна на един хакер, ако успее успешно да проникне, защото може да открадне много ценна информация, всякакъв тип данни, интелектуална собственост, а финансови данни и дори пари. Аа така че от тази гледна точка може би това биха били най-сериозно засегнатите индустрии, само че те са и най-силно регулираните. А ето

20:59↗в момента например а Нис 2 аа влезе в сила и реално погледнато то обхваща вече още по-голям брой а компании. които могат да бъдат разгледани като високорискови или критични а в дадена индустрия, а които трябва да прилагат допълнителни мерки за сигурност. Истината е, че тези мерки те са те няма конкретно трябва да се направи това, това, това с такъв и такъв тул. Те са общо аа препоръки и мерки, които трябва да се взимат, за да се осигури поне едно добро ниво на сигурност. Съответно има вече новосъздадени аа регулаторни а институции, които да следят за това и така нататък. От друга страна обаче и другите компании, които не попадат в този тип индустрии, трябва да помислят много сериозно върху а киберсигурността и съответно AI а как той може да бъде използван срещу тях, защото а много често те пък а по един или друг начин партнират а с тези по-големи компании и те могат да да

22:11↗бъдат използвани като вратичка към тези по-големи и съответно критични компании. ни чрез например а има един тип атака, който се казва advance persistant rad, който реално може в години наред група много добри хакери малко по малко да намират тези вратички, които Миглен спомена, само и само да се изкачат малко по-нагоре, малко по-нагоре, за да достигнат а съответно някаква много голяма цел. Много често тези цели са значими изобщо на цялостно държавно ниво. А така че това е >> добре. Аз следващият въпрос съм малко провокативен. А с теб го коментирахме Марко, но и с Пламен. И въпросът ми е следният. Добре, ако а някоя хакерска организация, защото много добре знаем, това са силно и добре структурирани, организирани а групировки някой път и такива с държавни мотиви. А ако някоя хакерска организация използва интелект и го накара да хакне а друга институция, кой е виновен? Кой носи

23:25↗отговорността за въпросното охакване или въпросната въпросните действие на изкуствения интелект? >> То дори да не е дори да не е организация, дори да е един човек, отговорността винаги е при човека. И тука мога да дам за един пример малко по-краен, разбира се, аа във воен военните военната сфера, аа на която бях на една конференция, където шефът на генералния щаб на Обединеното кралство говореше точно по този въпрос. Ако да кажем изкуствен интелект може да може да прави всичко, което един войник може да прави, всъщност кой носи отговорност? Защото тука става дума и за човешки живот. А и всъщност отговорът е, че поне в нашата част от света, в Европа, Съединените щати и така това, което наричаме западната част, западното покълбо, всъщност отговорността е на човека. Трябва да има задължително човек, който да взима решенията в тяхната сфера, във военното дело

24:26↗всъщност трябва да има човек, който да вземе финалното решение, примерно да се стреля, да кажем, нали. А изкуствен интелект може да направи предложение автоматично, бързо и така нататък, но накрая човекът трябва да вземе решението. На практика отговорността винаги трябва да бъде при човека. Никога не може да бъде една машина, един компютър не може да носи отговорност. А и по същия начин в аналогията в нашия софтуер, в нашата сфера, в софтуер индустрията на практика а може да зву нали звучеше малко далечно военни, обаче истината е, че ние през годините последваме последните години виждаме а хора, които създават атаки и да кажем по-конкретно ранър атака, която инфектира цяла болница и крифтира всичко. в нея и спира да работи болницата. И в тоя случай познайте какво става с хората на операционната маса, нали? За съжаление не са добри добър из >> Първият смъртения случай точно е в такъв

25:29↗първия смърттен случай до нали смъртта, която е причинена от хакерска атака, защото дадената болница била хакната е точно такъв пример. >> Точно така. Точно така. Така че всъщност не е толкова далече. За съжаление киберсигурността е в много случаи директно свързана с нашия живот и благоденствие. Не е просто някак нещо на компютъра, което нали айде какво толкова нали ще се случи. Аа така че отговорността винаги е в човека, който пуска това нещо дори и да не знае какъв бил бил потенциалният резултат, нали. Това, че не знаеш, не те оправдава. А в този ред на мисли Миглен, абе може ли изкуствения интелект да замени конвенционалния хакер? Айде, щото си говорим за хакери. Тука е много така, >> как да кажа, романтична тема >> ни е тъмната страна или все още сме далече от този момент? >> Мм със сигурност според мен може, защото в крайна сметка А какво прави

26:30↗конвенционалният хакер? Търси уязвимости и ги експлоатира. А нали ако говорим за конвенционалния злонамерен хакер, разликата е нали намерението а да се експлоатират с цел финансова или друга облага. Да, най-вероятно може. В смисъл днес изкуствения интелект може да причини downтайм, нали, може да направи атака, да генерира код, който да го изпълни. Всичко това е възможно и днес. А дали може изцяло автоматично да идентифицира организация, да го изпълни, да изпълни някаква друга финансова операция, ако не днес, утре, да, най-вероятно. И нали тука отново се връщаме за въпроса за етиката и така нататък. Пак отново това е просто един инструмент, едно оръжие. Кой отда кой отзад е дал командата, инструкцията или е подготвил модела или инфраструктурата да прави тези неща? Това е нали отговорността тука ключовото и най-вероятно е някой човек нали едва ли изкуствен интелект просто ще си

27:28↗измисли нещо. То е базирано на нещо друго. Тук аз ако може също и да добавя това е интересен въпрос, защото реално една от компаниите ни в момента разработва продукт, който е насочен от нали така добрата страна, от страната на на Light Side of the Force. И точно целта е да създадем, в момента сме в процес да създадем AI агент, който да може автоматизирано, изцяло самостоятелно да извършва пенетationйшън тестове или опити да се хакнат дадени системи, за да може да се открият уязвимости преди лошите да ги намерят. А така че в това отношение има доста в момента развитие. Има, разбира се, и доста компании, които едновременно работят в тази посока. Все още няма такъв тип агент, който може супер ефективно да го постигне. Първите, които ще успеят да да постигнат такъв добре, нали, успешен агент, а много ще дръпнат напред. А реално погледнато обаче а той стига до една точка, защото оттам

28:39↗нататък някой път, особено с например Zero Day уязвимости, които изобщо не са познати за момента, много аз не вярвам поне на този етап, че агент или AIOL за пен тестинг би могъл да открие такава уязвимост, защото това отнема доста креативна мисъл, действия и логика, които не са заложени в информацията, с която е захранен даденият модел. А така че от тази гледна точка има какво да се желае. Затова е важно винаги да има и човешки елемент на някакъв тип проверка на това какво се прави или съответно на най-високо ниво а тестване. Но този тип агенти те могат да покрият много добро базово ниво, даже повече от базово, а което за съжаление много компании нямат, така че те могат да бъдат използвани а с донамерени цели от хакери, разбира се. >> А добре, тука обръщам един въпрос към публиката. А според вас, понеже съм си го подготвил, колко от вас вярват, че AI

29:44↗вече е по-добър в измамите от истинските хора? Някой би ли се престрашил да каже защо смята така от тези вдигналите ръце? Той Миглен спомена до известна степен. А би ли да би ли споменал? >> Здравейте, първо благодаря за предоставената информация. Според мен просто AI-ът в момента обединява знанието на много хора и е обучен върху хакерските практи, а хакерския опит на много хора. Той би могъл с помощта на човек, който го води зад него все още да се представи по-добър от по-добре, отколкото една индивидуална личност. И ако позволите един въпрос по темата към вас. Колко далеч сме според вас от така наречения AGI и какво ще се случи след това, когато вече го няма човешкият фактор зад всяко едно решение, което се е взима >> тука беше може би до и степен това се свърза и с моя следващ коментар. Имаше една песен на Ицо Хазард, ако не се лъжа. Хип-хопът ми е по-добър от

30:53↗хип-хопа ти. А, ми може би е близко момента, в който AI- ми е малко по-добър от AI-я ти, защото А може ли Планко според тебе AI да се превърне в щит за една организация, може би малък и среден бизнес, където бюджетите са по-ограничени или е просто едно допълнително ниво в защитата на на данните на дадената фирма компания? >> А, със сигурност е допълнително ниво, за да бъде за да бъде щит, то реално трябва да прави не просто да се справя по-добре от човек, а защото какво значи да се справя по-добре от човек, нали? А general intтеelligence, всеки от нас има general intтеelligence, обаче някои от нас са добри в киберсигурност, някои от нас са добри в рисуване. Аз там съм на ниво шест години. А някои от нас са добри в нещо друго. Тоест това, че имаме general intтеelligence не значи, че е най-добър във всичко и каквото прави. А освен това има много специфики креативни, именно

32:05↗свързани с връзката с хора. Вчера си говорихме с един от участниците и той казваше във филмите като се създават някакви генерирани образи от AI и вика: "Ние много се смеем, защото хората винаги ги прави и аз с шест пръста и аз нещо много фрапантна, голяма грешка. А мисълта ми е, че окей, това е нещо, което да кажем след време може би ще се подобри, но при именно тая неочакваност на хората, нали, тя не е просто статистически нещо, което винаги е едно и също, е едно и също и да се очаква. Именно мозъкът затова и на хората се страхува от от непознатото и като видим нещо, което не го очакваме, всъщност то ни плаши. В AIяя, той е създаден с идеята, нали, че очаква някакви неща и реагира на база на това какво очаква, защото трейнинг сетъ му е на практика една база от данни. Той ако види нещо съвсем различно от целия тоя трейнинг сет, общо взето ще му бъде доста трудно да реагира

33:11↗адекватно в такава ситуация. В момента виждаме малки примери за това, нали, които аа нали да кажем на нарисуваме стена, която на нея има път и пускаме колата, да не казваме марката, която се разчита само на камерата и той казва, "А тука пътят продължава и се разбива в стената." А но всъщност, защото никой не го е трейнал, че може някой да рисува по стена. Да, да, да, да. А това е малък пример, нали? Просто реално погледнато има го тоя момент на неочакваност, който за AI-я си е голяма трудност и в бъдеще ще бъде голяма трудност. Така че аз не мисля, че ще се ограничим да изцяло да отдадем отговорността на ЕА и да ни защитава, нали. Той дори и от другата страна, от тези, които създават хакерските инструменти аа и или по-скоро да кажем лошите, нали, в случая аа те реално ги създават с цел да печелят нещо от това, нали, самият AI какво печели от това да хакне някой. Тоест тука

34:18↗мотивацията е е също важна. Така че от не мисля, че от която и да от двете страни ще изчезнат хората някак си. И тука ще си сами ще си борят AI-те. >> Да, има го това. Аз искам да чуя мнението на Миглен, защото знам, че ти си част от една аа стартираща компания, а чиято цел е да разработи софтуер или по-скоро а платформа а която да изгради защитата на една организация изцяло базирана или някаква част от защитата на една организация изцяло базирана върху AI. Какво мислиш? Може ли явява ли се изкуствен интелект Панацея? >> Не, разбира се. Ние сме много далеч от тоя момент според мене. А но пък се развива с невероятно бързи темпове. Аз лично самия предполагам, че и по повото участници тука са power usзър на изкуствен интелект под много различни форми и ми спестява феноменално много време. Идеята на съответната компания и на други компании, които тука имаме представители, е точно това да ни

35:16↗спестява, да ни прави много по-ефективни в защитата на други организации поради простата причина, че както в началото си казахме, от срещата страна вече го използва за най-различни видове атаки, да пише код, да пише, да изпълнява фиishшинг и други инженеринг подхвати. Просто ако не се адаптираме, не го използваме ежедневно, най-вероятно новите хора на пазара, новите компании на пазара, те ще го използват и просто ще ни задминат. Ще бъдат много по-ефективни от нас. Това е нали моето заключение. Дали и кога близките години, нали има феноменален хайп в момента. Той най-вероятно в един момент ще се поразсее и ще се поизчисти, както е имало хайп с Big Da, с Cloud, със Cyбер Security. Дори имаше хайп. Не знам дали Не знам дали сме минали вълната. Ще видим. А така и с AI има и в един момент просто ще стане част от всичко. Чешмата сигурно вкъщи ще има AI в някакъв момент.

36:11↗>> Иън Мъск регистрира компания Макрохар, ако не се лъжа се казваше, в която идеята беше кодът или операционната система или софтуера, който излезе от тази компания е изцяло написан да от AI а по линия в смисъл солеше поканчето на Бил Гейс, доколкото си спомням. >> Да. Пак се пак се връщаме между другото за първата дума, за която аз се сещам за Елоп. Който от вас писали ли сте код с помощта на AI lovable или cloud или chat GPT или нещо друго и знаете, че chatчат става, чатпад не, чатпад се компилира, чатпад не. Ще отнеме много време, докато стигнем до момента, в който просто нали от една страна е това, от друга страна нашето CEO няма, тоест тръгна малко по-рано мога да говоря свободно, но беше сутринта на откриването и преди преди известно време ме викна в офиса да ми покаже нещо, което той беше разработил аа вайб коднал, така да се каже и ми показва една изключително завършена

37:07↗софтуерна система от край до край, която струва десетки хилядилари на година и нали да тестваме, демонстрираме и така нататък. И аз в един момент викам яко, нали? А на какво е написано? И той казва, "Не знам. Аз ей тука в тоя промт диктувам и то става. И аз в тоя момент осъзнавам" уау, нали, колко по-достъпно става и колко по-лесно става, нали? Тука говорим конкретно за lovлоable, който отдолу има отделни компоненти, които ние като диктуваме на изкуствения интелект го свързва. Не е просто да генерира целия код, нали това трябва да е ясно, но е изключително впечатляващо как хора без технически бекграунд стават техничари и това означава и нали за зловредната страна. Тоест хора без технически бекграунд >> стават хакери. >> Стават хакери. >> Браво бе. Мога Можел съм и да бъда и хакер. Добре де. Аа хубаво. Марко, към тебе въпрос. Как да се подготви бизнеса

38:02↗за справянето с опасността, която крие, защото виждаме последно време AI, в смисъл, ако няма AI на дадена конференция, значи не е имало конференция, нали? Ако не е имало тема, ако не е имало продукт или продуктът, ако не поддържа някакъв вид AI, то този продукт е живоумрял. А затова как да се подготвим с обучение или с политики, с някакви регулации като компания. После ще ви питам и за занал такива а нали препоръки, но тука говорим по-скоро за компаниите. >> Да. Ами, а смятам, че реално AI той сам по себе си, той не е опасен. А реално това е просто един инструмент, както казаха вече колегите, който може да се използва по-лесно и по-бързо, да се достигне до мишената, до целта, да се открие уязвимостта и така нататък. Така че реално погледнато бизнесите трябва да приложат същите мерки, които по принцип индустрията за киберсигурност препоръчва. Тоест трябва на първо място

39:06↗да има много добри обучения, да е запознат мениджмънта с това какви са най-често срещаните киберзаплахи, как може да бъде използван AI и те да бъдат още по-лесно разпознаваеми. Например в момента технологията на Deep Fake, която може да имитира гласа, а и дори а да направи примерно видео кол с лицето на шефа, който да нареди, да се изпратят едни пари на едно място. Тези неща трябва да са запознати както мениджмънта, така и всички служители. Например да се провеждат обучения, фишинг симулации, които да може да се видят къде са така по-слабите хора, нали, хората с по-малко знания и те да бъдат обучени допълнително. Също така трябва да се правят например редовни а penнейшън тестове, което да се прави на continuous basis, а не да си направиш пен теста веднъж на годината. Само че ти цялата година например да доразработваш твоето приложение и примерно ти си банка

40:05↗с мобилно приложение, непрекъснато разработваш нови неща, по този начин ти би могъл да а вкараш много нови уязвимости, които ти не проверяваш, защото си правиш единия път пен теста, който се изисква по регулаторна линия. Така че това трябва да се прави примерно continuously и от тази гледна точка трябва непрекъснато да се мисли и цялостно да се подходи със стратегическа мисъл към киберсигурността. А, благодаря ти. Последен въпрос към към всеки от вас е буквално с едно-две изречения. Какво е каква би каква е препоръката, която бихте дали, за да се справим с или по-скоро да се а да се справим с опасностите, които се появяват като потребители на изкуствен интелект или в ежедневието ни, които могат да ни с споходят? >> Ами аз бих казал, че ако гледаме на AI-я като нещо страшно, нали, изобщо киберсигурността Аа много ми харесва това, което е, че ако искаш да се бориш с гиганти, а стани

41:13↗ти такъв. Тоест запознайте се, а бъдете една стъпка напред относно какви са аа найтака често ползваните тулове, как се използва AI, за да открие уязвимости и подгответе вашия бизнес спрямо бизнес целите. А бих добавил просто към много интересно негово заключение, че колкото по-arly adopter смето, колкото по-рано започваме да го използваме, да го разбираме, да го интегрираме като част от живота си, толкова повече и на нас ще ни помага да бъдем по-ефективни. Неизбежно е, нали, ще се случват течове на данни, инциденти. Това е неизбежно за Това е хубаво, защото ние затова имаме работа. Аа но е неизбежно. трябва да го приемем като част от това, че използваме технология. Тя се чупи от време на време. Всичко се чупи по принцип. Така че просто трябва да приемем, че нали може да стане нещо, но ако не го адаптираме, ако не го използваме, нали, ние просто изоставаме и това не е хубаво

42:15↗в дългосрочен план. >> Провокатив въпрос към тебе. Знам, че си се подготвил отговор, но веднага ти сменя въпроса. AI в образованието, да или не? >> Със сигурност да. А мисля, че той би могъл много да помогне. Въпросът е а рискът, който между другото в началото се спомена от колегите, спират, ако децата го използват, а много често води до общо взето прехвърляне на мисловната дейност на някой друг. Тоест те спират да мислят, ами само пишат направи ми това, направи ми онова. А така че от тая гледна точка е опасно, просто защото се губи целия смисъл от това образование. Практика просто учителят може директно да си питая за въпроса, за отговори и да си ги получава от него. От друга страна обаче, а ако успеем в в образованието да научим децата а да използват AI за resarch, тоест за проучване на темата, по която се задава въпроса, аа но в последствие те да създадат а отговора, така да се

43:38↗каже, а тогава всъщност е полезен инструмент, тъй като на практика а той подпомага до някаква степен а рисърча до някаква ва степен отново има там едни рискове, затова е важно да се важно е от от малки децата да да се учат да го използват, както казахме, това е инструмент наистина да се учат от малки да го използват, но и да знаем рисковете какви са, да се работи върху това нещо с тях и съответно затова обаче се иска изисква учителите да ги познават тия рискове. И тука според мен е големият проблем, че много от учителите са по-консервативни. А тъй като образованието е бавно променяща се структура, независимо от държавата, навсякъде е много бавна структура. Тука при нас може да е много по-бавна, разбира се, но винаги е много бавно и учителите сами по себе си заради това нещо на тях не им се налага всеки ден нови неща да се срещат, нали? Те обикновено новите неща са новите

44:38↗бели на очи учениците. А, но но тук според мене, че е много важно да успеем да ги да ги накараме те да са early adopters на новите технологии. >> Понеже те прекъснах, кажи си съветите за справянето с опасността от AI. >> Ами, >> доколкото разбирам, познанието >> добавя, да, ако мога да добавя, колегите казаха много валидни неща. бидейки early adopters с една нова технология, а дори дори впоследствие да не се налага вие да я използвате, аа разбирането за това как работи ви дава възможност да оцените, да кажем, ако примерно като компания ползвате някакъв сървис провайдър, тоест друга компания, която да се грижи за част от нещата, нали вие имате си бизнес за е да не да не знам магазин за за хранителни стоки. Очевидно от киберсигурност нищо не разбирате, обаче от друга страна има няколко неща, дето ви работят на касата, софтуера, инвентаризация и така нататък.

45:39↗Така че това е обикновено в тоя в тая сфера вие имате някой IT или някаква фирмичка, която да ви поддържа системата, дори и на тях да им се доверите. Вие за да разберете дали тия хора всъщност разбират нещо и могат ли да си ги изберете, трябва нещо да разбирате от тая сфера. Малко, но нещо. Така че това са сърли ADPS и аз много силно подкрепям. Благодаря ти. Благодаря на на участниците. Само две изречения от мен. Приключвам. Извинявам се извън времето, но а защо обърнах въпроса към образованието? А защото синът ми е шести клас тази година и разлистих много набързо учебника му по компютърно моделиране. Еми съжалявам, но ти казваш Skype е се декамишва, прекратява out of support. Ми съжалявам, има цяла страница, айде половин страница отделена на Skype. Има поменати няколко други платформи за комуникации. Има два реда запазване. Ми >> не знам, някой архаигичен е бил, не

46:38↗знам. А та много си прав, Пламен, че трябва учителите да използват изкуствен интелект, за да обогатят съдържанието, да обогатят това, което им дава министерството изисква от тях като мини като бер минимум и да провокират децата, които също трябва да използват изкуствен интелект, но да ги провокира по такъв начин, който днешната младеж изисква за развиване на мисъл, бързо може би взимане на дадени решения или намиране на информация, както ти каза. Затова образованието е нещо, което трябва да се а да развиваме в себе си, за да се предпазим от атаките в ежедневието. Благодаря. Благодаря на всички, че участвате в дискусията и поздравления на организаторите.

47:26↗>> Само искам да кажа, не с лошо, имаме може би седем-8се минути запроси макс, защото след това скачаме директно в блокчей уеб 3 дискусията, която също е много вълнуваща. Така че дава направо микрофона.

47:40↗Иван Долин от balansworks.cloud. Аз имам един въпрос, на който наистина искам да чуя отговора. Не, не го задавам ей така, нали, да хвана микрофона. Чух тука различни мнения по повод, нали, доколко може напълно, нали, да ни защитава AI и колко да ни напада и така нататък. Но в крайна сметка стигаме до нещата, че ако не днеска, то утре AI ще напада. Е ни защитава. От друга страна чух идеята, че в крайна сметка остава човешкият фактор. Там е проблемът. 70% нали от атаките са заради човешки грешки. Не стигаме ли до извода, че no human no problem? >> Ама и >> ти не си ли гледал аз робота? >> Да, да, да. Или но там ли сме? Там ли сме? >> Ми още сме далеч според мен. Но аз видях, че като видях, че микрофонът отива към тебе и почнахме да вземем малко така по-защитна а функция, нали, поза, а всички ами не знам, някой иска ли да каже нещо, защото някак си имам чувството, че само аз

48:40↗>> аа аз не съм привърженик, нали, че ще стигнем тоя момент no human no problem, поради простата причина, че нали моята концепция за киберсигурността е чисто и просто, че не е zero su game. Тоест единствената система, която е напълно защитена е тази, която е офлайн, нищо не прави. Ако имаме една система или организация или каквото и да е било, която работи, рано или късно тя ще бъде компроментирана. Аз съм прекарал хиляди часове онкол, работил съм по много инциденти, много неща и знам, че почти всяка компания рано или късно ще бъде компроментирана. И в тоя ред на мисли, без значение дали тя е защитена сея или не е защитена. В смисъл вероятността, ако е защитена с правилните инструменти, подходи и така нататък и така нататък, да бъде компроментирана сериозно, просто е по-ниска. Но това не означава, че няма да няма тоя потенциал или няма да бъде. А защитата е малко по-трудна от нали

49:34↗намирането на проблем. Даже ние българите чисто така етнологично сме много добри в намирането на проблеми и винаги ще бъдем чисто нали исторически. Тука има доста силни хакери и се радвам, че в последните години пък се обръщат нещата. има доста хубави аа бизнесмени, специалисти в лицето на Марко, специали нали на на множество хора, които са тук даре в аудиторията, което е страхотно, които променят това нещо, защото отнеме нали много време, но не мисля, че и някакъв такъв геймame, който стигаме в тоя момент и няма човек няма проблем, има еквилибриум, с системите са защитени и така нататък, което пък е хубаво и ще имаме работа. >> Една дума ще кажа аз. Аа помните началото на войната в Украйна. А не знам дали знаете, месеци преди това имаше масирани хакерски атаки срещу администрации в Украйна от страна на Русия. А в един момент стана ясно къде в се по се поведе стоят въпросните хакери

50:37↗примерно в от страна на на Украйна или от на Русия. едно конвенционално оръжие с широк обхват и с дъл сериозна пробивна дейност успява да да елиминира тази заплаха. Така че конвенционалните хакери може би а няма да изчезнат пред заплахата от това AI да ги замени. >> Много интересна дискусия. Благодаря ви. Аз съм Краси от Кикимора. AI естествено имам два много бързи въпроса към вас. Първият е за нигерийския принц. контекст, за който Миглен спомена и факта, че AI знае къде сме, какво правим, кои сме ние, в коя организация работим, всичко свързано с нас, животът ни може да създаде една фишинг кампания на база на всички задълбочения и познания за нас, които е събирало месеци и години. Това означава ли, че съвсем скоро вместо нигерийския принц, който ни обещава имоти в Лагос, ние ще получаваме съобщения на български от Сахско-Бърготски, който ни предлага градините на Врана например.

51:42↗Или да А това ми е първият въпрос. Трябва ли да се плашим, че съобщенията ще са толкова български автоматизирани, че няма да разпознаем въобще AI? И вторият въпрос е малко по-сериозен. То е по отношение на всички имплементации, всички нас, нали, голяма част от нас ще развиват нещо самостоятелно, собствено на база на готови AI модели, които ние ще тренираме, претренираме, използваме като база. Когато ние развиваме AI имплементации, имплементации, има ли някакъв риск, свързан с тях? Те трябва ли да се проверят от гледна точка на сигурност? Промт ижекшън, манипулиране на A модела с информация, с която ние искаме да го претренираме. А той първият въпрос е доста реторичен май. А тука колко от публиката примерно в последната година са получавали странно обаждане, в което един странен глас ви говори някакви неща и фолоуъпва. Това ще стане за съжаление или не, това

52:40↗ще стане ежедневна действителност и то доста ефективна. Просто трябва да свикне телефони >> и това го има. Да. Аа просто ще се пренесе във всички комуникационни канали, нали. Това е концепцията за socialниринг. Просто използваме различен тип комуникационна мрежа за изпълнение на подобен тип атака. И да, в смисъл, а превежда много добре български език, влиза много добре в контекст. То и преди го имаше това с нали отворените данни, изтеклите данни сори кой къде работи, какво прави и така нататък. Така че сега просто се добавя тоя елемент отгоре и става много по-лесно. А относно е LЛМ- това е доста дълга тема. Тоест там се създава един нов вакуум, който трябва да се отново разреши под някаква форма, нали, нали не може да бъде а окончив, инжектиран, компроментиран и така нататък. Там имаме доста работа, докато стигнем до момент, който е защитен, защото със създаването на всяка една

53:32↗нова технология се създава, нали, нов вектор на атака аа съвсем естествено. Просто технологията се развива по-бързо от нали нашите възможности да я защитим понякога и затова е нали редно да кечъпнем. Усещам обаче, че Пламенн има какво да каже още. >> Не, аз само да потвърдя абсолютно при по втория въпрос, първия очевидно всички сме получавали и по WhatsApp и по какво ли не съобщения на български аз лично съм получавал вече, които очевидно не в смисъл не са писани от човек. А въпросът е, че или поне не е от българин. А въпросът е, че по вто по по извинете, по втория въпрос а с със сигурността на AI моделите има две страни. От една страна, разбира се, ние ако си рънваме тоя модел вътре inхаус и си го ползваме за някакви вътрешни цели в организацията, там до някаква степен рискът е някой служител потенциално да достигне до информация, която той не би трябвало да има достъп.

54:35↗Тоест тука мерките за autтоorization а на на организацията определено стават под риск от това нещо. А, тоест до какво има, да кажем, един девелопър, програмист, който пише код, обаче има достъп само до едно репо. А обаче AI моделът има достъп до всички репота и реално той трейнт най-вероятно, за да може да му помага и да пише по-добре код и всъщност дали по някакъв начин той няма да може да се достигне до тия други репо и до това какво пише там. точно в най-сигурната част, най-защитения ни проект, изведнъж компрометиран служител всъщност да може да го направи, да да достигне до там и да направи нещо лошо. От друга страна, тези, които са публично достъпни, ако си ги имплементираме в продукта, определено това е така най-видимия, най-лесно достъпния как да кажа, достъпната вратичка за хакерите, допълнителния вектор, който те вместо да правят някакъв вид инжекшъни

55:36↗през браузъра, като ти отворят сайта, аа директно през AI е същия същия общо взето подходът е същия. Така че мисля, че да, със сигурност ни трябва и това ще се случи в следващите месеци, ако вече не се и случва. Даже знам за няколко поне стартъпа, които работят върху тая сфера. >> Аз приключвам може би, защото нямаме време. А, много ми се искаше да поговорим за Deep Fake и споменавайки Deep Фейк, аз като лайк изобщо на програмирането преди година успях за час и половина вече да имам готова платформа да си правя пфейк видеа и това ме връща накра на една ваша презентация в една един друг форум, където включихте Deep Fake генериран персонаж в Teams call. А и аз февруари месец, когато на моите събития говорихме точно на темата пфейк, а казах, че съм готов да седна и да отида във всяко едно училище да науча децата как да го правят, защото беше станал точно такъв бум по новините

56:35↗седмица-две по-рано. А когато момче беше използвало снимка на момиче, да за да дип фейква в такива неприлични аа ситуации. А така че аз съм готов да да отида във всяко едно училище, да науча всяко едно дете какво е пфейк и как да го прави, защото знаейки как да го правим, следва да знаем и как да се предпазим, разпознаваме и да предприемаме мерки за това да да го спрем. >> Аплодисменти. Аплодисменти за нашите гости. Благодарим ви. Супер сте.