ШІ проти ШІ: відповідь CrowdStrike

Зараз ми спостерігаємо переломний момент у кібербезпеці. Історично склалося так, що зловмисники повинні були вручну ініціювати та підтверджувати кожну фазу атаки, включаючи запуск розвідувальних сканувань, виявлення вразливостей, створення експлойтів, здійснення вторгнень та запуск витоку даних. Це обмеження стримувало швидкість і масштаб атак. Але завдяки агентному ШІ, який тепер використовується для здійснення ворожих дій, ці обмеження зруйновані:

«Злочинець, оператор, ставив завдання Claude Code працювати в групах як автономні агенти-дирегенти для тестування проникнення. Зловмисник зміг використовувати ШІ для виконання 80-90% тактичних операцій незалежно одна від одної – фізично така швидкість запитів була б неможлива».

Ця вражаюча цифра має стати тривожним сигналом для всієї індустрії. Це не поступове вдосконалення – це експоненційна трансформація. Захисники, які у цій новій ері ШІ покладаються на реагування зі швидкістю людини, виявляться випередженими та перехитреними.

Попри революційний агентний механізм роботи, який дозволив досягти безпрецедентної швидкості та масштабу в цій атаці, основні методи та інструменти кіберзлочину виявилися напрочуд традиційними. Зловмисник не розробляв екзотичні експлойти нульового дня, а, насправді, навпаки:

«Операційна інфраструктура переважно покладалася на інструменти для тестування на проникнення з відкритим вихідним кодом, а не на розробку спеціалізованого шкідливого програмного забезпечення. Основний технічний інструментарій складався зі стандартних утиліт безпеки, включаючи мережеві сканери, фреймворки для експлуатації баз даних, програми для злому паролів та комплекси бінарного аналізу».

Це одночасно і заспокоює, і насторожує. Заспокоює тому, що існуючі стратегії та інструменти виявлення та реагування зберігають свою значущість та цінність. Наприклад, мережеві сканери все одно генеруватимуть впізнавані патерни трафіку, навіть якщо вони запущені агентом. Методи TTP (тактики, техніки та процедури), які команди SOC роками вчилися виявляти, не застаріли вмить. Однак традиційні оборонні технології та стратегії будуть актуальними у цій боротьбі лише в тому випадку, якщо вони будуть посилені машинною автоматизацією, здатною зрівнятися зі швидкістю зловмисника та протидіяти їй за допомогою перевірки сповіщень, сортування, диригування та реагування на основі ШІ.

Одним із найбільш важливих аспектів цієї атаки є те, як зловмисники спочатку почали співпрацювати з Claude. Вони не використовували програмну вразливість і не обходили елементи керування аутентифікацією, а замість цього використовували введення підказок (prompt injection), щоб обійти захисні механізми моделі:

«Ключем була рольова гра: зловмисники-оператори стверджували, що вони є співробітниками легітимних кібербезпекових фірм, і переконали Claude, що його використовують для захисного тестування кібербезпеки».

Введення підказок, за допомогою якого зловмисники використовують інструкції у запитах для виклику зловмисної або небажаної поведінки моделі, є ризиком номер один у переліку OWASP Top 10 Risks для LLM-застосунків, оскільки вона становить потенційний “парадний вхід” до корпоративних систем ШІ, що вимагає рішучого захисту.

CrowdStrike підтримує найбільш повну в галузі таксономію введення підказок завдяки придбанню Pangea, відстежуючи понад 150 різних технік. Підприємства, які створюють та розгортають власні системи ШІ, також повинні усвідомити, що ці системи можуть бути піддані маніпуляції та використані як зброя за допомогою введення підказок.

Традиційні засоби контролю безпеки, такі як фаєрволи, антивіруси та контроль доступу, не захищають від зловмисників, які можуть успішно переконати систему ШІ повернути інформацію або виконати дію всупереч її початковому призначенню та обмеженням.

Це вимагає нової групи засобів контролю безпеки, спеціально розробленої для систем ШІ: для виявлення введення підказок, перевірки контексту, фільтрації вихідних даних та моніторингу поведінки взаємодій зі ШІ. Підприємства повинні впроваджувати захисні бар’єри, які перевіряють легітимність запитів, підтверджують, що дії ШІ узгоджуються з авторизованими сценаріями використання та виявляють маніпуляції системи ШІ для виконання несанкціонованих дій.

Площина атаки розширилася до семантичного рівня. Ми витратили десятиліття на захист кінцевих точок, застосунків, мереж, облікових даних та хмарних середовищ – тепер настав час захищати це.

Концепція агентного SOC не передбачає заміни аналітиків безпеки, а має на меті посилення їх можливостями автоматизації, які відповідають тим, що використовують зловмисники. Клієнти CrowdStrike вже застосовують можливості на основі ШІ платформи CrowdStrike Falcon, щоб щоб бути ефективнішими в захисті. Аналітик безпеки CrowdStrike Charlotte AI діє як мультиплікатор потужності захисту для команд SOC і надає автономні можливості виявлення загроз, розслідування та реагування. Останні працюють з такою швидкістю та масштабом, яка необхідна для протидії зловмисникам, що користуються ШІ.

Наприклад, CrowdStrike Charlotte Agentic SOAR доповнений можливостями прийняття рішень на основі ШІ та може автоматично виконувати сценарії реагування одразу після виявлення загроз. Коли агент ШІ намагається здійснити горизонтальне переміщення, CrowdStrike може автоматично ізолювати уражену кінцеву точку, припинити зловмисні процеси та стримати загрозу до того, як автоматизовані дії зловмисника переключаються на наступну ціль.

Клієнти, які використовують Charlotte AI та можливості платформи Falcon на основі ШІ, повідомляють про значне покращення середнього часу виявлення та реагування, часто скорочуючи час розслідування з годин до хвилин. Це, відповідно, дозволяє автоматично реагувати на загрози, які раніше вимагали б ручного втручання аналітика.

Хоча захист на основі ШІ є необхідним для протидії зловмисникам, що використовують ШІ, захисники також повинні визнати, що корпоративні системи ШІ самі по собі є вразливими цілями. Оскільки співробітники використовують інструменти ШІ для продуктивності, а організації швидко розгортають власне програмне забезпечення та інфраструктуру ШІ, вони створюють нові площини атаки, які вимагають спеціалізованих засобів контролю безпеки, включаючи:

• Захист від введення підказок:

1. Впроваджуйте перевірку та очищення вхідних даних для всіх запитів, що надсилаються до систем ШІ;
2. Розгортайте виявлення введення підказок, яке ідентифікує спроби маніпулювати поведінкою ШІ;
3. Встановлюйте чіткі межі дозволених дій для систем ШІ та впроваджуйте технічні засоби контролю, які запобігають несанкціонованим діям, незалежно від того, наскільки переконливо їх вимагають.

• Перевірка контексту та авторизація:

1. Переконайтеся, що взаємодія зі ШІ відбуваються в межах легітимних бізнес-контекстів;
2. Впроваджуйте елементи контролю аутентифікації та авторизації, які перевіряють особу користувачів та забезпечують відповідність їхніх запитів їхнім авторизованим ролям та обов’язкам.

• Фільтрація та моніторинг вхідних і вихідних даних:

1. Відстежуйте вхідні та вихідні дані системи ШІ щодо витоку конфіденційної інформації, зловмисного або іншого шкідливого вмісту;
2. Впроваджуйте механізми фільтрації, які запобігають генеруванню системою ШІ небезпечних результатів, навіть якщо це вимагалося;
3. Реєструйте всі взаємодії зі ШІ для моніторингу безпеки та криміналістичного аналізу.

• Безпечний життєвий цикл розробки ШІ:

1. Інтегруйте безпеку в розробку системи ШІ з самого початку;
2. Проводьте моделювання загроз для ШІ-застосунків, виконуйте тестування безпеки, включаючи тестування на ворожі дії, впроваджуйте елементи керування в режимі реального часу та ведіть облік усіх систем ШІ, розгорнутих у вашому середовищі.

Платформа Falcon надає всебічний захист для безпечного використання та розгортання корпоративного ШІ, на основі ШІ-виявлення та реагування. Це переломний момент у кібербезпеці і тепер девіз зрозумілий: щоб перемогти зловмисників, які використовують ШІ, компанії повинні використовувати ті ж механізми проти самих атакуючих. Команди безпеки, які використовують захист на основі ШІ та наполегливо працюють над забезпеченням безпеки використання та розгортання ШІ у своїх організаціях, матимуть усі можливості, щоб протистояти цьому новому кіберсвіту.