EMBERSim: велика база даних для прискореного пошуку подібностей в аналізі шкідливого ПЗ
Подібність двійкового коду (BCS) є важливою складовою тренування моделей машинного навчання (ML) для ефективного аналізу великих обсягів телеметрії кібербезпеки. Проте, історично BCS зосереджувалася на пошуку подібностей серед серед прикладів шкідливого ПЗ, а не серед безпечних даних, що обмежує її ефективність. Команда дослідників CrowdStrike випустила EMBERSim — набір даних BCS, що розширює існуючий набір даних EMBER за допомогою розширених тегів даних і нового алгоритму спільної появи подібності листків, який враховує як безпечні, так і шкідливі бінарні файли. Цей інноваційний підхід до кваліфікації подібності в кібербезпеці покращує результати BCS в ML-моделях, демонструючи, що EMBERSim має потенціал покращити виявлення шкідливого ПЗ та дозволити подальші дослідження в цій ключовій галузі.
Мета дослідження
Основна мета дослідження Crowdstrike полягає у подоланні обмежень BCS для покращення виявлення шкідливого ПЗ та сприяння подальшим дослідженням у цій сфері. Дослідження базується на існуючому наборі даних EMBER, який включає в себе Portable Executable (PE) файли, що містить функції та теги для класифікації шкідливого ПЗ.
Новий набір даних EMBERSim
EMBERSim – це набір даних для BCS-досліджень, який розширює метадані сімейства шкідливих програм (FAM) в оригінальному наборі даних EMBER за допомогою інформації про подібність, клас (CLASS) і поведінку (BEH) шкідливих програм, а також додаткових тегів сімейства (FAM). Розширений список тегів визначається за допомогою алгоритму спільної появи.
Класифікатор та оцінка
Crowdstrike є першою, хто перепрофілював класифікатор шкідливих програм XGBoost для кількісної оцінки парної подібності на leaf level. Компанія пропонує нову схему оцінювання ефективності запропонованої техніки подібності листків, використовуючи методи Top-K Selection та Relevance @ K. Цей метод було порівняно з методом обчислення подібності у кібербезпеці (ssdeep), і було підтверджено, що подібність листків є кращою альтернативою.
Опис метаданих та тегів
Для кожного зразка в EMBER використовувалися його SHA256 для запиту VirusTotal (VT) та запуску AVClass v2 для отримання тегів з відповідними коефіцієнтами впевненості. AVClass надає статистику спільної появи для пар тегів, що дозволяє збагачувати набір тегів шкідливих зразків в EMBER шляхом додавання співпадаючих тегів вище певного порогу частоти. Мета цього збагачення — можливість знайти зразки зі спільними характеристиками, навіть якщо вони належать до різних сімейств.
Метод Leaf Prediction Similarity
З використанням навченої ансамблевої моделі дерев рішень (в нашому випадку XGBoost) ми визначаємо подібність двох зразків як подібність їхніх листків у контексті цієї моделі. Цей метод можна застосувати до будь-якого типу ансамблю дерев, але в експериментах були використані XGBoost. Подібність обчислюється як частка дерев, у яких обидва зразки потрапляють в один і той же листовий вузол.
Оцінка Relevance @ K
Crowdstrike провела ще одну оцінку, яка включає перевірку релевантності отриманих результатів у сценарії збагачення тегів. Для оцінки Relevance @ K використовувалось ранжування тегів, яке визначає релевантність отриманих зразків. Оцінка відбувається за релевантністю зразків та різними механізмами оцінки, таких як EM, IoU та NES.
Аналіз показав, що метод подібності листків перевершує ssdeep та досягає кращих результатів для обох типів запитів — як шкідливих, так і безпечних. Результати оцінки підтвердили ефективність цього підходу у виявленні та розрізненні шкідливих та безпечних зразків.
Висновок
Команда дослідників CrowdStrike продовжує дослідницьку діяльність, щоб залишатися попереду у виявленні загроз та реагування на них. Проєкт EMBERSim є яскравим прикладом таких зусиль, спрямованих на покращення методів аналізу та виявлення шкідливого ПЗ, а також сприяння подальшим дослідженням у цій ключовій галузі.
