Зменшення обсягів телеметрії за допомогою Cribl

У 2022 році команда інженерів компанії Getty Images опинилася перед класичним викликом масштабування. Їхня основна система логування щодня приймала кілька терабайтів телеметрії, а прогнозований річний приріст обсягів сягав 30%. Збереження такої динаміки загрожувало компанії додатковими витратами, які вимірювалися мільйонами доларів.

Ситуація ускладнювалась розрізненими конфігураціями, непрозорими механізмами фільтрації та неможливістю попереднього перегляду масивів перед їхнім завантаженням. Кожне підключення нового джерела перетворювалося на гру навмання, а збереження всього обсягу інформації виключно «про всяк випадок» стало вкрай неефективним способом ведення бізнесу.

Для розв’язання цього інфраструктурного завдання фахівці змінили саму парадигму роботи з даними, застосувавши платформу Cribl. Нове рішення дозволило обробляти телеметрію безпосередньо під час транзиту — система автоматично очищує, фільтрує, реструктуризує та перенаправляє потоки інформації ще до етапу індексації.

Завдяки такому підходу архітектори отримали безпрецедентну видимість і гнучкість. Платформа стала тим інструментом, що розблокував можливості справжнього володіння власними даними. Тепер інформація надходить у потрібному форматі саме туди, де вона необхідна, що дозволяє командам безпеки працювати зі специфічними потоками, не перевантажуючи основну систему SIEM.

Глибока технічна трансформація вимагала запровадження чіткої інженерної структури. Інженери впровадили суворі правила найменування джерел та конвеєрів, а також почали додавати метадані безпосередньо до корисного навантаження. Наприклад, спеціальне поле походження джерела стало критично важливим для подальшого виявлення помилок. Водночас рішення Cribl Stream дозволило ізолювати різноманітні робочі навантаження та конкретні use cases.

Така інфраструктурна незалежність гарантує, що помилка конфігурації в одному відділі або локальний сплеск активності не вплине на стабільність усієї корпоративної мережі. Для безпечного тестування архітектури без ризику для виробничого середовища активно застосовується маршрутизація до devnull та інструменти генерації анонімізованих вибірок. Додатковою перевагою стала інтеграція штучного інтелекту: Cribl Copilot дозволяє швидко будувати конвеєри та генерувати пошукові KQL-запити.

Найбільш очевидним досягненням оптимізації стало скорочення обсягів вхідних логів безпосередньо вдвічі. Важливо й те, що компанії вдається утримувати цей показник на стабільному рівні протягом кількох років, незважаючи на постійне експансивне зростання бізнесу. Головна економія була досягнута внаслідок зменшення вимог до кластера індексаторів. Однак фундаментальними стали саме процесні зміни, зокрема впровадження обов’язкової форми запиту на збір телеметрії. Вона змушує власників інформації перед інтеграцією відповісти на низку критичних питань: який тип даних завантажується, які очікувані обсяги, необхідний термін зберігання та політики доступу. Це переносить відповідальність за доцільність логування на ініціатора процесу, запобігаючи неконтрольованому накопиченню сміття.

Зміна звичок розробників та суміжних підрозділів виявилася значно складнішим завданням, ніж безпосереднє налаштування програмного забезпечення. Експерти наголошують, що успішна реалізація таких масштабних проєктів має будуватися навколо розв’язання болючих питань внутрішніх партнерів, а не простої демонстрації нових функціональних можливостей. Спеціалісти з моніторингу повинні розвивати мережу за принципом поступового переходу, пропонуючи іншим командам вирішення нагальних проблем ліцензійних перевитрат чи видимості подій в інфраструктурі. У такій парадигмі підрозділ операцій перетворюється на надійного провайдера рішень, чия робота залишається стабільною у штатному режимі.

Підсумовуючи, ефективне управління конвеєрами даних вимагає поєднання проактивної маршрутизації та суворої дисципліни логування. Зберігання петабайтів невідфільтрованої інформації більше не є виправданим кроком: компаніям потрібні інструменти для структурування телеметрії до моменту її індексації. Це дозволяє звільнити фінансові ресурси та зробити роботу аналітиків безпеки зосередженою виключно на релевантних загрозах.