Протосфера: программная инфраструктура для глубокого разбора сетевого трафика

1.

ПРОТОСФЕРА:
программная инфраструктура для
глубокого разбора сетевого трафика

2.

Анализ сетевого трафика:
практические задачи и инструменты для их решения
• Спектр инструментов для решения практических задач
анализа трафика очень широк
• Интеграция инструментов затруднительна/невозможна
Оптимизация
пропускной
способности
каналов
Защита от
сетевых атак
Обратная
инженерия
сетевых
протоколов
Управление
доступом
Анализ
передаваемого
контента
Wireshark
The Bro IDS
SNORT
Анализатор
Внутреннее
представление
Внутреннее
представление
Внутреннее
представление
Внутреннее
представление
Разборщики
протоколов
?
Разборщики
протоколов
?
Разборщики
протоколов
?
Разборщики
протоколов
2

3.

Типовые действия при разборе сетевого трафика
1. Распознавание протокола
• Определение прикладного протокола:
• по номеру порта
• посредством поиска характерных
шаблонов в полезной нагрузке
пакетов
2. Разбор пакетов
• Задаются форматы сообщений,
разделяющие пакеты на
служебные поля и
полезную нагрузку
Данные
Распознавание
Протокол
Представление
пакетов для
дальнейшего
разбора/
анализа
3. Сборка потока данных,
передаваемого посредством
протокола следующего уровня
• Используется упрощенный автомат
протокола
Разбор следующего
протокола сетевого
стека
Заголовок
Полезная
нагрузка
Сборка потоков
3

4.

Требования к системе
• Открытый интерфейс (API)
– добавление разборщиков
– получение результатов
разбора
• Разбор протоколов
произвольного
сетевого стека
– сборка потоков
– зашифрованные данные
– связанные потоки
• Отладка системы на
трафике, при разборе
которого возникли
ошибки
Разбор трафика как сервис
L7
Внутреннее
...
представление
API
L2
4

5.

Архитектура системы
Исходный код ядра системы
Модули разбора
и распознавания
заголовков
протоколов
Модель представления
данных
API построения
API разбора
Управление
ресурсами
Реализация
оффлайн
режим
Библиотека для оффлайн-разбора трафика
Разбор трафика из сетевых трасс
Оффлайн-анализатор трафика
Разработка модулей разбора
Модули
построения
данных в
заданном
формате
П
О
Т
Р
Е
Б
И
Т
Е
Л
И
Реализация
онлайн
режим
Библиотека для онлайн-разбора трафика
Разбор трафика на потоке
Сохранение извлеченных из трафика
данных в заданном формате
5

6.

Модель представления данных
• Реализация типовых действий при разборе сетевого
трафика:
– интерфейс для подключения «распознавателей» протоколов
(автоматическое распознавание)
– представление пакета в виде дерева разбора
– сборка потоков (отдельные буферы) для протоколов
произвольного уровня сетевого стека с учетом потери и
переупорядочивания пакетов при передаче
– поддержка состояний для stateful-протоколов с привязкой к
сетевому стеку
– возможность разбора зашифрованных данных
– выявление связанных потоков
6

7.

Пример №1: DCI на потоке
Отведенный сетевой трафик
Ядро системы
Модули разбора
и распознавания
заголовков
протоколов
API
разбора
Модель представления
данных
Управление
ресурсами
API
построения
Отбор аномалий
Сетевые
трассы
Модули построения данных в заданном формате
Модуль
построения 1
Модуль
построения 2
аудио/видео потоки
веб-страницы
файлы PNG, PDF, ...
Программапользователь 1
Программапользователь 2
Потребители
7

8.

Пример №2: доработка разборщиков
Сетевые
трассы
Исследование аномалий
Ядро системы
Модули разбора
и распознавания
заголовков
протоколов
Визуализация
разобранных
пакетов
Разработка новых
разборщиков
API
разбора
Модель представления
данных
Управление
ресурсами
Оффлайн-анализатор
Формирование
Локализация
потоков из
ошибок разбора
пакетов
API
построения
Граф сетевых
взаимодействий
Формализация
знаний о протоколе
8

9.

Отладка разборщика: журнал событий
9

10.

Выявление связанных потоков на примере SIP
10

11.

Программный комплекс Протосфера
DPI как сервис

12.

Решение прикладных задач DPI
Веб
1.
2.
Выделение пользовательских веб-запросов для оценки посещаемости
отдельных сайтов
Тематическая группировка посещаемых сайтов
–
–
3.
На основе краулинга ресурсов классификации (Alexa, SimWeb, Trendmicro)
На основе анализа текстового содержимого страниц (Texterra)
Выявление веб-технологий и фреймворков применяемых на сайте (аналог
Wappalyzer, ускорение за счёт hyperscan x5)
Шифрованный трафик
1.
2.
3.
Анализ качества передаваемых видео-потоков на основе машинного
обучения
Идентификация клиентского приложения по TLS-рукопожатию
Классификация трафика по протоколам прикладного уровня на основе
машинного обучения по потоковым данным
Общие задачи
1.
Поиск большого числа регулярных выражений в данных произвольного
протокола/файла на с использованием библиотеки hyperscan

13.

Дальнейшее развитие
• Интеграция со средствами анализа бинарного кода:
– выделение структуры и визуализация данных в памяти
• Интеграция с системой скоростного анализа трафика:
– web-интерфейс управления и визуализации результатов
– распараллеливание обработки
– предварительная классификация по протоколам L7
• Единая база форматов данных на декларативном
языке. Примеры:
– Kaitai Struct, Peach-Pit, …
• Интеграция с фаззером с использованием известных :
– автоматизированная генерация peach-pit на основе знаний о
структуре
13

14.

Спасибо за внимание
14