Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow Хостинг

Начальная настройка NetFlow Analyzer.

Теперь войдем в NetFlow Analyzer и посмотрим что же у нас получилось.

Первое, куда попадаем, это список интерфейсов, за которыми ведется наблюдение, в данном примере интерфейсы с именами IfIndex* это входящие соединения по vpn, интерфейсы comgate* и vcraft* это провайдеры, local это интерфейс локальной сети.

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

Если что то не получилось, то имеет смысл проверить соответствие портов, по которым анализатор слушает и порт, который указали в микротике.

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

Server Settings — Настройки сервера.

NetFlow / sFlow Listener Port — порт, на который принимаются потоки с устройств.

WebServer Port — порт веб интерфейса.

Count Of Top Records to Store — максимальное количество строк, выводимое в таблицах с данными.

DNS Settings — Настройки определения dns имен.

Resolve only when «Resolve DNS» link is clicked — По умолчанию выбрано, Определять имена по клику на «Resolve DNS».

Resolve DNS names automatically by default- Определять имена автоматически (замедляется работа)

Resolved DNS count in cache — Размер DNS кэша.

Наверное вторым местом, куда стоит заглянуть в настройках, это настройки для отправки почты.

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

Нажмем на Test Mail.

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

Своим мини обзором хочу рассказать об одном программном продукте, который очень хорошо помогает при анализе трафика. Да, продукт коммерческий, но по моему он того стоит.

Это web приложение, написанное на Java, в качестве http сервера выступает Apache, для хранения данных используется MySQL.

Используя NetFlow Analyzer возможно собственноручно конструировать функциональные «приборные панели», пригодные для мониторинга наиболее важных участков сетевой инфраструктуры. Каждая такая панель создается с учетом специфической роли отдельного администратора и может состоять из многочисленных элементов (виджетов), отвечающих за извлечение информации из различных источников.

Благодаря наглядности приборных панелей NetFlow Analyzer можно с первого взгляда оценить сложившуюся ситуацию, получить представление о текущей нагрузке на различные участки сети и изучить показатели производительности, не тратя времени на поиски и просмотр разрозненных отчетов. В комплект поставки NetFlow Analyzer включено более полусотни «виджетов».

Приблизительно так 🙂

Начнем с самого начала, т.е. установки и начальной настройки.

Скачиваем под интересующую нас платформу (Windows, Linux), в нашем случае это Windows.

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

Все компоненты ставятся в одну папку, по этому при желании можно выбрать любую.

Так же при установки запрашиваются порты, по которым будут работать сервисы. Порт web интерфейса и порт, на который будут приходить NetFlow пакеты.

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

Указываем, что бы запускалось как служба.

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

Указываем регистрационные данные

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

В общем все как всегда, «Далее», «Далее», «Согласен», «Опять Далее», «Финиш!».

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

Привет, Мир! Сейчас расскажем об одном полезном методе траблшутинга и поиска проблем на роутерах MikroTik. Суть данного метода заключается в том, чтобы отлавливать (“сниффить”) пакеты, проходящие через определённые интерфейсы нашего роутера и анализировать их сразу же при помощи Wireshark.

Prerequisites

Итак, для того, чтобы воспользоваться данным методом нам понадобится:

  • Роутер MikroTik (в нашем случае использовался RB951Ui-2HnD с версией прошивки RouterOS 6.40.2 )
  • Программа Wireshark (в нашем случае версия 2.4.1)
  • Компьютер или сервер, находящийся в одной сети с роутером с запущенным Wireshark’ом

Первым делом открываем Wireshark, выбираем интерфейс, на котором хотим “сниффить” (в нашем случае это Ethernet, то есть интерфейс, с помощью которого компьютер подключается к роутеру) и устанавливаем следующий фильтр — udp port 37008. Как показано на рисунке:

Читайте также:  Как зарегистрировать домен и хостинг за рубежом анонимно? — Хабр Q&A

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

Понятно, что если мы запустим захват пакетов без этого фильтра, то нам просто вывалится весь трафик, который проходит через этот интерфейс, а мы этого не хотим.

Что же это за фильтр такой и что за порт — 37008? Дело в том, что MikroTik шлёт UDP дэйтаграммы, то есть весь перехваченный трафик, именно на этот порт streaming server’а, а в качестве этого стриминг сервера, как вы могли догадаться, у нас выступает наш компьютер с запущенным Wireshark’ом. Эти пакеты инкапсулируются по протоколу TZSP (TaZmen Sniffer Protocol), который используется для переноса в себе других протоколов.

Итак, запускаем перехват пакетов на определённом интерфейсе с фильтром udp port 37008 и видим, что ничего не происходит и пакетов нет.

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

А теперь самое интересное – подключаемся к MikroTik’у через WinBox, переходим в раздел Tools далее Packet Sniffer и видим следующее окно с настройками:

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

На вкладке General можем оставить всё по умолчанию, переходим на вкладку Streaming:

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

Ставим галочку в Streaming Enabled, в поле Server указываем IP адрес нашего компьютера, на котором запустили Wireshark и ставим галочку на Filter Stream, чтобы активировать фильтр, который будет настраиваться на следующей вкладке — Filter

На данной вкладке мы можем отфильтровать интересующий нас трафик. Например, у нас в сети есть IP-АТС Asterisk и мы хотим посмотреть, какие пакеты он получает и отправляет через роутер MikroTik. Так, например, можно отследить коммуникацию IP-АТС с сервером провайдера VoIP услуг.

Далее нажимаем Apply и Start и видим, что сниффер перешёл в статус “running”

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

Отлично, теперь отправляемся в Wireshark и видим, что он нам уже наловил нужных пакетов в соответствии с правилами фильтра.

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

В нашем случае – это коммуникация IP-АТС Asterisk с сервером провайдера VoIP услуг, запрос на регистрацию и подтверждение с обратной стороны. Обратите внимание, что тип инкапсуляции — TZSP, однако, Wireshark смог правильно деинкапсулировать эти пакеты и отобразить нам пакеты SIP.

Рекомендуем

Всем привет! В сегодняшней статье расскажем о том, как настроить отправку статистики о пакетах, проходящих через наш роутер Mikrotik на коллектор для дальнейшего анализа. Все мы знаем про такой протокол как Netflow, предназначенный для учёта сетевого трафика, разработанный компанией Cisco, так вот у Mikrotik есть своя реализация данного решения, которая полностью совместима со стандартом Cisco Netflow — Mikrotik Traffic Flow.

Помимо мониторинга и анализа трафика, с помощью Traffic Flow, администратор может выявлять различные проблемы, которые могут появляться в сети, а также анализировать и оптимизировать общие сетевые характеристики.

Поскольку Traffic Flow полностью совместим с Cisco Netflow, то он может использоваться различными утилитами, которые разработаны для Netflow.

Traffic Flow поддерживает следующие версии Netflow:

  • version 1 — Самая первая версия формата данных Netflow. Рекомендуется использовать только если нет альтернатив
  • version 5 — Дополнение первой версии, которой появилась возможность добавления номеров автономных систем (AS) BGP и порядковых номеров потоков
  • version 9 — новая версия, позволяющая добавлять новые поля и типы записей благодаря шаблонному исполнению

Итак, для того, чтобы начать собирать статистическую информацию о трафике, необходимо сначала включить Traffic Flow и определиться с каких интерфейсов осуществлять сбор. Делается это при помощи комбинации следующих команд:

Читайте также:  Лучшие компании, предоставляющие облачный VPS-хостинг в 2022 году [Проверено и рассмотрено]

/ip traffic-flow set enabled=yes
interfaces=ether1

В нашем случае, указан лишь один интерфейс ether1, однако, если вы хотите собирать статистику с нескольких интерфейсов, просто укажите их через запятую. Если со всех — интерфейсов введите interfaces=all.

Командой active-flow-timeout — можно настроить максимальное время жизни потока, по умолчанию это 30 минут.

Некоторые потоки, могут стать неактивными через какое-то время, то есть, в них не будет происходить обмен пакетами, этот тайм-аут настраивается командой inactive-flow-timeout. Если пакетов в потоке нет и данное время истекло, то в следующий раз traffic flow создаст новый поток, если обмен возобновится. По умолчанию это 15 секунд, но если сделать данное время слишком коротким, то это может привести к созданию большого количества отдельных поток и переполнению буфера.

После того как мы включили Traffic Flow и определились с интерфейсами, с которых хотим получать информацию о потоках, необходимо настроить хост назначения, который будет получать данную информацию (в терминологии Netflow такой хост называется коллектором). Делается это при помощи следующей команды

ip traffic-flow target

Затем указывается IP адрес и UDP порт хоста назначения -add dst-address=(IP address) port=(UDP port). Если вы хотите использовать конкретную версию протокола, то укажите ее командой version= (1,5,9)

Пример

Рассмотрим пример конфигурации Traffic Flow на роутере Mikrotik

Допустим мы хотим собирать статическую информацию о трафике, который проходит через интерфейс ether3 нашего роутера и отправлять её на коллектор по адресу 192.168.2.123 используя 5 версию протокола. В этом случае конфигурация может выглядеть следующим образом:

Сначала включаем Traffic Flow и указываем интерфейс

/ip traffic-flow set enabled=yes
interfaces=ether3

Затем указываем адрес коллектора, стандартный порт и версию протокола 5:

/ip traffic-flow target add dst-address=192.168.2.123
port=2055
version=5

Если Вы предпочитаете консоли утилиту WinBox, то для настройки Traffic Flow левом меню откройте пункт IP и выберите Traffic Flow, перед Вами откроется следующее окно:

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

Необходимо включить Traffic Flow, поставив галочку напротив Enabled и выбрать желаемый интерфейс для сбора информации.

После этого переходим на вкладку Targets и добавляем параметры коллектора, достаточно внести IP адрес, порт и версию. После этого нажимаем на кнопку Apply

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

После этого наш роутер начнет отправлять информацию на коллектор. Если вы хотите указать несколько коллекторов, то это можно сделать, используя разные версии протокола и номера UDP портов.

Netflow — сетевой протокол сбора информации о трафике проходящем через маршрутизаторы и коммутаторы разработанный CISCO. Сейчас много оборудования его поддерживают в том числе от таких производителей как Juniper, Enterasys и Mikrotik. Версии протокола 5 и 9 особенно часто используются и сделали его фактически стандартом в этой области. Маршрутизатор являющийся сенсором отправляет информацию на сервер (коллектор) где из неё формируется база данных. Доступ к этому хранилищу IP адресов, портов, проколов и времени осуществляется через веб интерфейс или специальную консоль в которых данные удоно представлены в виде графиков и таблиц.

Освоить MikroTik Вы можете с помощью онлайн-куса «Настройка оборудования MikroTik». Курс содержит все темы, которые изучаются на официальном курсе MTCNA. Автор курса – официальный тренер MikroTik. Материал подходит и тем, кто уже давно работает с микротиками, и тем, кто еще их не держал в руках. В состав входят 162 видеоурока, 45 лабораторных работ, вопросы для самопроверки и конспект.

Для тех кто не хочет тратить своё дорогое время на изучение данного мануала предлагаем нашу платную помощь.

Читайте также:  Как перенести сайт WordPress на хостинг - перенос сайта с Денвера (локального сервера) на хостинг

Откроем с помощь winbox ip/traffic flow:

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

Добавим с помощью кнопки Targets ваш IP сервера с коллектором Netflow статистики и выберем интерфейсы маршрутизатора с которых мы будем её снимать:

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

При установке коллектора и анализатора статистики ManageEngine NetFlow Analyzer 9 на сервер выберем порт 8080 на котором будет распологаться веб интерфейс с графиками и таблицами статистики и 9996 порт для подключения маршрутизаторов.

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

Настроим параметры SNMP:

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

Установим галочку чтобы NetFlow Anylyzer стартовал как служба при запуске Windows:

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

Так должен выглядеть анализатор трафика:

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

ManageEngine NetFlow Analyzer 9 требует для своей нормальной работы минимум 1Gb ОЗУ на сервере (рекомендую даже 2Gb).

Настройка Netflow на  Mikrotik завершена!

Также можно поставить NetFlow Analyzer 9 на CentOS Linux по этой инструкции:

Установка NetFlow Analyzer 9 на CentOS linux 7.7

Из плюсов: достаточно 1Gb оперативной памяти и лучшая стабильность запуска службы.

Вы также здесь можете вызвать мастера по настройке маршрутизаторов.

Группы адресов.

Иногда интересно рассматривать трафик нескольких пользователей одновременно, на пример серверов, выполняющих одну и туже роль.

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

Дальше уже можно получать все те же самые отчеты, но в разрезе адресов, объединенных в эту группу.

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

DashBoard.

Как говорилось в самом начале интересной фишкой является DashBoard, который существует в некотором начальном состоянии.

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

Но администратор может сделать панель с виджетами «под себя». На пример сделать что то вроде этого (не надо сильно вникать в смысл 🙂 я просто вытащил максимально возможные виджеты)

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

Для ленивых — отчеты по почте.

Наверное самая приятная вещь, которая мне понравилась, это возможность формировать отчеты и получать из по почте, не надо было каждое утро лезть в этот интерфейс и заказывать их, они просто приходили с утренней почтой.

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

В результате утром придет письмо, приблизительно такого содержания.

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

Где будет лежать по pdf-у на каждый интерфейс приблизительно такого содержания.

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

Настройка микротика.

Тут все готово, теперь идем в консоль управления микротиком и направляем поток с данными на наш сервер.

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

Ну или все тоже самое, только из консоли:

/ip traffic-flow target add address=192.168.1.78:9996 version=9

Первой командой активируем сервис, второй указываем принимающую точку, порт и версию протокола.

Туда — сюда или кто куда ходит и что качает.

Вернемся на вкладку интерфейсов и посмотрим статистику по одному конкретному.

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

Вкладка Application выводит информацию по типу трафика.

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

Клик по конкретной строчке и мы получаем детальную информацию. На пример информацию по http трафику.

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

Можно сократить результаты вывода до (на пример) 10 и сделать преобразование ip в имена (помогает очень не всегда).

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

Так же можно запросить детальный график каждого соединения.

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

Во вкладке Source получаем отчет по источникам трафика, и так же выбрав конкретный элемент получаем детализацию по нему.

Микротик анализ пользовательского трафика и сбор информации по протоколу Netflow

Заключение.

За сим буду прощаться, тот кто что то искал, тот, я думаю нашел, и если начнет копаться все глубже, то познает тайную магию Alert-ов, которые буду тебя извещать о проблемах в сети, а кому то пригодятся мелочи в раздели Billing.

Напоследок скажу, что на сайте производителя Вы найдете бесплатную версию этого продукта, бесплатность там странная, 30 дней работает без ограничений, потом работает только с двумя интерфейсами, для простых конфигураций, где один локальный, а другой провайдер этого решения должно хватить.

Оцените статью
Хостинги