В статье о поиске в Google говорили о том, как изучить прошлое партнеров и соискателей, провести мониторинг конкурентов и расследовать правонарушения с помощью поисковых систем. Сегодня поговорим об использовании сетевых технологий в ресерче, от теории к практике. Исследование сетевой инфраструктуры позволит найти связи между сайтами, а значит расширить географию поиска и собрать больше цифровых доказательств. Базовая информация - название компании (например, Google LLC) и домен (google.com) - укажет путь к другим доменам и субдоменам, зарегистрированным компанией, а также контактам владельцев либо администраторов домена. История DNS-записей и IP-адресов поможет окунуться в прошлое компании: найти неактивные сайты компании, выявить изменения в записях DNS, предотвратить мошенническую или преступную деятельность.Часть 1. DNS: Адресная книга интернетаDNSКомпьютеры обращаются друг к другу с помощью номеров, называемых IP-адресами (пример: 74.125.131.100 - IP-адрес Google). Однако запоминать последовательность цифр - нелегкая задача для людей, которые предпочитают называть вещи по имени. DNS (Domain Name System) - адресная книга интернета, связывает имена сайтов с IP-адресами. Преобразовывает домены, которые вводим в адресной строке браузера (например, www.google.com), в IP-адреса веб-серверов. Система DNS работает следующим образом:1. Пользователь подключается к интернет-провайдеру для доступа к интернету;2. В адресной строке браузера вводит URL-адрес, например www.google.com;3. Компьютер запрашивает у DNS-серверов интернет-провайдера конкретный IP-адрес для www.google.com;4. Как только DNS-сервер, который содержит IP-адрес для www.google.com, найден, DNS-сервер передает адрес компьютеру, а компьютер - браузеру;5. Браузер устанавливает соединение с сервером, используя полученный IP-адрес, получает страницу www.google.com и отображает на экране компьютера.Инструменты ресерчераСледующие сервисы собирают информацию о доменах, сетях, DNS, IP. Используются для понимания, какие еще проекты размещены на IP главного сайта компании, принадлежат ли компании. myip.ms удобен тем, что отображает историю смены IP.- https://myip.ms/- https://www.robtex.com/Хранилище истории ресурсных записей DNS помогает выявить подозрительные изменения в записях DNS и предотвратить мошенническую или преступную деятельность:- https://securitytrails.com/Часть 2. WHOISWHOISОбязательное правило регистрации домена - предоставление контактной информации владельца домена (регистранта), которая сохраняется у регистраторов доменных имен, а также в каталоге WHOIS. WHOIS (англ. who is - «кто это?») - общедоступный сетевой каталог, содержащий контактную и техническую информацию о регистрантах. Желающие узнать о том, кто стоит за сайтом или доменным именем, могут провести соответствующий поиск в службе каталогов WHOIS. Это не единая централизованная база данных. Регистрационные данные хранятся в разных точках и управляются несколькими регистраторами. Правила регистрации в международных доменах (.com .net .org) устанавливаются ICANN (корпорацией по управлению доменными именами и IP-адресами). Правила регистрации в национальных доменах (.ua .de .ru) устанавливаются регистраторами или органами власти соответствующих стран.Ряд регистраторов доменов предоставляют услугу “Защита приватности” (WHOIS privacy), которая скрывает информацию о собственнике или администраторе доменного имени в результатах поиска в каталоге WHOIS.Инструменты ресерчераРесерчеры используют информацию каталога WHOIS для подтверждения связей между проектами и поиском новых проектов владельца. Найти контакты владельца домена помогут сервисы:- https://lookup.icann.org/- https://whois.domaintools.com/- https://who.is/Далее используем обратный WHOIS-поиск доменов, зарегистрированных на одного и того же владельца. Достаточно знать имя, контактный телефон либо e-mail регистранта:- https://viewdns.info/reversewhois/- https://domainbigdata.com/Сервисы, которые сохраняют историческую информацию WHOIS-каталога, позволят узнать, кто регистрировал сайт до перепродажи или до того, как была включена WHOIS Privacy:- https://www.whoxy.com/- https://community.riskiq.com/- https://whois.easycounter.com/Старосек Артем, CEO в ресерч компании Molfar.biЧасть 3. Веб-аналитикаВеб-аналитикаСервис Google Analytics предоставляет статистику посетителей веб-сайтов. Для сбора данных в html-код сайта встраивается скрипт с уникальным ID в формате UA-12345678. По такому же принципу работают сервисы Google AdSense, Amazon и AddThis. Иногда владельцы используют один аккаунт Google Analytics и один ID на всех сайтах входящих в группу. В таком случае, зная ID, найдем сайты, принадлежащие одному владельцу.Инструменты ресерчера Для поиска ID веб-аналитики нужно открыть исходный код сайта и провести поиск по тегам:- Google AdSense: pub- или ca-pub;- Google Analytics: UA-;- Amazon: &tag=;- AddThis: pubid.Далее используем сервисы для обратного поиска сайтов по ID веб-аналитики. NerdyData, в отличии от RiskIQ и DNSlytics, ищет совпадения по любому введённому фрагменту кода.- https://www.nerdydata.com/- https://community.riskiq.com/- https://dnslytics.com/reverse-analyticsЧасть 4. Швейцарский нож ресерчераЧто, если совместить большинство аспектов анализа сетевой инфраструктуры в одном сервисе? RiskIQ Community Edition и ViewDNS - универсальные инструменты для сбора данных о домене или IP-адресе, “единые центры” для старта расследования.RiskIQ Community Edition отображает:- историю изменения DNS-записей, IP-адресов, WHOIS-данных- данные о плагинах и скриптах, которые использовал выбранный домен, трекерах веб-аналитики, сертификатах- список сайтов, которые ссылаются на домен (раздел OSINT)- домены, к которым анализируемый сайт обращался посредством API или удаленной загрузки контента (раздел Host Pairs)ViewDNS включает 25 инструментов для сбора данных о веб-сайте или IP-адресе, из них:- Reverse IP Lookup - обратный поиск IP-адреса, чтобы определить другие домены, размещенные на том же сервере. Полезно для поиска фишинговых сайтов или идентификации других сайтов на сервере общего хостинга.- IP Location Finder и IP History показывают текущее местоположение IP-адреса и историю IP-адресов домена, соответственно.- Domain / IP Whois - WHOIS-данные домена либо IP-адреса.- Reverse Whois Lookup по имени или e-mail находит домены, в WHOIS которых указаны эти данные.Ресерчеры используют инструменты анализа сетевой инфраструктуры для компьютерно-технической экспертизы данных, проверки фактов, исследования конкурентов, отслеживания спамеров и фишинговых сайтов. Введение в 2018 году Общего регламента по защите данных (GDPR) в Евросоюзе коснулось конфиденциальности WHOIS-данных - владельца домена стало сложнее найти. Однако, где WHOIS-данные скрыты, там проекты компании расположены на одном IP или используют общий ID Google Analytics. Использование разных векторов при сборе информации поможет найти хотя бы одну открытую дверь.