Парсинг whois

Yet another whois parser for Python. 🐍

Tool to parse whois response

2021-09-03 08:52 UTC

This package is auto-updated.

Last update: 2023-07-29 02:14:43 UTC

Парсер WHOIS — это настройка Datacol, которая автоматически получает информацию о списке доменов с сервиса WHOIS. В том числе показывает свободен домен или занят.

В этом примере экспорт производится в XLSX файл:

кликните на изображении для увеличения

Проверить работу парсера WHOIS можно бесплатно в демо-версии программы.
Основные преимущества парсера WHOIS на базе Datacol это:

Для чего используется парсинг WHOIS?

Сервис WHOIS используется для определения владельцев доменов, он содержит информацию о компаниях или людях, на чье имя эти домены зарегистрированы. Иногда на нем содержится информация и о системных администраторах. Кроме того, WHOIS содержит данные о владельцах диапазонов сетевых адресов. Ежедневно тысячи людей пользуются этим сервисом для получения информации о доменах. Поэтому часто они прибегают к автоматическому получению WHOIS данных о доменах. Чаше всего парсера WHOIS используют для таких целей:
— парсинг информации о доменах;
— парсинг контактных данных владельцев доменов;
— парсинг возраста доменов по WHOIS;
— промышленный парсинг WHOIS и т. д.

Парсер информации о доменах

Парсинг информации о доменах является наиболее распространенным. Именно такой парсер реализован в Datacol. Парсер для WHOIS поможет вам автоматически собирать информацию о списке доменов. Процесс парсинга можно разделить на такие этапы:

1. Сбор информации. Задачей является автоматическое получение WHOIS информации о списке доменов. Происходит сбор необходимой информации: домен, имена серверов, статус, контактные данные администратора, последнее обновление и т. д. Кроме того, сохраняется информация о том, свободен домен или занят. Этот вопрос часто возникает тогда, когда появляются перспективы открытия нового сайта и создания нового домена, а запоминающееся и легкое в восприятии имя домена – это один из важнейших моментов маркетинга.

2. Экспорт данных. Сохранение информации, собранной в процессе парсинга WHOIS, происходит в CSV файл. Также существует возможность экспорта собранных данных на ваш сайт.

3. Обработка собранной информации. При необходимости можно обрабатывать собранную в процессе парсинга информацию (к примеру подвергать автоматическому переводу). Эта возможность реализуются при помощи плагина. Успешность автоматического перевода зачастую зависит от правильно подобранной языковой пары. Обратите внимание, что языки должны быть родственными.

Парсер email контактов WHOIS

Эта задача является очень распространенной. Парсер емейлов из WHOIS по списку сайтов может получить контакты администраторов сайтов. Чаще всего их используют для предложений рекламного характера, либо для сотрудничества. Получив список email адресов в удобном формате, можно будет в кратчайшие сроки связаться с владельцами доменов и сделать им свое коммерческое предложение. Справиться с этим поможет WHOIS email парсер.

Преимущества парсера WHOIS

Чтобы протестировать работу парсера WHOIS:

Шаг 1. Установите демо-версию программы Datacol. Демо-версия программы имеет все возможности платной, но сохраняет только первые 25 результатов парсинга.

Шаг 2. В дереве кампаний присутствует кампания seo-parsers/whois.par. Выберите ее и нажмите кнопку Запуск (Play). Перед запуском вы можете отредактировать Входные данные, чтобы изменить набор доменов, информацию о которых необходимо получить.

Шаг 3. Дождитесь появления результатов работы парсера WHOIS. После появления результатов можно принудительно остановить парсинг (нажав кнопку Стоп).

Шаг 4. После окончания/принудительной остановки парсера в папке Мои документы можно найти файл whois.xlsx:

Блокировка парсера со стороны сайта источника »

Если сайт-источник забанит ваш IP адрес (обычно в результате этого перестают находиться новые результаты), задействуйте прокси.

Обработка и экспорт данных

Способы обработки данных, собранных парсером WHOIS:

Форматы экспорта данных, собранных парсером WHOIS:

Загрузка в CMS/магазин/сайт

Если у вас не получается самостоятельно загрузить собранные данные в свою CMS/интернет магазин/сайт, оставьте заявку и мы постараемся Вам помочь.

Заказать работы по импорту в CMS/интернет магазин/сайт

Сколько стоит парсер WHOIS

Парсер WHOIS – это настройка (пресет/конфигурация) программы Datacol. Настройка доступна в демо-версии программы. Демо-версия имеет все возможности платной версии, но сохраняет только первые 25 результатов парсинга. Узнать актуальную стоимость лицензии Datacol и купить программу можно здесь.

FAQ

Ознакомьтесь, пожалуйста, с видеоуроками по Datacol (хотя бы первые 3-5 уроков). Если при дальнейшей настройке программы у вас возникнут вопросы, задайте их нам. Поддержка Datacol отвечает с понедельника по пятницу.

Какие условия покупки Datacol?

Все условия приобретения программы приведены здесь.

Как я получу программу после ее оплаты?

После поступления оплаты за лицензию вы получите код активации программы и информацию о сроках действия вашей лицензии на адрес электронной почты, указанный при покупке. Инструкцию по активации можно посмотреть здесь.

Не нашли ответа?

Отправить вопрос в службу поддержки

ToDos

require_once ‘DomainParser/Parser.php’;
require_once ‘WhoisParser/Parser.php’;

$Parser = new NovutecWhoisParserParser();

ChangeLog

See ChangeLog at https://github.com/novutec/WhoisParser/blob/master/CHANGELOG.md

3rd Party Libraries

We are using our own Domain Parser:

README

Lookup domain names, IP addresses and AS numbers by WHOIS.

# get whois record

# parse whois record

LICENSE and COPYRIGHT

Licensed under the Apache License, Version 2.0 (the «License»);
you may not use this file except in compliance with the License.
You may obtain a copy of the License at

Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an «AS IS» BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.

Issues

Please report any issues via https://github.com/novutec/WhoisParser/issues

Install

composer require shapito27/whois-parser

Example

(more detailed example)

Input: domain name and $whoisText is response of shell command

Parse inside loop

To avoid parsing config on each iterration define parser outside the loop.

Projects use this lib

You can create customized parsers to suit your needs. References are placed in whois-parser/parsers/.

Any contribution is welcome.

Installation

pip install whois-parser

Installing from source: git clone git://github.com/novutec/WhoisParser.git or download the latest release

See Novutec Domain Parser (http://github.com/novutec/DomainParser) or download the latest release and install it as well.

Move the source code to your preferred project folder.

Tool helps parsing whois response.

You got response as plain text(for example by Ubuntu package whois or any other tool):

This package analyzes it and return object with structured data.

Known bugs to be fixed in further versions

gTLDs and thin registries sort by IANA ID (http://www.iana.org/assignments/registrar-ids/registrar-ids.xml)