23 апреля 2018 года мне написала Александра, маркетолог из Netpeak, и предложила написать обзор их софта. Я сразу согласился: обзоры попадают в рассылку Netpeak Software, новые читатели это хорошо. А вот сам пост смог написать только сейчас, хех.
Давно пользуюсь Screaming Frog SEO Spider, полностью устраивает, поэтому пробовал Netpeak Spider с долей скептицизма. В таком софте я всегда использую только краулер, чтобы собрать урлы всех страниц на сайте, выгрузить их, и работать с ними руками или парсерами.
Переписывать описание программы с официального сайта не буду, расскажу про свой тест.
Навигация:
Тест на большом сайте
Неделю назад появился сайт, которому нужен аудит. Это большой интернет-магазин на Битриксе, который априори содержит множество ошибок и дублей страниц: «Лягушка» так старалась пройтись по всему сайту, что Макбук был на грани от вертикального взлёта на системе охлаждения. Сканирование завершил, ибо начались тормоза.
Вот и вызов для Netpeak Spider. Запускаю, вставляю сайт и жму Старт.
По умолчанию стоит 5 потоков, я заранее увеличил до 10.
За несколько часов краулер прошёлся по сайту на ~30000 страниц, без падений.
Быстрая работа
Понравилась оптимизация приложения. Хоть для MacOS доступна только версия 2.1 (команда разработчиков обещает в ближайшее время выкатить 3.0 на MacOS), она работает стабильней Screaming Frog SEO Spider. Да, его можно «подтюнить» и он сможет обрабатывать большие сайты, но как же лень.
Netpeak Spider ни разу не упал и всегда сохранял хорошую отзывчивость интерфейса, хотя в процессе парсинга я продолжал работать за ноутбуком. Тормозов в системе не было, сам ноутбук не грелся, кулеры работали очень тихо. Нагрузка на процессор была вполне ок.
Функционал
Не нашёл в Netpeak Spider каких-то особенных функций, которых нет в схожих программах. Зато работать тут проще, всё под рукой, а самое удобное — проверка 62 ошибок на каждой странице, по которой проходит «паук».
В данной версии их меньше, чем в Sitechecker, но самые важные на месте. Посмотреть их все можно на странице программы. Самое юзабельное:
- Анализ всех ссылок на на сайте, внешних и внутренних;
- По анализу внутренних ссылок можно высчитать внутренний PageRank;
- Парсинг всей важной для seo-информации: заголовки, описания, подсчёт слов и символов в контенте;
- Проверка многих «стандартных» seo-ошибок: дубли title и заголовков h1-h6, дубли текста, пустые мета-теги;
- Проверка ответа сервера на всех страницах.
Настройки Netpeak Spider
Настройки более тонкие, чем у Screaming Frog SEO Spider, например можно подробно настроить каким инструкциям по индексации следовать, а какие пропускать. Можно запретить или разрешить использовать cookies.
Параметры, которые проверяются на каждой странице, можно включать или отключать.
Поиск и извлечение данных
В Netpeak Spider есть фича со сбором необходимых данных на сайте. Полезно для сбора цены, ID товара и других параметров со страницы во время сканирования.
Ещё таким образом можно парсить информацию с сайтов конкурентов.
Проще всего находить нужный элемент через CSS-селектор. Если у нужного параметра его нет — задайте XPath, взять его можно через «Инструменты для разработчика» в Chrome.
Я сразу собирал цену товара, чтобы под рукой был актуальный список, для сравнения с конкурентами.
Итог
Если хочется парсить большие сайты и собирать 80% необходимой информации — Netpeak Spider отличный выбор.
К тому же у Netpeak Spider простой и понятный интерфейс, в сравнении с той же «Лягушкой».
Если не согласны с моим мнением — послушайте Диму.
Теперь жду релиза Netpeak Checker для MacOS и обновления краулера до версии 3.0.
Скачать бесплатно Netpeak Spider + торрент
Для установки не потребуется keygen или crack, а nulled-версии не существует. Вам необходимо скачать Netpeak Launcher и с его помощью установить Netpeak Spider.
В Wordstat’е было много запросов с поиском torrent-файла для загрузки. Серьёзно, у вас ещё установлен торрент-клиент? В конце 2018 года? Хм, ну ок.
Скачать torrent с Netpeak Launcher
А вы чем пользуетесь в работе? Напишите свой любимый краулер в комментариях.