Screaming Frog 19.8 скачать. Документация по настройке. Обзор.

Screaming Frog 19.8 скачать. Документация по настройке. Обзор. SEO-оптимизация

Парсер Screaming Frog 19.8

Секрет эффективной оптимизации веб-сайта для поисковых систем заключается в глубоком понимании его структуры и технических характеристик. В этой статье мы рассмотрим один из самых мощных инструментов для анализа и оптимизации веб-ресурсов — Screaming Frog SEO Spider.

Что такое Screaming Frog SEO Spider?

Screaming Frog SEO Spider — это программа для сканирования веб-сайтов, разработанная для помощи в оптимизации и аудитах SEO. Этот инструмент обеспечивает комплексный анализ технических аспектов вашего веб-сайта, выявляя проблемы, которые могут влиять на его видимость в поисковых системах.

Преимущества использования Screaming Frog SEO Spider

  • Глубокий анализ: Программа сканирует веб-сайт как поисковые роботы, позволяя обнаружить скрытые проблемы, такие как дублированные страницы, недоступные URL-адреса и ошибки HTTP.
  • Оптимизация метаданных: Screaming Frog SEO Spider позволяет легко анализировать и редактировать метаданные каждой страницы вашего сайта, что является ключевым аспектом успешной SEO-стратегии.
  • Выявление слабых мест: Используя этот инструмент, вы можете выявить слабые места вашего веб-сайта, такие как низкая скорость загрузки страниц или некорректная настройка ссылок.

Как использовать Screaming Frog SEO Spider для улучшения SEO?

  1. Настройка сканирования: Перед началом работы с программой необходимо настроить параметры сканирования, указав нужные параметры, такие как глубина сканирования и исключения URL-адресов.
  2. Анализ результатов: После завершения сканирования Screaming Frog SEO Spider предоставляет детальный отчет о техническом состоянии вашего веб-сайта. Внимательно изучите этот отчет, выявляя проблемные места и возможности для улучшения.
  3. Оптимизация метаданных: Пользуйтесь возможностями программы для анализа и оптимизации метаданных, таких как заголовки страниц, мета-описания и мета-теги ключевых слов.
  4. Устранение технических проблем: После выявления технических проблем, таких как ошибки 404 или неправильно настроенные редиректы, приступите к их устранению, следуя рекомендациям Screaming Frog SEO Spider.

Screaming Frog 19.8 скачать + кейген.

Вы можете скачать архив с краулером для ознакомления.

Настройка Screaming Frog SEO Spider

Начнём с основного меню программы, чтобы понимать, за что отвечает каждый пункт.

Screaming Frog 19.8 скачать. Документация по настройке. Обзор.

File

Тут производится основная работа с файлами (загрузка проектов, конфиги, планирование задач…)

  • Open — открывает файл с предыдущим анализом (парсингом).
  • Open Recent — открыть последний анализ (если он был сохранен отдельно).
  • Save — сохраняет текущий анализ.
  • Configuration — загрузка/сохранение специальных настроек анализа, таких как вывод дополнительных проверочных параметров и т.д.
  • Crawl Recent — повторный анализ одного из последних сайтов, уже проверенных в этой программе.
  • Scheduling — отложенное планирование задач для программы… ни разу не использовал эту опцию… стыдно.
  • Exit — выход из программы.

View

В меню верхнего уровня в разделе «Вид» появился новый режим «Фокус», который автоматически скрывает неиспользуемые вкладки, чтобы уменьшить беспорядок, а так же появилась функция сброса таблиц.

Mode

  • Spider (Режим паука) — это классический метод парсинга веб-сайтов через внутренние ссылки. Просто введите желаемый домен в адресную строку программы и запустите сканирование.
  • List — в этом режиме мы анализируем заранее собранный список URL-адресов. Адреса могут быть загружены из файла (From a file), введены вручную (Enter Manually), извлечены из карты сайта (Download Sitemap) и так далее. Честно говоря, эти три способа получения списка URL-адресов должны быть более чем достаточными.
  • SERP Mode — в этом режиме нет сканирования, зато здесь можно загружать метаданные сайта, редактировать их и предварительно оценивать, как они будут отображаться в браузере. Все это можно сделать массово (пакетно), что весьма удобно.

Configuration

Этот пункт является наиболее важным, ибо именно тут мы задаём все настройки для парсинга.

Screaming Frog 19.8 скачать. Документация по настройке. Обзор.

Spider — непосредственно настройки парсинга сайта.

Screaming Frog 19.8 скачать. Документация по настройке. Обзор.

Выбираем, что парсить.

  • Images — включает анализ изображений в отчете.
  • CSS — включает анализ CSS-файлов (стилей) в отчете.
  • JavaScript — включает анализ JS-файлов (скриптов) в отчете.
  • SWF — включает анализ Flash-анимации в отчете.
  • External Link — включает анализ ссылок с сайта на другие ресурсы в отчете.
  • Links Outside of Start Folder — проверяет ссылки вне стартовой папки. Отчет содержит информацию только по стартовой папке, но учитывает ссылки на всем сайте.
  • Follow internal “nofollow” — сканирует внутренние ссылки, которые помечены тегом “nofollow”.
  • Follow external “nofollow” — сканирует ссылки на другие сайты, которые помечены тегом “nofollow”.
  • Crawl All Subdomains — анализирует все поддомены сайта, если ссылки на них есть на сканируемом домене.
  • Crawl Outside of Start Folder — позволяет сканировать весь сайт, начиная с указанной папки.
  • Crawl Canonicals — выводит в отчете атрибут rel=”canonical” при сканировании страниц.
  • Crawl Next/Prev — выводит в отчете атрибуты rel=”next”/”prev” при сканировании страниц с пагинацией.
  • Extract hreflang/Crawl hreflang — учитывает языковой атрибут hreflang при сканировании и отображает языковые коды и регионы страницы.
  • Extract AMP Links/Crawl AMP Links — извлекает ссылки с атрибутом AMP в отчете (определяет версию контента на странице).
  • Crawl Linked XML Sitemap — сканирует карту сайта. Краулер либо берет sitemap из файла robots.txt (Auto Discover XML Sitemap via robots.txt), либо использует указанный пользователем путь (Crawl These Sitemaps).

Limits — определяем лимиты для парсинга.

Screaming Frog 19.8 скачать. Документация по настройке. Обзор.
  • Limit Crawl Total — устанавливает общее количество страниц для сканирования в рамках одного проекта.
  • Limit Crawl Depth — определяет глубину сканирования, то есть до какого уровня вложенности страниц краулер может проникнуть при анализе проекта.
  • Limit Max Folder Depth — позволяет контролировать глубину вложенности папок при сканировании проекта.
  • Limit Number of Query Strings — ограничивает количество динамических страниц, которые могут быть сгенерированы из одной статической страницы с параметрами запроса. Это позволяет избежать сканирования большого количества бесполезных динамических страниц.
  • Max Redirects to Follow — задает максимальное количество редиректов, которые краулер может пройти с одного URL.
  • Max URL Length to Crawl — определяет максимальную длину URL, которую краулер может сканировать (в символах).
  • Max Links per URL to Crawl — устанавливает максимальное количество ссылок на один URL, которое краулер может сканировать.
  • Max Page Size (KB) to Crawl — определяет максимальный размер страницы, который краулер может сканировать (в килобайтах).

Rendering — настраиваем параметры рендеринга (только для JS).

На выбор доступны три опции для обработки JavaScript:

  1. «Text Only» — краулер анализирует только текст страницы, игнорируя AJAX и JavaScript.
  2. «Old AJAX Crawling Scheme» — использует устаревшую схему сканирования AJAX.
  3. «JavaScript» — учитывает скрипты при рендеринге страницы. Этот вариант имеет дополнительные настройки:
  • Включить скриншоты анализируемых страниц и сохранить их на компьютере.
  • Ограничение времени выполнения JavaScript (в секундах) перед сканированием загруженной страницы.
  • Выбор размера окна для отображения (есть несколько вариантов, смотрите скриншот).
  • Пример окна (зависит от выбранного размера).
  • Флажок «Rotate» позволяет повернуть окно в примере.

Advanced — дополнительные опции парсинга для продвинутых пользователей.

Screaming Frog 19.8 скачать. Документация по настройке. Обзор.
  • Allow Cookies — учитывает cookies, аналогично поведению поисковых ботов.
  • Pause on High Memory Used — при превышении использования оперативной памяти сканирование сайта замедляется.
  • Always Follows Redirect — разрешает краулеру следовать по всем редиректам до получения финальной страницы с кодом ответа 200, 4xx или 5xx.
  • Always Follows Canonicals — позволяет краулеру учитывать все атрибуты «canonical» до финальной страницы, что полезно в случае неправильной настройки этого атрибута на страницах сайта.
  • Respect Noindex — страницы с атрибутом «noindex» не отображаются в отчете SEO Spider.
  • Respect Canonical — учитывает атрибут «canonical» при формировании отчета, что полезно для исключения дублирования страниц из-за наличия этого атрибута.
  • Respect Next/Prev — учитывает атрибуты «next» и «prev» при формировании отчета, что полезно для исключения дублирования страниц пагинации.
  • Extract Images from img srscet Attribute — извлекает изображения из атрибута srscet тега .
  • Respect HSTS Policy — учитывает политику HSTS (HTTP Strict Transport Security).
  • Respect Self Referencing Meta Refresh — учитывает метатег Refresh для принудительной переадресации на ту же страницу.
  • Response Timeout — время ожидания ответа страницы перед переходом к следующему URL.
  • 5xx Response Retries — количество попыток повторных запросов к страницам с кодом ответа сервера 5xx.
  • Store HTML — сохраняет статический HTML-код каждого просканированного URL-адреса на диск.
  • Store Rendered HTML — сохраняет отображенный HTML-код каждого просканированного URL-адреса после обработки JavaScript на диск.
  • Extract JSON-LD, Microdata, RDFa — извлекает микроразметку сайта в соответствии с выбранным форматом и проводит валидацию по заданным типам.

Preferences — предпочтения.

В этом разделе мы задаем предпочтения для некоторых элементов, которые мы хотим сканировать на сайте, таких как заголовок (title), описание (description), URL, заголовки разных уровней (H1, H2), альтернативный текст для изображений и их размеры. Если найденные на сайте элементы не соответствуют нашим предпочтениям, программа предоставит нам информацию об этом в доступной форме. Эти настройки являются необязательными и каждый может настроить их в соответствии со своими предпочтениями или оставить без изменений.

  • Page Title Width — оптимальная ширина заголовка страницы. Указываются желаемые размеры от и до в пикселях и символах.
  • Meta Description Width — оптимальная ширина описания страницы. Аналогично заголовку, указываются желаемые размеры от и до в пикселях и символах.

Other — здесь включены следующие параметры:

  • Максимальная желаемая длина URL-адреса в символах (Max URL Length Chars).
  • Максимальная длина заголовка H1 в символах (Max H1 Length Chars).
  • Максимальная длина заголовка H2 в символах (Max H2 Length Chars).
  • Максимальная длина альтернативного текста для изображений в символах (Max Image Length Chars).
  • Максимальный размер изображений в килобайтах (Max Image Size Kilobytes).

Robots.txt — определяем каким правилам следовать при парсинге.

  • Respect robots.txt — следует всем правилам, определенным в файле robots.txt. Анализируются только те папки и файлы, которые доступны для сканирования по правилам robots.txt.
  • Ignore robots.txt — игнорирует файл robots.txt сайта при сканировании. В отчет попадают все папки и файлы, относящиеся к домену, независимо от указаний в robots.txt.
  • Ignore robots.txt but report status — игнорирует файл robots.txt сайта при сканировании, но выводит статус страницы в дополнительном меню (индексируемая или неиндексируемая).
  • Show internal/external URLs blocked by robots.txt — отображает в отчете внутренние и внешние ссылки, закрытые от индексации в файле robots.txt. Эта опция работает только при выборе Respect robots.txt.

URL Rewriting — функция перезаписи URL «на лету»

Здесь можно настроить перезапись URL-адресов домена непосредственно во время парсинга. Это полезно, когда необходимо заменить определенные регулярные выражения, которые могут затруднять анализ итогового отчета по парсингу.

Remove Parameters — В этом разделе можно вручную ввести параметры, которые нужно удалять из URL при анализе сайта. Это особенно полезно для удаления идентификаторов сеансов, параметров отслеживания (например, utm_source, utm_medium, utm_campaign) и других ненужных параметров. Также можно использовать чекбокс «Remove all» для исключения всех возможных параметров из URL.

Regex Replace — эта настройка позволяет изменять все сканируемые URL с использованием регулярных выражений. Вот несколько распространенных примеров применения:

  • Изменение всех ссылок с http на https:
    • Регулярное выражение: http
    • Заменить: https
  • Изменение всех ссылок с домена site.by на site.ru:
    • Регулярное выражение: .by
    • Заменить: .ru
  • Удаление всех параметров из URL:
    • Регулярное выражение: \?.*
    • Заменить: « (оставить пустым)
  • Добавление параметров в URL:
    • Регулярное выражение: $
    • Заменить: ?ПАРАМЕТР

Эти примеры демонстрируют, как можно трансформировать URL-адреса для очистки или изменения их в процессе сканирования.

CDNs — парсим поддомены.

Настройка CDNs позволяет включать в парсинг дополнительные домены, поддомены и папки, которые будут рассматриваться как внутренние ссылки. Это полезно для анализа сетей сайтов, принадлежащих одному владельцу, например, крупного интернет-магазина с региональными сайтами. Также можно использовать регулярные выражения для сканирования только определенных папок.

Во вкладке Test можно проверить, как URL-адреса будут классифицироваться в зависимости от используемых параметров (внутренние или внешние).

Include/Exclude — сканирование/удаление определенных папок.

С помощью регулярных выражений можно задать пути, которые будут сканироваться внутри домена, а также запретить парсинг определенных папок. Важно учитывать, что при использовании настройки Include будут сканироваться только указанные папки. Если же добавлять URL в Exclude, будут сканироваться все папки, кроме указанных.

Таким образом, выберите папки для парсинга, используя Include или Exclude в зависимости от того, какие папки нужно сканировать или исключить.

Примеры регулярных выражений для Exclude:

  • http://site.by/page1.html (исключение конкретной страницы).
  • http://site.by/page1/.* (исключение целой папки).
  • http://site.by/.*/page1/.* (исключение всех страниц, после указанной).
  • .*\?price.* (исключение страниц с определенным параметром).
  • .*jpg$ (исключение файлов с определенным расширением).
  • .*seo.* (исключение страниц с вхождением в url указанного слова).
  • .*https.* (исключение страниц с https).
  • http://site.by/.* (исключение всех страниц домена/поддомена).

Speed — регулируем скорость парсинга сайта.

Можно настроить количество потоков (по умолчанию 5) и число одновременно сканируемых адресов. Эти параметры влияют на скорость парсинга и вероятность блокировки бота. Чтобы избежать проблем с блокировкой, лучше не выставлять слишком высокие значения.

User-Agent — выбираем под кого маскироваться (под какого бота).

В списке user-agent можно выбрать, от лица какого бота будет происходить парсинг сайта. Это удобно, если в настройках сайта есть директивы, блокирующие определенных ботов (например, запрещен google-bot). Также полезно иногда сканировать сайт от лица google-bot для смартфонов, чтобы проверить ошибки адаптивного дизайна или мобильной версии.

HTTP Header — настройка реагирования на разные http-заголовки

Эта опция очень индивидуальна и лично я её не использую, так как чаще всего в этом нет необходимости. В любом случае, настройка реагирования на HTTP-заголовки позволяет определить, как паук будет их обрабатывать, если указаны нюансы в настройках.

Custom — дополнительные настройки поиска по исходному коду.

Screaming Frog 19.8 скачать. Документация по настройке. Обзор.

Custom Search

Эта опция представляет собой обычный фильтр, с помощью которого можно извлекать дополнительные данные. Например, можно найти страницы, где вместо тега <strong> используется <bold>, или страницы, которые не содержат определенного контента (например, без кода счетчика метрики). В настройках можно задать практически любые параметры для фильтрации.

Custom Extraction

Эта функция позволяет извлекать любые пользовательские данные из HTML-кода страниц. Например, можно извлекать текстовое содержимое, значения атрибутов и другие данные, которые вам необходимы.

Custom Link Positions

Всё то же самое, только по позициям, читайте подробнее на офф сайте.

https://www.screamingfrog.co.uk/seo-spider/tutorials/how-to-analyse-link-position

API Access — интеграция с разными сервисами.

Для получения более подробной информации о сайте можно настроить интеграцию с различными сервисами статистики, такими как Google Analytics или Majestic, при условии наличия у вас аккаунта в этих сервисах.

Для каждого сервиса существуют отдельные настройки выгрузки по типам данных, что позволяет получать необходимые метрики и показатели напрямую в процессе сканирования.

Authentification — настройки аутентификации (если есть запрос от сайта).

Есть два вида аутентификации — Standart Based и Form Based. По умолчанию используется Standart Base. Если в процессе парсинга от сайта приходит запрос на аутентификацию, в программе появляется соответствующее окно для ввода учетных данных.

Form Based — это использование встроенного в SF браузера для аутентификации. Это полезно, когда для подтверждения аутентификации требуется, например, пройти капчу. В этом случае вам нужно вручную ввести URL сайта и в открывшемся окне браузера ввести логин/пароль, выполнить клик по recaptcha и т. д.

Segments — внутренние настройки самой программы.

Настройки работы самой программы включают в себя ряд параметров, таких как количество выделенной оперативной памяти на процесс, место сохранения экспортированных данных и другие параметры.

Выделение оперативной памяти на процесс позволяет оптимизировать работу программы, особенно при выполнении крупных задач, таких как сканирование больших сайтов. Указание места сохранения экспортированных данных также важно для удобства последующей работы с этими данными.

Bulk export

Bulk Export позволяет выгружать массово различные данные из основного и дополнительного меню отчета. С его помощью можно извлечь много полезной информации для последующей аналитики и доработок.

Screaming Frog 19.8 скачать. Документация по настройке. Обзор.

Вот некоторые из возможностей Bulk Export:

  • All Inlinks: получение всех входящих ссылок на каждый URI.
  • All Outlinks: получение всех исходящих ссылок с каждого URI.
  • All Anchor Text: выгрузка текста всех ссылок.
  • All Images: экспорт всех изображений.
  • Screenshots: сохранение снимков экрана.
  • All Page Source: получение статического HTML-кода или обработанного HTML-кода страниц.
  • External Links: выгрузка всех внешних ссылок.
  • Response Codes: выгрузка страниц в зависимости от кода ответа сервера.
  • Directives: страницы с различными директивами, такими как индексация, noindex, nofollow и т. д.
  • Canonicals: страницы с каноническими атрибутами и другие связанные страницы.
  • AMP: страницы с AMP и связанные с ними ссылки.
  • Structured Data: выгрузка страниц с микроразметкой.
  • Images: выгрузка изображений без альтернативного текста и тяжелых изображений.
  • Sitemaps: выгрузка всех страниц из карты сайта и неиндексируемых страниц из карты сайта.
  • Custom: выгрузка данных, соответствующих пользовательским фильтрам.

Эти возможности Bulk Export позволяют анализировать сайт более глубоко и эффективно, выделяя ключевые аспекты для дальнейших улучшений.

Reports

Тут можно выгрузить огромное количество разных отчётов.

Screaming Frog 19.8 скачать. Документация по настройке. Обзор.
  • Crawl Overview: Этот отчет предоставляет обзор сканирования, включая информацию о количестве обнаруженных URL-адресов, заблокированных robots.txt, типе контента, кодах ответов сервера и другие данные.
  • Redirect & Canonical Chains: Здесь представлена информация о цепочках перенаправлений и канонических ссылках. Отчет включает количество перенаправлений в цепочке, источник перенаправления и обнаруженные циклы, если таковые имеются.
  • Non-Indexable Canonicals: Этот отчет выделяет проблемы и ошибки с каноническими ссылками. В частности, он показывает канонические ссылки, которые имеют ошибки сервера, такие как блокировка robots.txt, перенаправления с кодами 3хх, ошибки 4хх или 5хх.
  • Pagination: Здесь отображаются ошибки и проблемы с атрибутами rel=»next» и rel=»prev», используемыми для разбиения содержимого на страницы.
  • Hreflang: Этот отчет обнаруживает проблемы с атрибутами hreflang, такие как некорректные ответы сервера, отсутствие ссылок на страницы с другими языками и различные коды языков на одной странице.
  • Insecure Content: Здесь отображается небезопасный контент на защищенных (HTTPS) страницах, такой как внутренние ссылки HTTP, изображения, JS, CSS, SWF и внешние изображения в CDN.
  • SERP Summary: Этот отчет позволяет быстро экспортировать URL-адреса, заголовки страниц и мета-описания с соответствующими длинами символов и шириной в пикселях, похоже на то, что отображается в результатах поиска.
  • Orphan Pages: Здесь отображается список потерянных страниц, которые не были сопоставлены с URL-адресами, обнаруженными во время сканирования.
  • Structured Data: Этот отчет содержит данные об ошибках валидации микроразметки страниц, такие как неправильное форматирование или отсутствие обязательных полей.

Sitemaps

Данный пункт меню скрывает под собой инструмент для создания карты сайта.

После выбора параметров и генерации карты сайта в программе, она сохраняется в файле, который затем загружается в корневой каталог веб-сайта. Такая карта сайта помогает поисковым системам более эффективно индексировать сайт, что может улучшить его видимость в результатах поиска.

Вкладка Страницы — определяем, какие типы страниц включить в карту сайта.

  • Страницы без индексации (Noindex Pages) — страницы, которые не должны быть индексированы поисковыми системами.
  • Канонизированные страницы (Canonicalised) — страницы, которые имеют установленный тег rel=»canonical», указывающий на основную версию контента.
  • Страницы пагинации (Paginated URLs) — страницы, разбитые на несколько частей для улучшения навигации.
  • PDF-документы (PDFs) — документы в формате PDF.
  • Страницы без ответа (No response) — страницы, на которые сервер не отвечает (код ответа сервера 0).
  • Страницы, заблокированные robots.txt (Blocked by robots.txt) — страницы, доступ к которым ограничен через файл robots.txt.
  • Страницы с кодом ответа 2хх (2xx) — успешные страницы, которые будут включены в карту сайта независимо от статуса.
  • Страницы с кодом ответа 3хх (3xx) — страницы, которые осуществляют перенаправление.
  • Страницы с кодом ответа 4хх (4xx) — страницы с ошибкой «не найдено» или «недоступно».
  • Страницы с кодом ответа 5хх (5xx) — страницы, на которых произошла ошибка сервера.

Вкладка Последнее изменение — указываем дату последнего обновления карты сайта.

  • Включить тег — добавить информацию о дате последнего изменения карты сайта.
  • Использовать отчет сервера — определить дату последнего изменения на основе ответа сервера или установить дату вручную.

Вкладка Приоритет — устанавливаем приоритет ссылок в зависимости от важности страницы.

  • Включить тег — добавить в карту сайта информацию о приоритете каждой страницы.
  • Глубина сканирования 0-5+ — установить приоритет сканирования для поисковых роботов в зависимости от глубины страницы.

Вкладка Частота изменений — определяем ожидаемую частоту обновления страниц.

  • Включить тег — указать частоту обновления страницы в карте сайта.
  • Рассчитать по заголовку Последнее изменение — определить частоту обновления на основе заголовка Последнее изменение.
  • Использовать настройки глубины сканирования — установить частоту обновления в зависимости от глубины страницы.

Вкладка Изображения — добавляем изображения в карту сайта.

  • Включить изображения — включить изображения в общую карту сайта.
  • Включить изображения без индексации — добавить в карту изображения, которые не должны быть индексированы.
  • Включить только актуальные изображения с определенным количеством входящих ссылок — добавить в карту только изображения с определенным количеством входящих ссылок.
  • Список регулярных выражений для хостинга изображений — возможность определить хосты для загрузки изображений в карту сайта.

Вкладка Hreflang — указать использование атрибута в карте сайта.

Visualisations

Это инструмент интерактивной визуализации структуры веб-сайта в программе. Он позволяет просматривать дерево сканирования и дерево каталогов с помощью встроенного браузера, что делает работу с ними более эффективной (настройка вывода, масштабирование, навигация к нужным URL-адресам через поиск и т. д.).

Screaming Frog 19.8 скачать. Документация по настройке. Обзор.

Граф сканирования (Crawl Tree Graph) показывает текущую структуру сайта после завершения процесса сканирования, а дерево каталогов (Directory Tree Graph) отображает ВСЕ каталоги после сканирования, включая те, которые закрыты от индексации.

Screaming Frog 19.8 скачать. Документация по настройке. Обзор.

Главная цель графа сканирования и дерева каталогов — упростить анализ структуры сайта. Можно быстро просмотреть все папки и обнаружить возможные ошибки (они выделены цветом). При наведении на папку отображается информация о ней (URL, заголовок, заголовки h1, h2 и т. д.).

Screaming Frog 19.8 скачать. Документация по настройке. Обзор.

Force Directed Crawl-Diagram — это визуализация сканирования сайта, оформленная по-другому, которая показывает связи между страницами относительно главной страницы или страницы, с которой начинается сканирование. Это может быть более интуитивно понятным для некоторых пользователей, хотя оно может выглядеть сложнее для восприятия.

Screaming Frog 19.8 скачать. Документация по настройке. Обзор.

Force Directed Tree-Diagram — это аналогичная визуализация, но для дерева каталогов сайта.

Screaming Frog 19.8 скачать. Документация по настройке. Обзор.

Inlink Anchor Text Word Cloud — это облако слов, отображающее анкоры внутренних ссылок на каждой странице сайта. Это помогает понять, какие слова используются в ссылках, их разнообразие и т. д.

Body Text Word Cloud — это визуализация плотности отдельных слов на странице. Она похожа на Inlink Anchor Text Word Cloud, но показывает частоту использования слов на странице.

Каждая визуализация имеет множество настроек вывода данных и маркировки, о которых я не буду писать, но вы можете исследовать их самостоятельно, если заинтересуетесь. Это довольно просто.

Crawl Analysis

Большинство параметров сайта вычисляются пауком в процессе сбора статистики, но некоторые данные, такие как оценка ссылок (Link Score), определенные фильтры и другие, требуют дополнительного анализа для включения в конечный отчет. Эти данные, требующие анализа при сканировании, помечены соответствующим образом в правом меню навигации.

Анализ сканирования запускается после основного этапа парсинга. Перед его запуском можно настроить, какие данные включать в отчет.

  • Link Score: Присваивает оценки всем внутренним ссылкам на сайте.
  • Pagination: Показывает петлевые пагинации и страницы, обнаруженные только через атрибуты rel=”next”/”prev”.
  • Hreflang: Обнаруживает урлы с атрибутами hreflang, не имеющие гиперссылок, а также битые ссылки.
  • AMP: Отображает страницы без тегов “html amp” или страницы, на которые не получен положительный ответ с кодом 200.
  • Sitemaps: Включает неиндексируемые страницы в карте сайта, урлы в нескольких картах сайта, потерянные страницы (например, имеющиеся в Google Analytics и в карте сайта, но не обнаруженные при парсинге), страницы, отсутствующие в карте сайта, и страницы, присутствующие в карте сайта.
  • Analytics: Отображает потерянные страницы (присутствующие в аналитике, но не обнаруженные при парсинге).
  • Search Console: Показывает потерянные страницы (имеющиеся в вебмастере, но не обнаруженные при парсинге).

Licence

  • Buy a License: Позволяет приобрести лицензию. При клике пользователь перенаправляется на страницу покупки на официальном сайте https://www.screamingfrog.co.uk/seo-spider/licence/. Стоимость лицензии для одного ПК составляет 149 фунтов стерлингов. Для нескольких ПК доступны пакетные предложения со скидками.
  • Enter License: Позволяет ввести логин и ключ лицензии для активации полного функционала парсера.

Заключение

Screaming Frog SEO Spider — это инструмент с высокой гибкостью настроек, который позволяет извлекать обширные данные для анализа, при условии, что вы правильно настроите парсинг. Хотя мой мануал, возможно, поможет вам в этом, я признаю, что не рассмотрел все аспекты идеально, возможно, остались некоторые пробелы. Тем не менее, основные функции должны быть понятны.

Вступайте в наш телеграм канал
Аватар
Админ Вячеслав

Web-мастер и SEO-специалист с 2016 года.
Занимаюсь борьбой за выживание с алгоритмами поисковых систем.
Нельзя просто так взять и продвинуть сайт в ТОП.😆

Делаем-сайт.ru
0 комментариев
Межтекстовые Отзывы
Посмотреть все комментарии