При проверке сайта важно найти и исправить все ошибки, битые ссылки и неправильные редиректы, так как их отсутствие является положительным факторов в ранжировании сайта.
Хочу посоветовать отличный софт: Xenu’s Link Sleuth — старый надежный crawler, который быстро просканирует сайт и найдет буквально все: битые ссылки, редиректы, ошибки, зашированные url, размер документа, дату и многое другое. Последняя версия от 2010 года, но это не мешает Xenu находит больше ошибок за меньшее количество времени, чем многие современные аналоги.
Идем на оффициальный сайт http://home.snafu.de/tilman/xenulink.html и скачиваем софт:
Установка быстрая и ничем не отличается от установки любого другого софта. Для того, чтобы просканировать сайт, необходимо перейти в «File» – «Cheсk Url» и ввести домен:
После проверки, вам предложат составить отчет в формате .htm:
Будет выглядеть он так (как видим, у меня все в порядке):
Но это не все, у программы есть множество дополнительных настроек, например:
- Мы можем регулировать скорость анализа и количество потоков
- Выводить более детальную статистику о каждой странице сайта. Например, чтобы показывать все редиректы, нужно зайти в «Options» — «Preferences» и поставить галочку «Treat redirections as errors» — тогда все редиректы будут отображаться как ошибка и отдавать ответы 301 или 302:
- В Xenu мы можем создавать статичную html и xml карту сайта
- Конвертировать отчет в формат Excel и сортировать полученные данные
На последнем пункте остановимся поподробнее. Чтобы открыть отчет в Excel нужно экспортировать отчет «File» — «Export to TAB Separated File»:
Получим отчет в обычном .txt файле — его нужно открыть Notepad++ (или аналогом) и сменить кодировку на ANSI:
После этого можно спокойно открывать файл в Excel:
Где мы уже можем сортировать данные как нужно: по дате появления документа, по количеству внешних ссылок, по уровню вложенности страницы и т.д.
Думаю дальше расписывать полностью весь функционал не имеет смысла, так как все интуитивно понятно, хотя и на английском языке. Если будут вопросы — спрашивайте в комментариях.
Спасибо. Полезная статья!
Отправила на проверку большой сайт(70к страниц), в результате программа Xenu зависла. Она работает и можно надеяться на результат или же выбивать из задач?
Нашел чужие ссылки на сайте http://shirokii-remont.ru , но в коде страницы их нет, где искать?
Онлайн сервис Topkits.Ru весь функционал Xenu + проверка орфографии + поиск полных и частичных дублей, анализ перелинковки с рассчетом веса страниц.
Сайт topkits.ru — это все возможности Xenu Link Sleuth, плюс к ним расчет внутреннего веса страниц, анализ перелинковки, поиск частичных дублей, выгодная партнерская программа.Сервис предназначен для технического анализа сайта и выявления недостатков внутренней оптимизации. Робот сервиса сканирует все страницы заданного сайта, анализирует метатеги, теги, изображения, ссылки, перелинковку, контент, выполняет поиск полных и частичных дублей и выдает отчет в наглядной форме — https://topkits.ru
Программа, наверняка, хорошая.. Но, её ведь нужно скачивать, устанавливать, потом в ней проводить какие-то махинации. Анализ сайтов вышел на новый уровень. Теперь существуют специальные сайты, которые проводят проверку онлайн, прямо в браузере. Одним из таких является Топкитс. Возможность настраивания глубины проверки, сканирование определённой части сайта: всё это и не только имеется на аудите сайтов topkits.ru.
я долго листал сайты для продвижения своего сайта и в итоге моим выбором стал сайт https://topkits.ru . и я непрогодал! данный сайт все возможности Xenu Link Sleuth, плюс к ним расчет внутреннего веса страниц, анализ перелинковки, поиск частичных дублей, выгодная партнерская программа, сервис может быть использован для анализа сайтов любого объема — однострачников, сайтов среднего размера, крупных порталов и интернет магазинов. Работоспособность проверена на сайтах с числом страниц превышающим 10 миллионов. так что делаем выводы!
topkits.ru это самые лучшие возможности Xenu Link Sleuth. Это один из наиболее полезных инструментов в поисковой оптимизации. Хотя эта программа изначально предназначалась для поиска битых ссылок на сайте, с помощью неё можно решать ряд других задач, проводя аудит внутренней структуры сайта и находя в нем слабые места, а так же проверка тегов title, keywords, description, h1-h6 на дубли, кол-во, размер, Поиск орфографических ошибок в заголовках и содержимом страниц. Для динамических сайтов составить карту не составляет проблемы, однако, для статических HTML ресурсов создавать карту сайта вручную весьма долго и трудоемко. Xenu решает эту задачу за несколько минут в зависимости от размера сайта и скорости Интернет-соединения. Программу также можно использовать для проверки наличия на страницах мета-тега description и поиска страниц без кода счетчика. Есть выгодная партнерская программа для блогеров и вебмастеров. Отличная программа!! https://topkits.ru
Всем рекомендую!!! topkits.ru — это все возможности Xenu Link Sleuth, плюс к ним расчет внутреннего веса страниц, анализ перелинковки, поиск частичных дублей, выгодная партнерская программа, Проверка canonical url . поиск битых картинок, проверка атрибутов все это на https://topkits.ru
Возможности Xenu Link Sleuth точно реализованы на https://topkits.ru — расчет веса страницы + анализ внутренней и внешней перелинковки, выявление дублей страниц, и в особенности приятная по вознаграждению партнерская программа.
«Xenu Link Sleuth»- Сервис предназначен для технического анализа сайта и выявления недостатков внутренней оптимизации. Робот сервиса сканирует все страницы заданного сайта, анализирует метатеги, теги, изображения, ссылки, перелинковку, контент, выполняет поиск полных и частичных дублей и выдает отчет в наглядной форме , расчет внутреннего веса страниц, анализ перелинковки, поиск частичных дублей, выгодная партнерская программа https://topkits.ru.
так же отправил документ со 100к url. Xenu сошла сумма и начала увеличивать количество конечных страниц. дошло до 500к. откуда они взялись — понятия не имею. через 4 часа работы — она отключилась и напротив большинства ссылок «timeout»