7 Способы использования Splunk для технического SEO

/, SEO/7 Способы использования Splunk для технического SEO

7 Способы использования Splunk для технического SEO

Представляем вашему вниманию несколько способов использования Splunk — инструмента, который может помочь пользователям получить доступную информацию из журналов сервера и других машинных данных.

webmaster-tools-development-ss-1920

Любой, кто страстно любит технические Поисковые системы, стремится к глубокому пониманию архитектуры веб-сайта и стремится хорошо знать, как Google относится к URI на сайте.

В моем стремлении быть лучшим техническим SEO специалистом, я обнаружил, что, проводя время, делая глубокий анализ журналов доступа к сайту, я могу много узнать о том, как Поисковые системы понимают сайт. С этой целью моим любимым инструментом для этой задачи является Splunk.

Splunk — это фантастический хостинг или облачный инструмент, который позволяет быстро и легко анализировать большие объемы данных, чтобы принимать важные решения. Если вы когда-либо пробовали сортировать 10 000 строк в электронной таблице Excel, вы поймете необходимость в таком инструменте, как Splunk. Для многих веб-сайтов бесплатную версию Splunk, которая позволяет загружать 500 МБ в день, должна быть более чем достаточно для анализа журналов доступа к сайту.

Вот 7 способов использовать Splunk, чтобы помочь мне с техническими усилиями SEO

1. Узнайте, просматривается ли URL-адрес роботом Googlebot (или любым другим ботом)

При запуске новой веб-страницы веб-мастера могут с тревогой проверить кеш Google на странице, чтобы узнать, был ли он сканирован (и поэтому находится на пути к ранжированию по некоторым запрошенным запросам).

Проблема с использованием кеша в качестве сигнала для успешного сканирования Google заключается в том, что после первоначального обхода Googlebot страницы до того, как Google покажет кеш страницы в индексе, могут быть дни (или даже недели). (Кэш любой страницы найден путем поиска [cache: web address].)

Более быстрый и точный способ узнать, проиндексирована ли страница, — это просто искать точный заголовок в поиске Google. Если страница отображается для поиска ее названия, Google выполняет сканирование страницы.

Однако наиболее точный (и самый быстрый) способ узнать, открывал ли Googlebot страницу, — это просто выполнить поиск в ваших веб-журналах, чтобы узнать, обратился ли Googlebot к странице.

Как только вы загрузите свои журналы в Splunk, выполните следующие действия:

  • Сначала выберите период времени. Более короткие периоды времени быстрее возвращают результаты, поэтому используйте самый короткий период времени.

  • Введите в поле запроса следующее:

    Index={имя вашего индекса} url-заглушка AND googlebot

    Например, если ваш индекс называется «primary», а ваш URL «free-trial.html», это будет ваш запрос:

    Index=primary free-trial.html И googlebot

  • indexed Splunk

    [CLICK TO УВЕЛИЧИТЬ]

    2. Найти 404 страницы

    404 страницы с ошибками отправляются впустую. Каждый раз, когда пользователь попадает на страницу 404 вместо страницы, которую они должны видеть, у вас отсутствует возможность показать им контент, который они искали. И в то же время у них есть субпарк с вашим сайтом.

    Вы всегда можете найти 404 с помощью обходного инструмента, такого как ScreamingFrog, но если у вас много неработающих ссылок на вашем сайте, исправление их может быть не реалистичной целью. Кроме того, это не поможет вам найти 404, которые неправильно связаны с сайтом, не находящимся под вашим контролем.

    В этом случае синтаксический анализ журнала становится очень полезным, так как вы можете обнаружить 404-х URL-адреса, к которым часто обращаются пользователи, и выбрать либо исправить их, либо перенаправить трафик на рабочую страницу.

    Вот как вы настроили запрос, чтобы найти 404 страницы:

  • Сначала выберите период времени. Для этого типа запросов я обычно использую 30 дней, но вы можете выбрать все, что хотите.

  • Введите в поле запроса следующее:

    Index={имя вашего индекса} status=404 | верхний предел=50 ури

  • Ваш лимит может быть любым, что вы хотите, но мне нравится работать с 50 URL-адресами. По завершении этого запроса щелкните вкладку статистики, и вы увидите все URL-адреса, которые необходимо срочно адресовать, выложенные в таблице.

    404's on Splunk

    [НАЖМИТЕ УВЕЛИЧИТЬ]

    3. Найти Googlebot 302s

    Переадресация 302 — это временная переадресация — отличная от 301 (постоянного) перенаправления.

    В некоторых моих тестах я видел 302s, которые передают значение ссылки и имеют перенаправленный ранг страницы, на котором была предыдущая страница, но 302s должны использоваться только тогда, когда перенаправление на самом деле означает только временное.

    302 перенаправления могут сделать его на ваш сайт различными способами — в том числе в качестве родной части платформы, такой как .NET, и всегда разумно регулярно следить за трафиком, перенаправляемым 302, когда он должен иметь 301 переадресацию.

    Вот как вы настроили запрос, чтобы найти 302 страницы:

  • Сначала выберите период времени. Для этого типа запросов я обычно использую 30 дней, но вы можете выбрать все, что хотите.

  • Введите в поле запроса следующее:

    Индекс={имя вашего индекса} status=302 | верхний предел=50 ури

  • Как и раньше, предел может быть тем, что вы хотите найти наиболее полезным набором данных.

    302's Splunk

    [НАЖМИТЕ ДЛЯ УВЕЛИЧЕНИЯ]

    4. Вычислить количество страниц, сканируемых Google Every Day

    Если вы используете Инструменты Google для веб-мастеров, то, вероятно, вы знакомы с экраном, на котором Google показывает, сколько URL-адресов они сканируют в день. Эти данные могут быть или не быть точными, но вы не узнаете, пока не заглянете в свои журналы, чтобы узнать, сколько URL Google фактически сканирует в день. Получение ежедневного количества обхода очень просто:

  • Выберите период времени 30 дней (или 7, если у вас много данных)

  • Введите следующий запрос:

    index={имя вашего индекса} googlebot | количество часов по дням

  • Как только запрос завершен, перейдите на вкладку Статистика, и вы получите истинное количество страниц, сканируемых роботом Googlebot каждый день. Для дополнительного удовольствия вы можете проверить вкладку визуализации, чтобы увидеть, как это изменяется в течение искомого периода времени.

    googlebot volume Splunk

    [НАЖМИТЕ УВЕЛИЧИТЬ]

    5. Вычислить количество страниц, сканируемых роботом Googlebot MOBILE Every Day

    Если вы хотите узнать, сколько URL-адресов в день совершает обход поисковых роботов Google, в Инструментах для веб-мастеров нет ресурса для обнаружения этой информации. Единственное место, где вы можете увидеть этот номер, — это ваши журналы доступа.

    Интересно, что смартфон Googlebot сканирует Интернет так, как будто это iPhone, поэтому нам просто нужно искать Googlebot и iPhone:

  • Выберите период времени 30 дней (или 7, если у вас много данных)

  • Введите следующий запрос:

    index={имя вашего индекса} googlebot И iphone | количество часов по дням

  • Как только запрос завершится, перейдите на вкладку статистики, и вы будете иметь истинное количество страниц, сканируемых смартфоном Googlebot каждый день. Как и в предыдущем запросе, вы можете использовать вкладку визуализации, чтобы увидеть, как изменяется активность обхода в течение определенного периода времени.

    googlebot mobile

    [НАЖМИТЕ УВЕЛИЧИТЬ]

    6. Найти URL-адрес Rogue, отбрасывающий бюджет сканирования

    Как и большинство SEO (должно) знать, Google выделяет бюджет обхода на каждый сайт на основе их PageRank — не видимый, но настоящий, который знает только Google. Если Googlebot тратит часть вашего ценного бюджета на URL-адреса, которые вам не нужны, у него, очевидно, меньше полосы пропускания для использования на более важных URL-адресах.

    Не зная, где Googlebot проводит время, вы не можете знать, эффективно ли используется ваш бюджет. Splunk может помочь вам быстро обнаружить все URL-адреса, которые Googlebot сканирует, а затем у вас будут данные, чтобы принять решение о том, что должно быть добавлено в файл robots.txt:

  • Выберите период времени. Это может быть любое количество времени, и вы должны продолжать использовать разные периоды времени для поиска проблемных URL-адресов.

  • Введите следующий запрос:

    index={имя вашего индекса} googlebot uri_stem=»*» | верхний предел=20 ури

  • Вы можете установить ограничение на все, что хотите, но 20 — управляемое число. После завершения запроса щелкните вкладку статистики, и у вас будет таблица, показывающая верхние URL-адреса, которые Google сканирует. Теперь вы можете принять решение о любых страницах, которые должны быть удалены, заблокированы с помощью файла robots или noindexed на странице.

    Сканирование верхнего прокрутки URL

    [НАЖМИТЕ УВЕЛИЧИТЬ]

    7. Настроить оповещение для 500-х пользователей Googlebot

    Если сервер неспособен выполнить HTTP-запрос, он отправит ответ 500 на запрашивающий браузер или службу.

    Частые 500 ошибок могут вызвать проблемы с SEO, поскольку Google хочет показывать сайты с ошибками в результатах. Из-за влияния на рейтинги Google отправит сообщение об отключении веб-мастеров с помощью Инструментов для веб-мастеров; однако эти уведомления могут занять более 24 часов.

    Помимо влияния на ранжирование, частые 500 ошибок предоставляют пользователям очень плохой опыт, и это проблема, которую вы, вероятно, захотите немедленно решить. Если вы подписаны на план предприятия Splunk, вы можете установить предупреждения в режиме реального времени для 500 ошибок.

    Вот как вы настроили это предупреждение:

  • Найдите следующий запрос:

    index={имя вашего индекса} И «status=5 *»

  • Нажмите «Сохранить как» и выберите «Оповещение» в выпадающем меню.

  • Назовите свое оповещение.

  • Измените тип предупреждения на «Реальное время».

  • Нажмите «Далее».

  • На следующем экране установите флажок «Отправить электронную почту».

  • Добавьте свою электронную почту в поле и нажмите «Сохранить».

  • 500 ошибок

    [НАЖМИТЕ УВЕЛИЧИТЬ]

    Это оно. В следующий раз на вашем веб-сайте появится ошибка 500, вы получите немедленное предупреждение.

    Заключение

    Я использую Splunk более чем в дюжине различных способов помочь мне выполнить различные задачи SEO, и это всего лишь семь из моих самых распространенных применений. Анализ файла журнала не только поможет вам стать наиболее эффективным маркетологом, но он всегда учит вас многому о том, как работают Поисковые системы и веб-сайты.

    Если вы еще не включили усилия анализа файлов журналов в свой SEO, пришло время для начала.

    By | 2017-11-03T09:03:13+00:00 Ноябрь 4th, 2017|Categories: Google, SEO|Tags: , |0 Comments

    Leave A Comment

    %d такие блоггеры, как:
    ОСТАВЬТЕ ЗАЯВКУ
    Перешедшим от других SEO-компаний приветственная скидка 40%
    Мы Вам перезвоним и подготовим лучшее предложение.
    1. Позвоним
    2. Проведем аналитику
    3. Разработаем прогноз
    4. Презентуем стратегию
    5. Подпишем договор
    6. Запустим проект
    Хотите купить квартиру?
    Обращайтесь и мы Вам поможем
    • Скорость решения вопроса
    • Ваш финансовый интерес
    • Качественное обслуживание
    • Всесторонняя забота о клиенте
    • Работаем на репутацию
    • Поддержка на всех этапах
    * we never share your e-mail with third parties.
    Do you want more traffic?
    Dignissim enim porta aliquam nisi pellentesque. Pulvinar rhoncus magnis turpis sit odio pid pulvinar mattis integer aliquam!
    • Goblinus globalus fantumo tubus dia montes
    • Scelerisque cursus dignissim lopatico vutario
    • Montes vutario lacus quis preambul den lacus
    • Leftomato denitro oculus softam lorum quis
    • Spiratio dodenus christmas gulleria tix digit
    • Dualo fitemus lacus quis preambul pat turtulis
    • Scelerisque cursus dignissim lopatico vutario
    • Montes vutario lacus quis preambul den lacus
    SUBSCRIBE TO OUR NEWSLETTER AND START INCREASING YOUR PROFITS NOW!
    * we never share your e-mail with third parties.
    ОСТАВЬТЕ ЗАЯВКУ
    6 шагов за 31 день для увеличения ваших продаж
    1. Анализируем спрос и предложение
    2. Выделяем тематические сегменты
    3. Создаем группы объявлений
    4. Следим за отдачей от объявления
    5. Корректируем рекламную кампанию
    6. Предоставляем подробные отчеты
    ОСТАВЬТЕ ЗАЯВКУ
    При заказе сайта магазин на Facebook бесплатно!
    И вы получите самый социальный инструмент для продаж.
    1. Проведем аналитику
    2. Подготовим контент
    3. Добавим продукты
    4. Произведем настройку
    5. Синхронизируем магазины
    6. Вам остается наслаждаться




    PGlmcmFtZSB3aWR0aD0iMTAwJSIgaGVpZ2h0PSIxMDAlIiBzcmM9Imh0dHA6Ly9tYWdhemluc2l0ZS5ydS93cC1jb250ZW50L3VwbG9hZHMvMjAxNy8wOS/QodC+0LfQtNCw0L3QuNC1LdGB0LDQudGC0LAt0LIt0JrQuNGI0LjQvdC10LLQtS3QnNC+0LvQtNC+0LLQsC5tcDQ/YXV0b3BsYXk9MSIgZnJhbWVib3JkZXI9IjAiIGFsbG93ZnVsbHNjcmVlbj48L2lmcmFtZT4=
    ЗАЧЕМ СОЗДАВАТЬ САЙТ
    • Goblinus globalus fantumo tubus dia montes
    • Scelerisque cursus dignissim lopatico vutario
    • Montes vutario lacus quis preambul den lacus
    • Leftomato denitro oculus softam lorum quis
    • Spiratio dodenus christmas gulleria tix digit
    • Dualo fitemus lacus quis preambul pat turtulis
    * we never share your e-mail with third parties.
    Do you want massive traffic?
    Dignissim enim porta aliquam nisi pellentesque. Pulvinar rhoncus magnis turpis sit odio pid pulvinar mattis integer aliquam!