Как нужно(и нужно ли) требовать от Yandex, Google, Rambler проиндексировать сайт

Наиболее частыми вопросами чайников бываю в этом отношение таковы: Почему Яндекс (Google, Rambler, и т.д.) не индексирует мой сайт? Как заставить его проиндексировать сайт? Как быстро поиметь большую аудиторию на своем не нужном сайте, Да именно не нужном потому что на нем не чего нету что ищут пользователи.

В информацию для новичков ,то есть кто создал сайт например в системе ucoz не следует спешить за ранние вас предупрежу..дело в том что система ucoz некоторое нововведение для вашей же пользы..в течение первого месяца ваш сайт закрыт для поисковиков, бывает и всего на пару недель..все зависит как только вы потребуете обновится файл.maps в меню поиска на сайте..Но опять же не советю вам этого делать так как робот зайдет на ваш сайт на котором нету контекста,тоесть саит не заполнен и как понятно всем индексировать и нечего, кроме пару жалких статей. Робот зайдет 1 раз потом второй раз..а контекст сильно не изменился и смысл заходить часто у него не будет..тоесть он запомнит ваш саит и сколько раз нужно заходить на ваш саит,исходя из этого понятно что индексация будет сделана в пустую и не принесет не какого результата так как ее просто не будет..тем более если вы копируйте с саитов на которых этот же текст увидели и запомнили роботы поисковики..и индексированию как правило данный текст на вашем саите не подлеж..Так что делайте вывод с того как лучше начать и предоставить информацию страниц вашего саита,Но делать это чисто для робота поисковика не стоит, делайте это для пользователя своей аудиторий, которая нацелена именно на вашу тематику сайта и материала саита.

Вероятность того что есть несколько причин, по которым сайт не индексируется.

1. Прошло недостаточно времени с момента заполнения формы добавления сайта. Самый Шустрый робот у Яндекса. Если он не загружен, то добавляемая страница появляется в результатах поиска уже через 3 часа, все зависит от обстоятельств. Большинство страниц попадают в индекс не позже, чем через неделю с момента добавления а бывает и растянуто на долгие месяцы в пределах до 2 . У остальных поисковиков время обновления индекса существенно примерно так же растянуто -- можно начинать беспокоится месяца через полтора. И делать выводы оптимизаций вашего сайта.

2. В момент визита робота поисковика сайт был недоступен или имел очень большое время отклика. Если сервер "тормозит" не постоянно, то рано или поздно сайт попадёт в поисковик. Через какое время – смотрите выше пункт 1.

3. Одни поисковики (к примеру, Google) индексируют только те сайты, на которые есть хотя бы одна внешняя ссылка с документа, уже проиндексированного данным поисковиком.(вот почему заводим тему об обменах ссылками но именно с сайтами одной тематики)

4. Некорректная настройка сервера. Самая распространённая ошибка среди любителей использовать .htaccess (Система ucoz не дает пользователю использовать ) -- в результате применения директив ErrorDocument или RewriteRule робот поисковика при обращении к robots.txt получает от сервера код отличный от 200(OK) или 404 (Not Found). Некоторых роботов (Rambler) это вводит в ступор и индексация не произойдёт до тех пор, пока не ошибка не будет исправлена. Как избежать ошибки: в случае использования ErrorDocument всегда создавать robots.txt (файл текставой просто пустой с названием robots и расширением txt , что при сохранений выглядит именно вот так robots.txt) после его достаточно залить в корень саита … хотя бы и пустой, в случае использования RewriteRule быть аккуратным и всегда проверять код ответа сервера.

5. Неправильно написанный robots.txt. При попытке запретить индексацию сервера для какого-либо робота под правило попадают и другие роботы. Как избежать ошибки? Всегда проверять правильность составления robots.txt.

6. Поисковик не может распознать ссылки на страницах сайта. Самый распространенный случай -- все ссылки сделаны на JavaScript или на Flash (в основном флэш сайты робот просто не понимает, по этому с внимнаием относитесь к тому каков ваш саит будет и на каких скриптах работать!). Некоторые поисковики неадекватно понимают редиректы. Наиболее "безопасен" в этом смысле Google -- он отлично справляется как со ссылками на флэше, так и с редиректами, и лишь JS ему еще не совсем по зубам , Хотя эта проблема возможно уже решена,роботы становятся на много усовершенствование .

7. Сайт был забанен.(что часто бывает по ошибке поисковика ,к примеру и за рекламных попандеров.и.т.д) В таком случае необходимо написать письмо в службу поддержки поисковика с просьбой о включении сайта в индекс.Писать нужно без ошибок и в течение 3 суток вы получите положительный ответ в большинстве случаем и через пару недель увидите первых посетителеи через поисковик

8. Проблемы у поисковика. Серьезные сбои редки, но случаются, и если избыточность аппаратуры оказывается недостаточной, часть индекса теряется. Кроме того, проблемы могут быть связаны с кластерной структурой поисковика.

9. Использование динамических страниц. Это будет раскрыто в отдельном пункте FAQ, а пока можно заметить, что динамические страницы индексируются нормально далеко не всеми поисковиками. Почему? Динамика несет два вида проблем. Первая -- дублирование информации. Если для сайта URL вида .../page.php?par1=x&par2=y означает, как правило, то же, что и .../page.php?par2=y&par1=x, то для поисковика это совсем другая страница. Особенно часто эта проблема возникает при отслеживании сессий посетителей -- роботы поисковиков не используют cookies, и потому URL для них каждый раз меняется. Вторая проблема -- робот может легко перегрузить сайт, который формирует страницы динамически тем что он его будет постоянно сканировать.Что происходит и в системе ucoz. Единственное что помогает роботу то что на каждую новость существует ссылка где URL не изменяется а остается тем же, и в окончание новшеств для системы ucoz человеко понятный URL тоесть транслирование Русского шрифта где пробелы заменяются подчеркиванием что делает ссылку понятной не только для робота.

10. Сайт находится в неиндексируемой зоне. У каждого поисковика есть своя "область действия", например, Яндекс и Рамблер охватывают русскоязычную часть интернета. Поэтому, если сайт не входит в соответствующие доменные зоны (например, su, ru, am, az, by, ge, kg, kz, md, tj, ua, uz для Яндекса; ru, su, ua, by, kz, kg, uz, ge для Рамблера), то автоматическая индексация может не пройти. В таком случае необходимо написать письмо в службу поддержки поисковика с просьбой о включении сайта в индекс.

Многие крупные поисковики Сторонятся бесплатных хостингов и даже таких как наш ucoz и им подобных с сотнями тысяч сайтов, равно как и редиректных служб (таких, как da.ru) и если ваша страница расположена на одном из подобных хостингов, индексации можно ждать вечно.Но как видно саит имеет удачу тот который не нарушает правила нормальности контекста материала ,где саит не напичкан pop, up pop рекламой ,баннерами и всплывающими окнами с редиректом на сайты порно..Многие не могут отказаться от них так как это единсвеное что приносит доход саиту…Мой совет прост, раскрути сначала саит а потом на нем зарабатывай, иначе успеха не видать в раскрутки своего проекта ну и соотвествено не видать должного дохода с рекламы ..

Добавлено (22.05.2011, 13:04)
---------------------------------------------

Существуют несколько типов раскрутки, Белая, Серая и Черная, все они стремятся к одному смыслу только происходит это разными путями, Я думаю всем понятно, что такое белое и серое..Черной раскруткой тоже можно пользоваться, пока вас просто не забанят но, как правило это бывает по разному и на разные сроки действий до бана. Черная раскрутка на много проще чем белая тем самым и заманчива для многих..для белой раскрутки требуется очень много времени и даже огромных затрат в финансовом плане.

1 Некоторые способы Белых раскруток.

А) Самое популярное это Размещение ссылок на ваш ресурс на других сайтах схожих в тематике сайта

Б) Так же способ эффекта большого Применение контекстной рекламы в целях привлечения целевого посетителя, так как он самый ценный посетитель и в дальнейшем постоянный.

В) Не мало эффективный способ размещение на своем саите лично написанные статьи ваши личные прошу заметить.. это очень важно, так как робот поисковик отлично можно сказать помнить и легко распознает копирование материала (в зависимости у кого вервей поисковик этот материал надет.. бывает, что и у автора реального если поисковик не успел занести информацию то его считают за копию ламера, так как на других ресурсах этот материал уже существует, но не кто не знает что это копия.. В общем если материал не подписан то он сворован).

Г) Размещение ваших статей с подписью и ссылкой на ваш сайт в Интернет-ресурсах оказывает существенную помощь при дальнейшей раскрутке и продвижении сайта. Так как присутствие ключевиков в тексте ссылки повышает видимость сайта в поисковиках!

Если ваши статьи на вашем сайте или блоге будут уникальны и интересны и содержать редкую и полезную информацию, то их станут располагать на своих ресурсах Интернет-журналы и газеты, которые пользуются большим авторитетом, по мнению Яндекса, что также способствует раскрутке и популярности вашего сайта.

По этому если имеем здоровые мысли то садимся и пишем их, и выдаем на международный суд для тех, кому эти мысли интересны. Не нужно все это делать для поисковика, а для людей делается. Это не маловажное значение имеет в раскрутке саита. Делайте саит интересным для человека, все пойдет иначе, это можно заметить в короткие сроки, не смотря на то, что некоторые веб мастера ждут этого годами прискорбно копируя все с соседних сайтов..

Причины бана(полной блокировки сайта):

1. Не этичные методы внутренней оптимизации.

1.1. Скрытие текста.
Написание текста или ссылок под цвет фона, например, внизу страницы.
Если Яндекс увидит такое, то бан гарантирован.

1.2. 1x1 пиксель.
Я имею ввиду создания не видимого глазом человека изображения размером 1x1 пиксель и написание его атрибутов.

1.3. Не соответствие действительности.
Создание страниц в тегах, которых прописан не соответствующий содержанию страницы текст, нежелательно. Может являться причиной пессимизации и возможно бана.

1.4. Автоматическая переадресация.
Переадресация пользователя на страницу с несоответствующей информацией со страницей источником.

2. Внешние ссылки

2.1. Помойка
"Помойка", "Линкопомойкой" - так в народе называют страницу, которая напичкана ссылками на стороние сайты. Создание линкопомойки, например, предлагает такой сервис как 1ps.ru. Линкопомойку можете создать и Вы занимаясь обменом ссылками. Не делайте этого, дело в том, что робот легко находит такого рода страницы и за это, зачастую, сайт оказывается в бане.

2.2. Вшивые ссылки
Прогоняя Ваш сайт через различного рода регистраторы в каталогах с минимальным ТИЦ или его отсутствием на Вас появляется много ссылок, но они ничего не стоят. Особенно опасно, когда за короткий период накручивается очень большое количество таких вшивых ссылок. Робот Яндекса может оценить это как "Поисковый спам", для манипулирования ее результатов Яндекса с целью завышения позиции сайтов.

Если Вы попали в бан, то в большинстве случаев вернуть Ваш сайт в индекс Яндекса будет сложной задачей, и в некоторых случаях практически не реальной. Если у Вас новый сайт и Вы сразу попали в бан, проще будет зарегистрировать новый домен и начать все сначала.

Но все же, какие действия можно предпринять для того, чтобы вернуть сайт из бана?

Как можно проверить действительно ли сайт забанили.
Присутствует ли в базе Яндекса можно проверить тут. или можно ввести просто домен в поисковую строку.

Если сайта нет возможны две причины:
1. Яндекс не получил ответа от вашего хоста, например по причине того, что что-то не так с Вашим хостингом и сайт мог не работать. Если это так, то в скором времени сайт появится вновь.
2. Бан.

Если после недели Ваш сайт не вернулся, значит бан. В независимости от того ждали Вы эту неделю или нет Вы можете написать письмо в Яндекс: addurl@yandex-team.ru .

Если Вам ответили, что сайт удален из поиска Яндекса или что-то в этом роде, то смотрите в логах сервера sb.yandex.ru/verify.xml.
Именно с этого адреса проверяются сайты, находящиеся в бане. Проверяйте страницы, которые были просмотрены с этого адреса. Именно в них кроится причина бана. Постарайтесь найти причину и устранить её. И пишите письмо в Яндекс с указанием того, что причина, нарушавшая п. 3.5 Лицензии устранена. Если причина была вами полностью устранена, то в ответ получите письмо:

"Причина, по которой Ваш сайт был запрещен к индексации, устранена. Окончательно вопрос о снятии санкций с сайта будет решаться примерно один месяц."

Вот и все!
Убедительная просьба к владельцам сайта не используйте не этичные методы для продвижения, что может привести к бану.
Загнать сайт в бан просто, а вот вернуть его оттуда задача не легкая.
Вам просто могут не отвечать из Яндекса и Вы уже ничего не сможете поделать!