мотошкола.ру

что нужно написать в файл Robots.txt на сайте, чтобы он хорошо индексировался роботами поисковиками?

_________________
морской бегимотик (с)

User-agent: *
Disallow:


Либо создаешь файл и оставляешь его пустым.

_________________
Пусть наша осень станет их весной.
禅

Вот тут можно проверить.

http://webmaster.yandex.ru/robots.xml

_________________
Пусть наша осень станет их весной.
禅

_________________
Стесняюсь, но доливаю масло! Втихаря! МТ-16!

При проверке написал
User-agent: YandexBot #
Disallow: /*id=

какой вывод я должна из этого сделать?

_________________
морской бегимотик (с)

Разработчик написал
User-agent: *
Disallow: /

при попытке добавить в яндекс ответ
Сообщить о новом сайте
Указанный URL запрещен к индексации в файле robots.txt на сайте www.baresto.ru.
Подробнее о файле robots.txt вы можете прочитать в FAQ.

_________________
морской бегимотик (с)

Даша, а ты по ссылке ходила?
Читала чо там написано?

_________________
Стесняюсь, но доливаю масло! Втихаря! МТ-16!

ходила
там слишком много написано
а я тупая блондинка

После того как я исправиал 1 версию Яндекс стал находить сайт до этого месяц не видел.
Хочу поставить оптимальный вариант, чтобы сайт поисковик видел, я не хочу чтобы был доступ в админку

_________________
морской бегимотик (с)

Нихочу ничоо читать - быстро сделайте за меня всее????
Начинаю понимать Пашу (((((

_________________
Стесняюсь, но доливаю масло! Втихаря! МТ-16!

Деда, я маркетолог, я должна делать свою работу. И если меня спросят конкретную вещь на сайте - я поделюсь информацией без проблем.
то чего я начиталась по этому файлу - взрыв мозга - мне нужен словарь через слово, потому как я не в теме. поэтому боясь навредить решила уточнить у тех кто в этом профи, а правильно ли я сделала.
Пашины люди поставили такой код, чтобы яндекс не находил сайт, мне потребовалось потратить время, чтобы понять почему это происходит.
Теперь я знаю как можно быстро и легко повысить посещаемость на сайт клиента и содрать с него за это деньги.

Кстати на сайте есть косяки и когда просишь исправить тебе говорят "5000р" или мы не причем, пока не докажешь обратное. Например, до вчера не редактировались таблицы на страницах, потому, что они забыли, что у нас в компании пользуются ОПЕРОЙ, а еще не было пару кнопок "УДАЛИТЬ", потому как никто в этой жизни не ошибается. Грошь цена такому профессионализму. одни понты мы лушая контора, поэтому у нас такой высокий прайс, но мы 6 месяцев рожаем сайт. потому как деньги получили, работать не зачем.
Так что, порядочнй фирмой назвать их очень сложно.

_________________
морской бегимотик (с)

User-agent: Yandex
Sitemap: http://названиесайта/sitemap.xml

User-agent: Googlebot
Sitemap: http://названиесайта/sitemap.xml

User-agent: *
Sitemap: http://названиесайта/sitemap.xml


Саму карту можно создать тут http://htmlweb.ru/analiz/sitemap.php

_________________
Тот самый

Даш, ты супер...

_________________
Я свободен, я забыл, что значит страх...(с)

User-agent: *
Disallow: /cgi-bin/

А каким образом робот Яндекса попадет в запароленую админку? Он вроде в кулхацкерстве не замечен.

Сайт сдается заказчику по умолчанию в закрытом от индексации виде. Это отраслевой стандарт.
Для чего:
Сайты сдаются зачастую не до конца заполненными. И если его открыть полупустым, то у нас тратится время на выкидывание из индекса хреновой версии и на попадание в индекс нормальной. Учитывая то, что к новым сайтам Яндекс относится прохладно, то этот период может спокойно растянуться на месяц с хреном.

Но в то же время Яндекс (да и любая ПС) с радостью проводит первичную индексацию новых проектов, то вполне логично предоставить роботу готовую красивую версию.

Для этого все новые проекты и закрываются от индексации.

Эх, нет на вас моей Аньки. Она таких козлов за яйца вешала. Они её боялись

_________________
Дорогу осилит идущий!

Даша, а почему ты как маркетолог занимаешься чисто техническими задачами в которых нихрена не понимаешь?????
Гвоздь молотком надо забивать а не микроскопом.

_________________
Стесняюсь, но доливаю масло! Втихаря! МТ-16!