78 Часть VI. Управление Web-сайгом
ствия которого вы хотите ограничить. Таких строк может быть несколько, или же можно употребить символ * для обращения ко всем роботам. Каждая указанная выше строка должна сопровождаться строкой, начинающейся полем Disallow:и содержащей URL-адрес. Любой URL-адрес, начинающийся с адреса, указанного в поле Disallow:, будет проигнорирован роботом, имя которого определено в поле User-agent:.
Ниже приведен пример файла ROBOTS.TXT:
#Any text that begins with a pound-sign is treated as a comment User-agent:WebCrawler # Applies to the robot named WebCrawler Disallow:/webpages/data/ # WebCrawler will skip URLs in this path
# This example is the universal "do not disturb"sign
User-agent:* # All robots
Disallow:/ # Every URL begins with a / in a path
infoseek.Эта система была запущена в 1994 году и сейчас располагает информацией более чем о 50 миллионах Web-страниц (рис. 32.3). "
Рис. 32.3.Щелкните Add Site link (Добавить ссылку на сайт)для регистрации вашего сайта на поисковой машине infoseek
Как и другие поисковые инструментыWWW,система infoseek производит полную индексацию текста. Глубина индексации составляет два уровня. Частота перерегистрации страниц — один раз в три недели.
Для того чтобы зарегистрироваться на машине infoseek, откройте сай http://www.infoseek.comв браузере и щелкните Add Site link (Добавить ссылку на сайт)внизу страницы. Далее следуйте инструкциям, выведенным на