Tue Oct 04, 2005





За инвайтами в ГлавМед обращайтесь ко мне - даю не всем, только тем, кто в теме
подробнее читать тут
GreenWood


приклеится к пиаристому сайту

Многие спрашивают как склеить свой дор с пиаристым сайтом и получить видимость большого псевдопиара .
Сам я этого не делал ( не было необходимости ) и что-б долго не иследовать разные комбинации просто спросил одного опытного нашего товарища ... ну вот так по нашему по простому и спросил :)
значит делать их можно при посредстве следующего :

301,
302,
рефреш,
контент,
клоака,
фрейм,
комбинированная

самая простая склейка - 301 редирект со своего на жертву, далее убираем...
эффект остаётся непродолжительное время (в зависимости от частоты индексации нашего сайта)

Опубликовал: GreenWood on Oct 04, 05 | 7:29 pm | Profile

[5] comments (2595 views) |  [0] Trackbacks   [0] Pingbacks

Google Web Accelerator

ага .. ну давайте еще установим себе Google Web Accelerator ... тогда нашу жопу ..пардон ..наши доры гугля под микроскопом будет рассматривать
http://webaccelerator.google.com/support.html#basics1

Опубликовал: GreenWood on Oct 04, 05 | 7:15 pm | Profile

[0] comments (1378 views) |  [0] Trackbacks   [0] Pingbacks

Изучаем польский язык

в свете последних выдач гугли в топе мелькают поляки со своими хостами
тут http://www.polska.ru/download/dict2000.zip можно скачать польско-русский переводчик

Опубликовал: GreenWood on Oct 04, 05 | 7:00 pm | Profile

[0] comments (2330 views) |  [0] Trackbacks   [0] Pingbacks

Александер учит как работать с Wordtracker

http://www.searchengineguide.com/alexander/2005/1003_ja1.html

Опубликовал: GreenWood on Oct 04, 05 | 6:15 pm | Profile

[0] comments (1235 views) |  [0] Trackbacks   [0] Pingbacks

Great Google Maps Hack for Local Search

то-ли по почтовым кодам искать - то ли наоборот смотреть карту и находить почтовые коды ... хз
http://maps.huge.info/

Опубликовал: GreenWood on Oct 04, 05 | 6:08 pm | Profile

[0] comments (1244 views) |  [0] Trackbacks   [0] Pingbacks

Top 10 Affiliate Programs - September 2005

http://www.affiliatetip.com/top_programs.php

Опубликовал: GreenWood on Oct 04, 05 | 6:04 pm | Profile

[0] comments (1124 views) |  [0] Trackbacks   [0] Pingbacks

fishing - рыбалка навеяла

Эта фашированная рыба
часов-бы восемь ел я без отрыва
только в рот к вам попадает
тут-же сразу исчезает
эта пища только для богов ...

Keyw ~Bid Кол Документовв google средний PR top10
daiwa electronics 0.1673 1.08e+06 1
chest waders 0.0767 246000 1
ugly stik 0.0864 69100 2
improve your coarse fishing magazine 0.0764 97700 2
angling times magazine 0.0764 705000 2
fix a fishing rod 0.081 1.63e+06 2
honey hole fishing magazine 0.0764 273000 2
alabama fishing trips 0.0864 1.07e+06 2
water knot 0.1394 3.52e+06 3
mirror carp 0.0918 388000 3
okuma fishing reels 0.0918 318000 3
fishing tips and lessons 0.1394 3.81e+06 3
fox fishing equipment 0.0864 1.98e+06 3
irish big game fishing 0.1127 1.33e+06 3
carp fishing magazine 0.0764 340000 3
berkley fishing line 0.0702 2.47e+06 3
british fishing magazines 0.0764 2.05e+06 3
minnesota fishing magazines 0.0764 1.42e+06 3
play a fishing game free online now 0.0864 2.79e+06 3
fishing magazines uk 0.0764 2.26e+06 3
what are some fishing magazines%3f 0.0764 2.16e+06 3
sea fishing magazines 0.0764 2.13e+06 3
northern pike magazine 0.0764 701000 4
carp magazine 0.0764 868000 4
when did fishing become a sport%3f 0.1177 2.96e+06 4
fishing careers 0.0869 8.36e+06 4
canadian fishing magazines 0.0764 2.85e+06 4
hunting knives 0.0864 2.34e+06 4
crappie magazine 0.0764 232000 4
wisconsin fishing magazines 0.0764 1.4e+06 4
sea fishing equipment 0.0864 8.5e+06 4
fly fishing equipment uk 0.0864 2.34e+06 4
fishing tackle box 0.0702 1.68e+06 4
walleye fishing magazines 0.0764 152000 4
bass fishing lures 0.0864 1.66e+06 4
hunting equipment 0.081 1.08e+07 4
sea fishing magazine 0.0764 3.55e+06 4
fishing adventures 0.072 5.86e+06 4

Опубликовал: GreenWood on Oct 04, 05 | 5:24 pm | Profile

[0] comments (1170 views) |  [0] Trackbacks   [0] Pingbacks

как анализировать

вот пример настоящего анализа ( часть примера )
http://www.mcdar.net/SupportersDaily.htm

Опубликовал: GreenWood on Oct 04, 05 | 5:07 pm | Profile

[0] comments (1145 views) |  [0] Trackbacks   [0] Pingbacks

проверка беков и сразу с пиаром

недурственно http://www.iwebtool.com/backlink_checker

Опубликовал: GreenWood on Oct 04, 05 | 5:06 pm | Profile

[1] comments (1435 views) |  [0] Trackbacks   [0] Pingbacks

о линкаторах снова и снова

а вот тут на сервисе нашем http://yourguest.com.ru/test.php
попробуйте-ка воткнуть во все три поля признак link
ну а если догадаетесь, то и другие точные вхождения - признаки подберете ..
это я к этой http://www.umaxforum.com/topic/12/7407/ теме на умаксе ... уж таки страсти там ... такие, что страшно и заходить туда :)

Опубликовал: GreenWood on Oct 04, 05 | 11:48 am | Profile

[2] comments (2022 views) |  [0] Trackbacks   [0] Pingbacks

надвигается линкаторный бум :)

кстати кроме Линкора есть еще и linkuj.pl и linkujpro.pl
Вадим

Опубликовал: GreenWood on Oct 04, 05 | 11:45 am | Profile

[0] comments (1415 views) |  [0] Trackbacks   [0] Pingbacks

Новичкам-9

Илья Сегалович

Илья Сегалович - человек, который придумал слово "Яндекс". В настоящий момент возглавляет в Яндексе отдел разработки поисковых систем.

1. Intro. Про поиск вообще

Основная задача поисковой системы — доставлять людям информацию, то есть соединять пользователей с нужными им документами. Причем общение между пользователем и поисковой системой происходит при помощи слов поискового запроса.

Собственно, сами поисковые системы (как и алгоритмы поиска) появились задолго до распространения Интернета, но именно популярность Сети и тот факт, что ими стали постоянно пользоваться люди, не имеющие специального образования и вообще слабо разбирающиеся в компьютерах, стали толчком для активного развития поисковых систем. И если двадцать лет назад рассуждения об интерпретации запросов, составленных на естественном языке, были не более чем интересными, но академическими упражнениями, то сегодня проблема интерпретации запроса является актуальной. Переучить пользователя, научить его правильно с точки зрения поисковой системы составлять запросы практически невозможно. Приходится идти с другой стороны — пытаться научить систему понимать то, что хочет найти человек.

Известно несколько классов алгоритмов поиска. Подавляющее большинство из них требуют предварительного индексирования (алгоритмы инвертированных файлов, суффиксных деревьев, сигнатур). В случае прямого поиска индексирование не требуется — поиск производится в лоб, путем последовательного просмотра документов. Поисковая система Яндекса использует индекс, основанный на инвертированных файлах.

Инвертированный файл — концептуально довольно простое понятие, с которым сталкивался в обыденной жизни каждый из нас. Любой индекс базы данных по ключевому полю является формой инвертированного списка. Впрочем, такие списки не обязательно должны быть реализованы на компьютере: существуют бумажные конкордансы текстов российских классиков, то есть словари, в которых в алфавитном порядке перечислены слова, употребляемые писателями, а также указана частота их употребления.

Разумеется, работа с подобным индексом гораздо эффективнее, чем без него. Гораздо проще отыскать нужное слово в конкордансе и посмотреть по ссылкам, где оно употребляется, нежели перелистывать книгу в надежде это слово отыскать.

Конечно, подробный инвертированный индекс может быть довольно большим. Для уменьшения размеров файла обычно прибегают к двум очевидным приемам. Первый заключается в минимизации объема информации, которая хранится в инвертированном файле. Проще говоря, все лишнее удаляется — остается лишь то, что действительно необходимо для подавляющего большинства запросов. Второй прием заключается в указании относительных адресов: для каждой позиции запоминается не ее абсолютный адрес, а разница адресов между текущей и предыдущей позициями. Для пущей эффективности файл упаковывается (коды Голомба и прочие не очень жесткие алгоритмы упаковки), однако эффективные алгоритмы сжатия используются редко — сказывается и отсутствие особого эффекта от сжатия, да и процессорное время, расходуемое на распаковку данных, жалко.
Как правило, размер упакованного инвертированного файла составляет от 7 до 30 процентов от исходного текста.

Итак, чтобы что-то найти, поисковая система выполняет два почти независимых процесса: индексирование (получение документов, переработка, сохранение индекса) и поиск. Индекс устроен так, чтобы поиск работал максимально быстро и качественно. Находил все, что нужно, правильно ранжировал и выдавал максимум полезной информации, необходимой для процесса поиска.
Критичным с точки зрения экономики поисковых систем является, как ни странно, поиск, а не индексирование, так как для ответа на миллионы запросов в сутки, даже прибегая к невероятным ухищрениям, не обойтись без громоздких компьютерных комплексов. Причем, главный фактор, определяющий количество участвующих в поиске серверов, — именно поисковая нагрузка. Это следует иметь в виду при попытке понять всякие странности и неприятные особенности поисковых систем
Итак, что же происходит с документами при индексировании, а с запросами при их выполнении? Какой путь должны проделать друг к друг документы и запросы, чтобы в конечном счете нужный документ оказался в нужном списке, в том, в котором его ищут самым «нужным» запросом?

2. Индексирование. Путь документа
2.1 Скачивание

Индексирующую часть поисковиков принято называть роботом. Альфа и омега любого робота — модуль скачивания. Так как Сеть — это огромная паутина проводов, модули скачивания лучше запускать параллельно, обычно несколько сотен на одной машине, и одновременно скачивать из разных мест Сети разные документы. Скачивать документы по очереди бессмысленно.

Технически модуль скачивания может быть либо мультитредовым (Altavista Merkator), либо использовать асинхронный ввод-вывод (GoogleBot). В любом случае, разработчикам попутно приходится решать задачу многопоточного DNS-сервиса. В Яндексе реализована мультитредовая схема, скачивающие треды называются червями (worms), а их менеджер — погоняльщиком червей (wormboy).
Однако редкий сервер выдержит одновременное «поедание» тремя сотнями червей, поэтому в обязанности диспетчера может входить и слежение за тем, чтобы не перегружать чужой сервер и вообще вести себя вежливо.

Для скачивания робот использует протокол HTTP (иного просто нет, это полный синоним слова «веб»), поэтому многочисленные вопросы вебмастеров: «а что происходит с активными документами», «а индексирует ли ваш робот Server Side Includes?» — просто-напросто не имеют смысла. Почему?
Суть HTTP-протокола в следующем. Робот передает серверу строчку: «GET /path/document» и иные полезные строки, входящие в HTTP-запрос, а в ответ получает текстовый поток, в начале которого — несколько служебных строк HTTP-заголовка, выдаваемых веб-сервером (непосредственно или с помощью вашего скрипта), а затем уже и сам документ. Это все.

Как формируется документ, из активных или пассивных частей он состоит, робот не знает и знать в принципе не может. Он имеет дело с полностью сформированным потоком, который ему возвращает ваш веб-сервер.

Лучшее - враг хорошего
Каждый вебмастер хочет, чтобы его сайт находился в списке результатов поиска по тематическому запросу как можно выше. И знание особенностей работы тех или иных поисковых систем позволяет вебмастеру оптимизировать свой сайт с тем, чтобы увеличить количество приходящих с поисковика пользователей. Однако здесь главное не перестараться. Можно так увлечься процессом оптимизации, что релевантность результатов поиска будет нарушена за счет присутствия в них спаммерских сайтов, «обманывающих» поисковую систему. Грань между «спаммерством» и «честной оптимизацией» провести трудно, и противоположные стороны — представители поисковиков и оптимизаторы — попытаются договориться о «правилах игры» в ноябре этого года на специальной конференции «Стратегия продвижения сайта в поисковых машинах». Одним из организаторов конференции является сайт searchengines.ru — пожалуй, самый полный и профессиональный российский ресурс, посвященный вопросам оптимизации.
Скачивание может быть организовано на разных принципах: «в ширину», по цитируемости, тематической локальности, по PageRank, — но цель одна — свести до минимума сетевой трафик при максимальной полноте. Поэтому эффективное скачивание — целая наука, которой посвящены центральные доклады на лучших международных конференциях (WWW Conference, VLDB и т. п.).
Тем не менее, у всех модулей скачивания всех искалок есть общие черты. Во-первых, они подчиняются правилам для роботов, записанным в файле robots.txt, который должен лежать в корне каждого сервера. Там вебмастер может указать желательные и нежелательные области доступа тем или иным роботам (или всем сразу). Контроль поведения роботов возможен и при помощи строчки , помещаемой в документ. Тогда робот будет подчиняться тому, что там написано «по-документно».
Однако кроме фильтров, устанавливаемых вебмастером, у роботов есть и свои собственные фильтры.
Во-первых, многие роботы опасаются индексировать так называемые динамические документы, формально относя к таковым и документы, содержащие вопросительный знак в URL. Понятно, что это всего лишь «эвристика», предположение роботов, не более того. Ведь в руках вебмастера есть способы передавать параметры, скрывая CGI-механизм (то есть без вопросительного знака и пар имя_параметра = значение_параметра), например при помощи PATH_INFO или mod_rewrite. И наоборот, масса серверов, использующих CGI-интерфейс, годами выдают исключительно стабильное и «статичное» содержание. Заметьте, что многие роботы (например, Яндекс) на эту эвристику не обращают внимания и индексируют «динамические страницы» так же, как и «статические».

Во-вторых, каждый робот поддерживает свой собственный список ресурсов: наказанных за спам или отфильтрованных по какой-нибудь технической причине. Об этом мы поговорим чуть позже, а пока лишь подчеркнем, что поисковики, как правило, не берут на себя функцию общественного цензора и не фильтруют «плохое» или «противозаконное» содержание. В лучшем случае они предоставляет подобную фильтрацию как специальный сервис. И здесь мы вплотную подходим к этической проблеме, слишком глубокой для обсуждения в короткой статье. Сформулирую лишь «возможный принцип»: качество поиска информации не связано с качеством самой информации. Поисковик — своего рода зеркало, отвечающее только за качество процесса отражения, но не предметов, которые в нем отражаются.

2.2 Отбрасывание повторов

За передним краем — модулем скачивания — стоят другие модули, которые помогают первым уменьшать трафик, повышать покрытие и обрабатывать такие ресурсы, которые с наибольшей вероятностью «пришла пора скачать», или же те, которые следует чаще обновлять для поддержания высокого качества поиска.



Прежде всего, это модули хранения URL и ссылок. Они позволяют не скачивать повторно один и тот же URL, обмениваться списком новых URL между разными серверами скачивания или считать полезные метрики цитируемости документов.

Далее. Модули отслеживания дубликатов решают задачу неиндексирования дубликатов, то есть позволяют избегать резкого замусоривания базы повторами. Заметьте, что для корректного сравнения нужно сначала определить кодировку документа, ведь 30 процентов серверов ее не сообщают. Этим занимается специальный модуль определения языка и кодировки, после отработки которого документу может быть приписана кодировка и язык, или же он может быть отфильтрован (еще один вид фильтра!), если робот посчитает данную кодировку или язык «чужими» для себя.

Простейшая проверка на повтор содержимого состоит в вычислении контрольной суммы всех слов текста и в тесте базы данных на ее присутствие. Кстати, сразу после получения сигнала о точном повторе червь Яндекса получает команду не ходить по ссылкам от дубликата: логика такой фильтрации проста и очень популярна у всех роботов. Она построена на естественном предположении, что точно повторяющиеся документы содержат набор ссылок на точно такие же документы, какие уже получены по ссылкам оригинала.

Отдельно стоит проблема учета «слегка измененных» документов (обычно это делается по набору характерных слов или контрольных сумм), а также выявления зеркал серверов. Зеркала представляют собой специальный случай: их не надо индексировать, хотя время от времени надо проверять, не «расклеились» ли они.


2.3 Обработка содержания документа

Что значат все эти модули для конкретного документа? Что делает поисковая система с документом после скачивания?

Документ обрабатывается HTML-парсером (есть и другие форматы документов, и многие роботы их поддерживают), освобождающим документ от особенностей представления в этом формате и оставляющим только существенное для поиска: текст, заметные особенности шрифтового оформления, разбивка на абзацы, выделение ссылок и прочие полезные зоны в документе (с точки зрения возможностей поиска); для каждой ссылки запоминается, на какой URL она указывает, и т.д.
В этом этапе скрыта масса нюансов. В современных документах активно используется javascript для динамического изменения содержания, для навигации, CSS-стили для оформления и пр. Полностью интерпретировать все эти элементы слишком дорого, и то, что может позволить себе пользователь (3–5 секунд ожидания), не может позволить поисковый робот, пожирающий до ста документов в секунду. Поэтому все подобные элементы обрабатываются либо упрощенно (настолько, насколько позволяет эффективность алгоритмов обработки), либо вообще игнорируются.

Это не значит, что вебмастер может надеяться на полную гарантию того, что роботы никогда не будут понимать CSS или не ходить по ссылкам через javascript. Во-первых, роботы постоянно развиваются, во-вторых, в каждый момент времени разные роботы ведут себя по-разному. Но все же нельзя сбрасывать со счетов ограниченность поисковых роботов, как и вообще всех невизуальных агентов.

2.4 Собственно индексирование

И наконец, из текста выделяются слова по языково-зависимым правилам (вы не забыли, что язык роботу уже известен?) и на слова «набрасываются» алгоритмами морфологического анализа (те поисковые системы, которые это практикуют) и алгоритмами «собственно индексирования» (инвертирование текста).

Заметьте, что физически все эти этапы могут происходить в разных процессах или даже на разных компьютерах. Всё определяется логикой и функциональностью требуемых процедур и способом их оптимизации.

В результате появляется индекс. Точнее, постоянно накапливается обновляющаяся часть индекса, которая периодически сливается с большим индексом. В Яндексе это происходит два раза в неделю.

3. Поиск. Путь запроса
3.1 Куда идет пользователь?

Итак, индекс построен. К браузеру подсел пользователь. Первым «зашедшего» на поисковый сервер пользователя встречает «умный» маршрутизатор (в случае с Яндексом это Cisco 7200), который переадресует нового пользователя на наименее загруженный веб-сервер. О загрузке веб-сервера устройство узнает через «обратную связь» одним из выбранных в конфигурации способов, например по числу одновременно выполняющихся процессов. С этого момента все запросы, приходящие с данного IP, то есть от данного пользователя, будут прозрачно переадресовываться на соответствующий веб-сервер.

3.2 Раздача запроса по серверам

Обмануть поисковую систему можно. Иногда она и сама обманываться рада — алгоритмы индексирования и вычисления релевантности ссылки относительно конкретного запроса, увы, неидеальны, что иногда приводит к забавным казусам.

Широко известна история, когда по слову «геморрой» Яндекс десятой ссылкой выдавал microsoft.com (этот же сайт выдавался на запросы «жопа» и «мастдай»). Связано это с тем, что Яндекс учитывает текст ссылок. И если в Сети множество ссылок на сайт Microsoft, в тексте которых есть вышеперечисленные медицинские термины, то Яндекс наивно предполагает, что именно этому сайт и посвящен (похожие проблемы, кстати, и у Google — и проблемы, судя по всему, пока что неразрешимые; издержки технологии). Менее известен случай с официальным сайтом президента Беларуси, который выводился четвертым в списке результатов в ответ на запрос «жопа». Во всех случаях Яндекс старается мягко скорректировать подобные мелочи — не изменяя алгоритмы, «опускает» эти слишком релевантные результаты пониже.

Затем пользователь набирает запрос в окошке и отправляет его на поиск. В Яндексе веб-сервер служит одновременно для слияния результатов поиска от поисковых серверов и источников, в том числе и разнородных: таких как энциклопедии, рекламные объявления Директ, новостная лента, магазинные каталоги, специальная база поиска изображений и т. п.
Запрос модифицируется и рассылается на поисковые серверы. Их задача — выбрать документы, удовлетворяющие поисковому запросу, и отранжировать список.

3.3 Собственно поиск и ранжирование

Этот процесс теснейшим образом связан с устройством индекса и техническими аспектами выбранной поисковой модели, то есть теми факторами, которые создатели системы считают важнейшими. Яндекс, например, «по умолчанию» ищет все словоформы даже для «несловарных» слов и при этом придает большое значение вхождению слов запроса в одно и то же или соседние предложения. Соответственно его основной индекс устроен по «леммам» и хранит номера слов и предложения для каждого слова в каждом документе.

При этом Яндекс учитывает упоминания слов в заголовках и подзаголовках документа, шрифтовые выделения. Эта информация тоже кодируется в индексе.

3.4 Использование ссылок

Особняком стоит учет ссылок на документы. Текст ссылок не только служит источником альтернативной поисковой лексики (например, позволяет находить популярные сайты даже по запросам с опечатками), но и является незаменимым ранжирующим компонентом в так называемых навигационных запросах, когда пользователю требуется перейти на популярный сайт, адрес которого он не знает.

Индекс ссылочного поиска строится отдельными процедурами с учетом пересечения ссылок между кластерами. В ссылочный индекс в Яндексе входят и ссылки из Яндекс.Каталога, который по техническим причинам индексируется чуть полнее и регулярнее, чем другие каталоги.
Введение ссылочного поиска и статической ссылочной популярности (мы называем этот фактор ВИЦ — взвешенный индекс цитирования — аналог известного PageRank) помогает поисковым системам справляться с примитивным текстовым спамом, который полностью разрушает традицонные статистические алгоритмы информационного поиска, полученные в свое время для контролируемых коллекций.

Для подавления примитивного непотистского спама (проставление взаимных ссылок с единственной целью поднять свой ранг) Яндекс использует смешанные автоматические и ручные приемы.

3.5 Слияние и группировки

Отдельная тема — ранжирование при слиянии. Для корректного ранжирования баз разного размера и с разной глобальной статистикой слов Яндекс использует оригинальную идею модификации запросов, передаваемых в поисковые источники методом проставления весов для каждого слова на основе глобальной статистики.

Наконец, важный момент — это группировки. Яндекс предоставляет широкие возможности по группированию результатов, он умеет группировать результаты по иерархическому дереву, по сайтам, регионам и пр., причем одновременно. При этом ранг группы (в частности сайта!) в Яндексе не эквивалентен рангу максимально релевантного документа; учитываются все найденные документы, хотя и очень аккуратным образом, чтобы не дать глубоко проиндексированным сайтам необоснованного преимущества.

3.6 Архитектура

Я не знаю, как устроена жизнь на десятитысячных кластерах, но в Яндексе реализована двухуровневая схема. Индекс сразу строится в кластеризованном виде, в том, в котором будет использоваться в поиске. Почти весь последний год — это тридцать компьютеров, которые мы понемногу апгрейдим. Мы пока не практикуем разбиения базы по хостам, хотя, возможно, придем к этому.


оригинал материала http://www.kinnet.ru/cterra/467/21440.html

Опубликовал: GreenWood on Oct 04, 05 | 11:27 am | Profile

[1] comments (1571 views) |  [0] Trackbacks   [0] Pingbacks

Новичкам-8

Как управлять индексированием сайта
Использование файлов robots.txt

Роботы и файл robots.txt

Рамблер, как и другие поисковые машины, для поиска и индексации интернет-ресурсов использует программу-робот. Робот скачивает документы, выставленные в Интернет, находит в них ссылки на другие документы, скачивает вновь найденные документы и находят в них ссылки, и так далее, пока не обойдет весь интересующий его участок Сети. Наш робот "зовут" StackRambler.

Когда робот-индексатор поисковой машины приходит на web-сайт (к примеру, на http://www.rambler.ru/), он прежде всего проверяет, нет ли в корневом каталоге сайта служебного файла robots.txt (в нашем примере - http://www.rambler.ru/robots.txt)

Если робот обнаруживает этот документ, все дальнейшие действия по индексированию сайта осуществляются в соответствии с указаниями robots.txt. Вы можете запретить доступ к определенным каталогам и/или файлам своего сайта любым роботам-индексаторам или же роботам конкретной поисковой системы.

Правда, инструкциям файла robots.txt (как и meta-тегов Robots, см. ниже) следуют только так называемые "вежливые" роботы - к числу которых робот-индексатор Рамблера, разумеется, относится.

Размещение файла robots.txt

Робот ищет robots.txt только в корневом каталоге Вашего сервера. Под именем сервера здесь понимаются доменное имя и, если он есть, порт.

Размещать на сайте несколько файлов robots.txt, размещать robots.txt в подкаталогах (в том числе подкаталогах пользователей типа www.hostsite.ru/~user1/) бессмысленно: "лишние" файлы просто не будут учтены роботом. Таким образом, вся информация о запретах на индексирование подкаталогов сайта должна быть собрана в едином файле robots.txt в "корне" сайта.

Имя robots.txt должно быть набрано строчными (маленькими) буквами, поскольку имена интернет-ресурсов (URI) чувствительны к регистру.

Ниже приведены примеры правильных и неправильных размещений robots.txt.

Правильные:
http://www.w3.org/robots.txt
http://w3.org/robots.txt
http://www.w3.org:80/robots.txt
(В данном случае все эти три ссылки ведут на один и тот же файл.)

Неправильные:
http://www.yoursite.ru/publick/robots.txt
http://www.yoursite.ru/~you/robots.txt
http://www.yoursite.ru/Robots.txt
http://www.yoursite.ru/ROBOTS.TXT

Формат файла robots.txt

Пример

Следующий простой файл robots.txt запрещает индексацию всех страниц сайта всем роботам, кроме робота Рамблера, которому, наоборот, разрешена индексация всех страниц сайта.

# Инструкции для всех роботов
User-agent: *
Disallow: /

# Инструкции для робота Рамблера
User-agent: StackRambler
Disallow:

Группы инструкций для отдельных роботов: User-agent

Любой файл robots.txt состоит из групп инструкций. Каждая из них начинается со строки User-agent, указывающей, к каким роботам относятся следующие за ней инструкции Disallow.

Для каждого робота пишется своя группа инструкций. Это означает, что робот может быть упомянут только в одной строке User-agent, и в каждой строке User-agent может быть упомянут только один робот.

Исключение составляет строка User-agent: *. Она означает, что следующие за ней Disallow относятся ко всем роботам, кроме тех, для которых есть свои строки User-agent.

Инструкции: Disallow

В каждой группе, вводимой строкой User-agent, должна быть хотя бы одна инструкция Disallow. Количество инструкций Disallow не ограничено.

Строка "Disallow: /dir" запрещает посещение всех страниц сервера, полное имя которых (от корня сервера) начинается с "/dir". Например: "/dir.html", "/dir/index.html", "/directory.html".

Чтобы запрещать посещение именно каталога "/dir", инструкция должна иметь вид: "Disallow: /dir/".

Для того, чтобы инструкция что-либо запрещала, указанный в ней путь должен начинаться с "/". Соответственно, инструкция "Disallow:" не запрещает ничего, то есть все разрешает.

Внимание: точно так же и инструкции "Disallow: *", "Disallow: *.doc", "Disallow: /dir/*.doc" не запрещают ничего, поскольку файлов, имя которых начинается со звездочки или содержит ее, не существует! Использование регулярных выражений в строках Disallow, равно как и в файле robots.txt вообще, не предусмотрено.

К сожалению, инструкций Allow в файлах robots.txt не бывает. Поэтому даже если закрытых для индексирования документов очень много, Вам все равно придется перечислять именно их, а не немногочисленные "открытые" документы. Продумайте структуру сайта, чтобы закрытые для индексирования документы были собраны по возможности в одном месте.

Пустые строки и комментарии

Пустые строки допускаются между группами инструкций, вводимыми User-agent.

Инструкция Disallow учитывается, только если она подчинена какой-либо строке User-agent - то есть если выше нее есть строка User-agent.

Любой текст от знака решетки "#" до конца строки считается комментарием и игнорируется.

Использование META-тегов "Robots"

В отличие от файлов robots.txt, описывающих индексацию сайта в целом, тег управляет индексацией конкретной web-страницы. При этом роботам можно запретить не только индексацию самого документа, но и проход по имеющимся в нем ссылкам.

Инструкции по индексации записываются в поле content. Возможны следующие инструкции:

NOINDEX - запрещает индексирование документа;
NOFOLLOW - запрещает проход по ссылкам, имеющимся в документе;
INDEX - разрешает индексирование документа;
FOLLOW - разрешает проход по ссылкам.
ALL - равносильно INDEX, FOLLOW
NONE - равносильно NOINDEX, NOFOLLOW
Значение по умолчанию: .

В следующем примере робот может индексировать документ, но не должен выделять из него ссылки для поиска дальнейших документов:



Имя тега, названия и значения полей нечувствительны к регистру.

В поле content дублирование инструкций, наличие противоречивых инструкций и т.п. не допускается; в частности, значение поле content не может иметь вид "none, nofollow".

Опубликовал: GreenWood on Oct 04, 05 | 11:26 am | Profile

[0] comments (1532 views) |  [0] Trackbacks   [0] Pingbacks

Новичкам-7

Анализ запросов в поисковые системы (I)
Точка опоры. Что такое информация.
http://www.webxpert.ru/an_poisk1.html

Опубликовал: GreenWood on Oct 04, 05 | 11:22 am | Profile

[0] comments (1332 views) |  [0] Trackbacks   [0] Pingbacks

Новичкам-6

И. В. Сегалович

В мире написаны сотни поискОвых систем, а если считать функции поиска, реализованные в самых разных программах, то счет надо вести на тысячи. И как бы ни был реализован процесс поиска, на какой бы математической модели он не основывался, идеи и программы, реализующих поиск, достаточно просты. Хотя эта простота, относится, по-видимому, к той категории, про которую говорят «просто, но работает». Так или иначе, но именно поисковые системы стали одним из двух новых чудес света, предоставив Homo Sapiens неограниченный и мгновенный доступ к информации. Первым чудом, очевидно, можно считать Интернет как таковой, с его возможностями всеобщей коммуникации.

читать дальше ... http://www.dialog-21.ru/direction_fulltext.asp?dir_id=15539

Опубликовал: GreenWood on Oct 04, 05 | 11:20 am | Profile

[0] comments (1342 views) |  [0] Trackbacks   [0] Pingbacks

Новичкам-5

Описание принципов работы поисковой системы Google и оптимизация сайта.

Как бесплатно увеличить трафик из Google

Увеличиваем количество обратных ссылок в Google.
Поисковики годами боролись за получение релевантных и хороших результатов для пользователей. В то же время они отбивали атаки вебмастеров, использовавших любой фокус или инструмент для достижения их сайтами вершины поиска.
Победить в игре за ранжирование поисковой системы стало манией (или, возможно, зависимостью) вебмастера.
Другой выбор - раскошелиться в пользу компании, занимающейся Интернет-маркетингом, которая сделает работу за вас. Результат не будет постоянным, гарантированным или дешевым, поскольку требует времени и ресурсов.
Все это заставило поисковые машины изменить способ ранжирования сайтов. Наиболее важное изменение правил коснулось ссылок или ссылочной популярности, что показывает количество веб-сайтов, ссылающихся на ваш сайт.
На Google это также означает и качество ссылающихся на вас сайтов. Есть несколько способов получить ссылки на ваш сайт:
- Обмен ссылками - когда владельцы веб-сайта согласны расположить ссылки на сайты других;
- Собственная сеть ресурсов - иметь собственную сеть иногда рассматривается, как один из видов, который может быть не только хорошим способом линкования, но и довольно доходным предприятием;
- Платное размещение ссылок - когда вы платите за ссылки в директориях.
Свободное линкование без возврата ссылки. На этом я хочу подробнее остановиться.
Некоторые эксперты по Интернет маркетингу скажут, что невозможно получить ссылки на ваш сайт, но есть способы. Которые <срабатывают>.
Я вам их продемонстрирую. Они эффективны, и что более важно, Google любит их.
Написание статей и подписание статей другим владельцам сайтов - эффективный способ получить ссылки на ваш ресурс.
Это не столь эффективно, как было раньше, но издатели все еще ищут качественную, не тенденциозную информацию. Все, что вам требуется сделать - иметь ссылку в конце каждой статьи, что будет указывать на ваш сайт.

Google Alert автоматически ищет по вашим запросам

Google Alert позволяет вам автоматизировать процесс запуска регулярных запросов, посылая вам е-мэйл, когда что-то новое добавляется в базу данных Google.
Таким образом легко идти в ногу с интересующей вас тематикой.
Просто создайте набор ключевых слов, а Google Alert будет запускать поиск ежедневно и автоматически посылать вам сообщение при получении новых результатов в запросе.
Сервис в особенности популярен при "ego searchers" - у людей, следящих за новыми позициями своего имени (названия) или названия веб-сайта, появившегося в сети Интернет.
Также он очень полезен инструмент для отслеживания ваших конкурентов.
Вы можете отслеживать конкурентов, отрасли, направления - говоря обычным языком, ту информацию, для получения которой исследователи тратят каждый день уйму времени. Служба использует Google IPI для проведения ваших поисков. В то время, как создатель Google Alert Gideon Greenspan приобрел лицензионное соглашение, превышающее максимум 1,000 исследований в день, обеспеченных API, вас все еще ограничивают максимумом пятью исследований в день.
Для максимального удобства использования сервиса, используйте страницу search settings, для изменения количества результатов, которые вы хотите видеть по каждому запросу (максимально вы сможете выводить только 150 ваших результатов). Вы можете использовать этот сервис для автоматического ежедневного проведения поиска, либо вручную, когда Вы щелкаете на кнопку "run now"" запустить сейчас".
Вы можете также воспользоваться преимуществом расширенного поиска Google, щелкая кнопкой <Больше> "more" вслед за каждым запросом. Это вызывает форму с более конкретными свойствами поиска, позволяя Вам включать или исключать термины, и фильтровать по языку, домену, и по другим признакам.
Google Alert будет присылать вам e-mail, всякий раз, когда появляются новые результаты. Вы можете также просматривать ваши результаты в режиме online, щелкая " Browse Results ". Google Alert также доступен в виде HTML ,RSS.
Согласно интервью с Traffick's Cory Kleinschmidt, Greenspan надеется расширить способности Google Alert, увеличивая количество исследований, результатов, частоту исследований, и возможно даже прослеживая page rank определенных страниц. Все эти особенности зависят от результатов переговоров с Google.


Google Alert www.googlealert.com

Поисковые системы и индексация страниц

Разрешим поисковым машинам проиндексировать ваш сайт.
<Хотя это звучит действительно просто, но вы должны платить за использование Интернет сервисов>,- сказал Matt Cutts, программист Google.
<Вы не поверите, я повидал, чего народ только не делает. Если Googlebot с первого раза не смог проиндексировать вашу страницу, он повторит попытку несколькими днями позже. Случись у вашего сервера ошибка, например 500-го уровня и он просто давится, - Googlebot это переждет>.
Поскольку распознавание поисковиком - решающий фактор для большинства в сетевом бизнесе, владельцы веб-сайтов должны быть уверены в том, что их серверы функционируют ежедневно и круглосуточно.
<Паук> поисковой машины может посетить сайт в любой момент. Если робот, запрашивая страницу с сервера, обнаруживает отказ по какой-либо причине, - эта страница может не появиться в индексе (базе данных) поисковика, пока <паук> не посетит этот сайт снова. <Проверяйте файл robots.txt для уверенности в том, что вы позволяете Google проиндексировать ваш сайт>,- сказал Cutts. Проверяйте в нем опечатки, синтаксис и отсутствие пробелов. Каждый должен иметь этот файл, даже если он пуст, - добавляет он.
Cutts рекомендует также проверять синтаксис мета-тэгов. <Существует множество вариантов их использования>, - объясняет он:
 NOINDEX - запрещает индексировать содержание этой страницы;
 NOFOLLOW - запрещает прохождение паука по ссылкам на этой странице;
 NOARCHIVE - имеет для Google особенный смысл: не показывать лишь данную страницу.

Есть и другие способы управлять легкостью индексации сайта поисковиком.
<Карта сайта - вот что народ все время выпускает из виду>, - говорит Cutts. <Более того, представьте число сылочных уровней, которые надо преодолеть для достижения дальних страниц вашего сайта. Чем глубже вам потребуется забраться, тем сложнее и для Google найти эти страницы>.
Защита паролем - способ подстраховать деликатное содержимое от просмотра поисковой машиной. <Иногда мы получаем письмо от банка или университета, сообщающее, что частная информация не предназначалась к огласке на общедоступной сети, где ее могут обнаружить люди и роботы поисковиков>, - сказал Cutts. <От этого предохраняет защита паролем>.
Изменение структуры сайта и индексирование поисковой машиной.
Если вы изменили структуру сайта, либо усовершенствовали его новой технологией, то существуют способы сообщить поисковым машинам об изменении URLов. Вебмастер может воспользоваться временной переадресацией командой 302, или постоянной - командой 301.<301 и 302 относятся к небольшим общепринятым сообщениям, появляющимся всякий раз, когда субъект либо робот пытаются вновь обнаружить страницу. Это нечто сообщающее, что вы переместились со старого домена на новый>, - объясняет Cutts.
<Вам требуется переадресация 301 со старого домена на новый домен. Это обеспечит путь вашим посетителям непосредственно на новый сайт. И это же даст уверенность в том, вы все еще сохраняете позиции ваших ссылок в индексной базе поисковой системы.>
Временная переадресация 302 сообщает для Googlebot: <Ладно, на этот раз иди сюда, но попозже попробуй еще раз, потому что направление может измениться>, - продолжает Cutts. <Если в дальнейшем направление действительно сохраняется, - создайте постоянную, 301 переадресацию.>
Иногда вебмастер хочет изменить IP адрес. Для эффективного осуществления этого, убедитесь передполным изменением и переходом на новый IP адрес, что оба сервера предоставляют содержимое, запрашиваемое поисковиками. <По крайней мере в течении дня>, - рекомендует Cutts.
Большинство поисковых машин имеют собственные программы удаления URLов, которые позволяют удалять мертвые ссылки из индексной базы поисковой машины. Если вы найдете URL в индексе поисковика, который там не предполагался, то сами можете удалить его посредством заполнения формы, не связываясь с представителем потребительской службы.
По мнению Cutts, конкуренты не смогут саботировать ваш сайт, в попытках убрать страницу используя программу удаления URLа.
<Что нам следует, так это в течении 2-3 дней несколько раз перепроверить, ушла ли полностью страница на сайт>, - объясняет он. <Плюс к этому, у нас есть система перестраховки для подтверждения, что вы действительно требовали удаления.>

Специальное сообщение с Search Engine Strategies 2003 Conference, August 18-21, San Jose, CA.

Google Webmaster Information (Информация от вебмастера Google) www.google.com/webmasters/
Google Remove URL Form (Форма удаления URL от Google) www.google.com/remove.html/
Robots Exclusion Protocol ( Протокол исключения робота) www.robotstxt.org/wc/norobots.html/

Google PR0 PageRank

С ростом популярности Google становится все более популярным и термин "Google PR0", который произносится как "Нулевой PR". Я объясню, что это значит, и как вы можете до него "дойти".

Система Google PageRank

Кто незнаком с системой Google PageRankT, позвольте немножко рассказать об этом. Каждой странице в базе данных Google присвоен номер "PageRank" от 0 до 10. Чем выше значение, тем выше рейтинг страницы. Чтобы получить более высокий PageRank, нужно получить больше ссылок на ваш сайт с других сайтов. Чем выше PR, тем больше возможностей у сайта / страницы повысить свой рейтинг.

Google PR0

Когда PageRank сайта равен 0, говорят, что это "сайт с нулевым PR". Обратите внимание, что PR0 при просмотре PageRank в Google Toolbar отличается от ситуации, когда страница просто "не оценивается" ("Not Ranked"). Когда Google не определяет рейтинг страницы, в Toolbar-е не будет белой полоски - она будет серой. Однако в случае PR0 вся секция Toolbar, занимаемая PageRank, будет белого цвета, без зеленых участков.
Проблема в том, что наличие PR0 крайне затрудняет попытки занять достойную позицию и очень редко происходит в естественных условиях. Как правило, получить PR0 можно только при 1 из следующих 2 условий:

Каковы причины PR0?
- Google каким-либо образом оштрафовал сайт
- Сайту уже больше 3 месяцев, но он все еще не обзавелся входящими ссылками (ссылками с других сайтов).
Во втором случае можно было бы рассчитывать на более высокий PR при условии получения нескольких входящих ссылок. Однако в первом случае Google мог наложить штраф на сайт в наказание за участие в какой-либо деятельности, например поисковым спамом. На сегодня некоторые виды деятельности, которые приводят к PR0, включают:
"Link-Farm": Сосуществование множества сайтов, которые вращаются вокруг одной-единственной услуги или товара и ссылаются друг на друга с целью завышения PR основного сайта или же всех сайтов. "Сайты-фермеры", как правило, "обитают" на одном и том же сервере.
Скрытый контент: Состоит в использовании текста, написанного в той же (или подобной) цветовой тональности, какая используется для фона веб-страницы или таблицы. Цель такого ухищрения - не дать пользователям увидеть содержимое, которое, однако, может быть проиндексировано поисковыми средствами; основной задачей в этом случае является повышение рейтингов.
Запись в Гостевой книге: Определяется как постоянное внесение записей в бесплатные гостевые книги на сайте третьего лица, причем в запись включается URL сайта с целью улучшения его PR, определяемого Google. В настоящее время это спорный вопрос, поскольку никто не знает достоверно, наказывает ли Google сайты, которые злоупотребляют гостевыми книгами; я считаю, что чрезмерное увлечение записями в гостевых книгах действительно должно способствовать наказанию PR0.
Восстановить прежние позиции после штрафа PR0 представляется на данном этапе практически невозможным, особенно если необходимо полное восстановление. Поэтому следите за тем, чтобы не натворить ничего такого, за что можно получить ужасное наказание - PR0!

cДаррин Ворд 2003
Даррин Ворд - специалист по оптимизации поисковых средств (SEO), консультант по веб-маркетингу и usability, вебмастер http://www.darrinward.com, создатель инструмента GoogleDance и руководитель форума SEO Chat

Перевод - http://www.searchengines.com.ua/
Продвижение сайтов в русскоязычных поисковых системах. Динамика Яндекс-каталога в еженедельной рассылке, "продажа" и "аренда" PageRank. Персональные отчеты по сайту, слежение за конкурирующими сайтами, и другие сервисы.

Опубликовал: GreenWood on Oct 04, 05 | 11:19 am | Profile

[0] comments (1798 views) |  [0] Trackbacks   [0] Pingbacks

Новичкам-4

Руководство по поисковой оптимизации и продвижению сайтов
автор: Дмитрий Менделеев, агентство Promo.By

читать тут : http://www.searchengines.by

Опубликовал: GreenWood on Oct 04, 05 | 11:17 am | Profile

[0] comments (1440 views) |  [0] Trackbacks   [0] Pingbacks

старый баян - как спрятать урл

Прячем свой IP адрес
====================
Апексей Савбльев (Savello@mail.pu)

Сначала я тебе расскажу грустную историю. Печально известный сайт «Коготь», содержащий компромат
на кремлевских руководителей, был закрыт спустя несколько часов после появления в Сети. Руку к этому
приложило специальное управление «Р» МВД России, занимающееся электронным сыском. Создатели
«Когтя-2» учли ошибки предшественников и разместили свою информацию на территории США. Кибер-
полиция добралась и туда — через несколько недель сервер все-таки был прикрыт. «Тенденция, однако!»
— воскликнул бы чукча из известного анекдота, будь у него доступ в Инет. А реально мораль сей басни
такова: стоит разместить в Сети информацию, задевающую чьи-либо интересы, как на админов сер-вака
тут же начинают орать СВЕРХУ: «Уберите эту хрень, пока мы совсем вас на фиг не закрыли!».
Посмотрим, как можно подгадить любителям наступить на горло чужой песне, скрыв от их глаз адрес
своей страницы. Самый обычный IP адрес можно замаскировать так, что даже яйцеголовые спецы по
компьютерной безопасности будут долго чесать репы в тяжкой думке, расшифровывая загогулину вроде
http://ftp:128.03.60.23@3558%3351%3040 А что уж говорить о простых смертных!

Форматы адреса
==============
Итак, каждый IP-шник состоит из четырех байт (дорогая, хочешь я тебе расскажу, что такое байт?),
разделенных точками. Например, сайты www.chat.ru и www. geocities. corn имеют адреса 212.24.32.192 и
209.01.224.18 соответственно. Что набирать в браузере: более удобное символьное имя или строку
http://212.24.32.192 - дело вкуса каждого пользователя. Последний способ оставляет массу возможностей
изменить IP своей страницы до неузнаваемости или создать иллюзию обращения совсем на другой сервер.

+Шестнадцатеричный трюк
Запустим программу Calculator из стандартного набора Windows (хоть что-то юзабельное из виндов) и
последовательно преобразуем каждый байт, входящий в адрес, в шестнадцатеричное (HEX) значение.
Получим D4.18.20.CO для www.chat.ru и D 1.01.ЕО. 12 для www.geocities.com
Теперь можно ссылаться на свою страницу по этим значениям, набирая в браузере
http://OxD4.0x18.0х20.0хСО Узнать IP адрес стало сложнее, но еще, как говорится, не фонтан: любой, кто
когда-нибудь видел программы на С или
Assembler, сразу догадается, в чем здесь трюк. Лучший способ взять все четыре байта D41820CO и
перевести их в десятичное (DEC) значение. По получившемуся числу также можно ссылаться на сайт с
адресом www.chat.ru: http://3558351040

+Восьмеричный трюк
Еще один вариант, обычно сбивающий с толку даже матерых сисопов — перевести каждую составляющую
IP адреса не в шестнадцатеричное, а в восьмеричное (ОСТ) значение. Тот факт, что число, начинающееся с
0, трактуется программами как восьмеричное, известен далеко не всем: адрес http://0324.030.040.0300 дает
желаемый результат.

+А сколько это Будет в процентах?
Теперь можно постепенно усложнять полученные адреса, добавляя новые элементы скрытности. Известно,
что текстовая информация, передаваемая браузерами вместе с URL, перед посылкой по Сети подвергается
некоторой обработке. Так, например, все символы space (пробел) заменяются кодом %20. То же самое
можно сделать с любым символом твоего адреса. Чтобы получить необходимый код цифры, достаточно
прибавить к ней 30. %33 будет соответствовать цифре 3, а %30 — 0. Подправим полученный ранее
десятичный адрес. Теперь http://3558%3351%3040 также содержит ссылку на www.chat.ru, хотя выглядит
уже достаточно устрашающе.

+Вот собака где порылась!
Следующий уровень сложности в благородном деле запутывания следов вносит добавление в URL
символа @. Старая добрая «собака» здесь не имеет никакого отношения к e-mail, ее роль — передача на
сервер login-a и пароля: если сервер содержит запароленные каталоги, обращаться к ним следует так:
http://togin:password@URL Добавление же «собаки» к обычному адресу, не имеющему никакого
отношения к секретности, заставляет браузер просто игнорировать все, предшествующее символу @.
Таким образом на сервер www.chat.ru мы можем попасть, набрав, например, адрес
http://12345435374683434809080@3558351040 или http://ftp:128.03.60.23@3558%3351%3040
Главное правильно выбрать имя!
Но и это еще не предел: запутать преследователей могут правильно выбранные имена каталогов и файлов
на сервере. Назвав свою страницу 203356.
htm или ftp.123.0.12.34,him, можно сбить с толку любого: http://12345435374683434809080@3558351040/
ftp.l23.0.12.34.htm. Напомним, что ограничение на длину названия файла или каталога — 256 символов,
что означает возможность конструирования, например, такого монструозного URL:
[url=http://12345435374683434809080@
3558351040/23232323232328328329839232/
90990650950969569565060596/32329085765.79404323/123.htm]http://12345435374683434809080@3558351040/
23232323232328328329839232/90990650950969569565060596/
32329085765.79404323/123.htm[/url]

Прячемся в Рунете
=================
Если есть возможность, можно зарегистрировать свой домен с именем «числительным», например, 2323. ru
или 909093290-com. В зоне RU уже зарегистрированы lOO.ru или 777 .ru. Наплодив в таком домене
«цифровых» поддоме-нов, можно получить адреса вроде: http://121.3434.23.2323.ru/121.223.231.ru/2323.12.89.32.ru/ru.htm

King size URL
=============
В заключение покажем один по-настоящему большой URL:
http://www.geoaties.com%20%20%20% 20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20@3558%335104%30.

Как ты думаешь, если разместить его на своей странице, что подумает человек, кликающий на ссылке?
Можно смело ставить на кон шарик от мышки и любое другое железо — о том, что адрес уведет его на www.chat.ru,
он вряд ли догадается. Тем более, что концовка адреса не поместится в окошко ввода и не будет показана
браузером. Кто не спрятался - тот сам виноват.

На сем откланиваюсь и оставляю тебя наедине со своей пагой. Сто пудов, ты уже решил, как ты ее
спрячешь, а если еще не решил — есть маза перечитать статью еще раз. Удачи тебе, амиго, в нелегком деле
заныкивания.

Опубликовал: GreenWood on Oct 04, 05 | 11:16 am | Profile

[1] comments (1489 views) |  [0] Trackbacks   [0] Pingbacks

Stemming

Поисковик Google - не понимает морфологию русского языка вообще. Для английского языка есть Stemming: Google now uses stemming technology. Thus, when appropriate, it will search not only for your search terms, but also for words that are similar to some or all of those terms. If you search for pet lemur dietary needs, Google will also search for pet lemur diet needs, and other related variations of your terms. Any variants of your terms that were searched for will be highlightedin the snippet of text accompanying each result.

http://www.google.com/help/basics.html

Опубликовал: GreenWood on Oct 04, 05 | 11:14 am | Profile

[0] comments (1095 views) |  [0] Trackbacks   [0] Pingbacks

Зеркала

Как избежать путаницы с зеркалами? Как добиться правильного выбора главного зеркала?
http://www.seoman.ru/FAQ/article023.html

Опубликовал: GreenWood on Oct 04, 05 | 11:11 am | Profile

[0] comments (1015 views) |  [0] Trackbacks   [0] Pingbacks

Новичкам-3

1. Проверить проиндексирован-ли дорвей в гугле
вставляете такую конструкцию в строку поиска гугли
site:pupkin.narod.ru без всяких http://
после того как обнаружите что дор проиндексировался - через недельку - две, проверяйте еще раз .. если его в индексе не обнаружите, то большая вероятность что его уже забанили. ( не стоит растраиваться - банят только те дорвеи, которые представляют угрозу гугле ... значит вы на верном пути и доры делать научились )
2. проверить бэки ( кто ссылаеться на ваш дор )
link:pupkin.narod.ru ( не запрешено смотреть и конкурентов)
3.проверить позиции дора по запросу ( под слова под которые вы делали дор)
можно здесь http://googlerankings.com/index.php (без всяких http:// а может и с ними ХЗ )
так-же и тут http://www.siteposition.ru/check.php
4. Проверить пиар своих доров пачкой тут http://www.top25web.com/pagerank.php
5. Посмотреть будущие позиции на датах центрах тут http://www.mcdar.net/q-check/datatool.asp
6. Посмотреть какие запросы набирают юзеры и сколько -можно здесь на овертюре
http://inventory.overture.com/d/searchinventory/suggestion/
7.Прежде чем делать дорвей - посмотрите с кем вам придеться тягаться по пиару тут
http://www.seo-guy.com/seo-tools/google-pr.php или тут http://www.prsearch.net/ вбиваете кейвуд и смотрите.
8.Проанализировать плотность ключевх слов на дорвее можно здесь
http://www.ranks.nl/cgi-bin/ranksnl/spider/spider.cgi?lang=ru
9.а так-же сравнить с конкурентами тут ( вставляете урл свой и конкурента и нужное вам слово)
http://www.keyworddensity.com/
10. здесь то-же можно проанализировать на контент ( текст) http://www.stargeek.com/keyword_density.php
11. Тоже много удобных инструментов http://www.toolbar.ru/
12. тут терминология наша http://www.optimization.ru/glossary.shtml
13. Онлайн анализатор мета тэгов и ключевых слов http://promo.by/analize/
14. Посмотреть глазами поисковиков http://www.delorie.com/web/ses.cgi
15. Посмотреть что кроется под редиректом http://www.rexswain.com/httpview.html
16. Проверить линки сайта или дора на валидность ( живые ли они ) http://www.dead-links.com/
17. Всякие дорвейные проги http://www.seospot.com/software/promotion/cd/index.html
18. Проги для анализа дорвеев ( сайтов ) http://www.seospot.com/software/seo/pageanalyzers/index.html
19. Симулятор бота ( паука) http://www.searchengineworld.com/cgi-bin/sim_spider.cgi
20. Скачать гугл-бар ( будет показывать пиар той странички на которой находитесь ) http://toolbar.google.com/
21. Тут http://searchsubmit.marketingtroll.co.uk/doorway_page_generator.php можно создать дорвей .. прямо в on-line
22.Посмотреть топ кейводов http://www.keywords.mine.nu/ типа что сейчас юзеры ищут в инете
23. Подбор ассоциаций https://adwords.google.ru/select/KeywordSandbox это полезно, когда хочеться узнать к примеру, что ищет еще женщина когда искала в гугле скажем помаду или мужик искал машину и чего ему еще взбрело в голову посмотреть
24. Подбирать кейводы по стоимости бидов http://ppc.privacy-related.com/ или тут http://7search24.com/
25.Когда вы наклепаете сотни доров, то до вас допрет .. а как-бы их все держать под контролем и управлять трафиком с них ... вот тогда бегом сюда http://www.kytoon.com/sutra-tds.html те кто предусмотрительный .. так прям сразу туда
26. Тут http://wordtracker.com/ в бегущей строке смотрим чего юзеры ищут именно сейчас ... полезно, когда вообще никаких мыслей уже в голову не приходит
27. "Генератор бреда" от yandex http://www.yandex.ru/vesna.html генеришь, прогоняешь через переводчик на английский, встраиваешь нужный кейвод - для гугли уникальный контент (Гы.ы.ы....)
28. алгоритмы поисковиков ( статья, что-б в тему вьехать)
http://www.interdesign.ru/articles.php?id=26
29.Каталог лингвистических программ http://www.rvb.ru/soft/catalogue/catalogue.html#TextAnalysis ( делать доры по научному )
30. Растолковка по пиару или путалка ... хрен знает http://digits.ru/articles/promotion/pagerank.html
31. А теперь очень серьезно и не только для новичков - по моему мнению, этот http://www.sitecontentanalyzer.com/index-rus.html
самый серьезный и эффективный анализатор ... если научитесь с ним работать, то сможите загнав в него сайт - не глядя в поисковик с большой долей вероятности предсказать по какому слову или фразе он будет приятен поисковику. Можете проверить уже по сайтам которые в выдаче. Но программа не так проста, как может показаться сразу.

Опубликовал: GreenWood on Oct 04, 05 | 11:09 am | Profile

[0] comments (1742 views) |  [0] Trackbacks   [0] Pingbacks

Новичкам-2

часто спрашивают - когда мой дор даст результаты ?
зависит от многих факторов :
сколько спамил ..куда ..какой пиар ссылающихся ..какой кейвуд ..какая конкуренция

Опубликовал: GreenWood on Oct 04, 05 | 11:07 am | Profile

[0] comments (1408 views) |  [0] Trackbacks   [0] Pingbacks

жучки, паучки и прочие animals ( не путать с пинк флойдом)

Как представляются индексирующие роботы поисковых систем, посещая сайт? С каких IP-адресов ходят роботы?
Яндекс использует несколько роботов для разных случаев:

Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий робот.
Посещает сайт примерно раз в месяц;
Yandex/1.01.001 (compatible; Win16; P) — индексатор картинок.
Заходит только на файлы картинок. Для своей работы использует результаты работы робота (1);
Yandex/1.01.001 (compatible; Win16; H) — робот, определяющий зеркала
сайтов.
Нерегулярно посещает страницы сайта, которые подозревает на предмет дублирования информации. Изредка посещает уже "склеенные" страницы для проверки на предмет убирания дублирования.
Важно! Если главные страницы двух сайтов признаются дублями, с большой долей вероятности робот считает все страницы сайта дублями (что не всегда верно);
Yandex/1.03.003 (compatible; Win16; D)—- робот, обращающийся к странице при добавлении ее через форму "Добавить URL".
Ходит только по команде человека (при сабмите формы "Добавить URL"). Каждый вносимый адрес посещает дважды (почему?). Иногда в один из разов представляется как AddUrl;
Yandex/1.03.000 (compatible; Win16; M) — робот, обращающийся при открытии страницы по ссылке «Найденные слова».
Заходит на страницы сайта асинхронно каждый раз, как человек в результатах поиска нажмет ссылку "показать найденные слова" напротив адреса этой страницы.
Хитрость: Поисковую фразу, по которой найден сайт, и номер страницы результатаов поиска можно узнать, если анализировать Referer картинок, которые показываются на этой странице;
Bond, James Bond (version 0.07) — робот, заходящий на сайты из подсети Яндекса.
Официально никогда не упоминался. Ходит выборочно по страницам и очень аккуратно (на одном из сайтов за период октябрь-декабрь 2004 г. запросил всего 71 страницу; за один сеанс запрашивал не более 7-и страниц). Referer не передает. Картинки не загружает. Судя по повадкам, робот занимается проверкой сайтов на нарушения – клоакинг и пр.
IP-адреса роботов Яндекса со временем меняются. Смысла их отслеживать практически нет.

Робот Google представляется всегда одинаково—Googlebot/2.1 (+http://www.google.com/bot.html). Ходит он с разных адресов (если быть совсем точным, ходит сразу много роботов).

N.B. Указанные строки передаются роботами через поле User-Agent заголовка запроса и сохраняются сервером в логах. Как следствие, можно отлавливать роботов как "на лету", так и анализировать их поведение постфактум.

взято отседова http://www.seoman.ru/FAQ/article032.html

Опубликовал: GreenWood on Oct 04, 05 | 11:04 am | Profile

[0] comments (1361 views) |  [0] Trackbacks   [0] Pingbacks

хостинг под спам

говорят что терпеливые они http://esthost.com/

Опубликовал: GreenWood on Oct 04, 05 | 11:01 am | Profile

[0] comments (1676 views) |  [0] Trackbacks   [0] Pingbacks

Что за хрень ?

невозможно вывести с yandex - деньги на счет в сбербанке
не работает кнопка "заплатить" просит включить кошелек ..так он включен
блин все было нормально так ведь нет ..опять там чего-то переделали и как всегда все через жопу ...
кто сталкивался и как решил проблему напишите в коментах плиз

Опубликовал: GreenWood on Oct 04, 05 | 9:00 am | Profile

[2] comments (1857 views) |  [0] Trackbacks   [0] Pingbacks

DMOZ Extractor

Очень редкий фрукт DMOZ Extractor скачать можно здесь http://www.pjltechnology.com/downloads/dmoze.exe

DMOZ Extractor
Imagine a desktop application that allows you to navigate the DMOZ directory from a browser. And then with a mouse click will strip every URL within that sub-directory into an Access database. And with each URL it also parse the Title, Category, and Description. The same program then is able to spider each and every URL in the database for Keywords, and E-Mail reference. And if that's not enough envision this same program then allowing you to output the records to HTML Pages, a GT Links 2.0 or Hyperseek database. The DMOZ Extractor.

DMOZ Extractor намного упрощает навигацию по каталогу DMOZ С его помощью вы можете перемещаться по подкаталогам, извлекая по пути описания сайтов, их URLы и собирая их в базу данных Access. Программа намного упрощает ппоиск ключевых слов для сайта

Опубликовал: GreenWood on Oct 04, 05 | 8:18 am | Profile

[0] comments (1494 views) |  [0] Trackbacks   [0] Pingbacks

Всем качать и пользоваться

http://www.nielsentech.com/search-engine-list/search-engine-excel.zip

Опубликовал: GreenWood on Oct 04, 05 | 8:14 am | Profile

[0] comments (1247 views) |  [0] Trackbacks   [0] Pingbacks

Конструируем дорвей

http://www.see-search.com/webdesign/seeDoorwayPage.htm

Вводим все нужное и получаем результат

Опубликовал: GreenWood on Oct 04, 05 | 8:10 am | Profile

[0] comments (1528 views) |  [0] Trackbacks   [0] Pingbacks

ищем пиаристые сайты но нужному кейвуду

Интересный сервис http://www.seo-guy.com/seo-tools/google-pr.php
вводим нужный запрос и верхний предел PR - получаем сайты с искомыми результатами .... ну теперь видно сразу у кого надо клянчить PR

Опубликовал: GreenWood on Oct 04, 05 | 8:05 am | Profile

[0] comments (1160 views) |  [0] Trackbacks   [0] Pingbacks

AdWords™ Clever Wizard - подобрать кейвуды



качать здесь http://www.cleverstat.com/cleverwiz.exe
вставляете слово запроса и получаете полный список всех вариаций с указанием кол-ва их.
Простенько и удобно


Опубликовал: GreenWood on Oct 04, 05 | 7:48 am | Profile

[0] comments (1093 views) |  [0] Trackbacks   [0] Pingbacks

Выдача гугли сразу с пиаром

http://webmasterbrain.com/seo-tools/old/pagerank-search/

ну и много всего еще разного

Опубликовал: GreenWood on Oct 04, 05 | 7:44 am | Profile

[0] comments (1211 views) |  [0] Trackbacks   [0] Pingbacks

Все о пауках

найдете все о пауках ... их IP и кто хозяин
http://searchenginewatch.com/webmasters/article.php/2167991

Опубликовал: GreenWood on Oct 04, 05 | 7:42 am | Profile

[0] comments (1580 views) |  [0] Trackbacks   [0] Pingbacks

The Professional SEO Tool

Automated daily tracking for up to 15 URLs:
PageRank™
Search Position
Link Popularity
Indexed Pages
Domain Popularity
Indexed Pages
Custom email alerts of any new movements
Custom historical graph and chart reports of all stats
Simple, and easy to use




http://www.webmasterbrain.com/seo-tools/seo-scanner/

Опубликовал: GreenWood on Oct 04, 05 | 7:39 am | Profile

[0] comments (1039 views) |  [0] Trackbacks   [0] Pingbacks

Анализатор помогающий

Машинный перевод :

Анализ Ключевого слова - фундаментальный стратегия машинной оптимизации поиска. Использование . Cредство анализа живого ключевого слова ниже, Вы можете просто занести ваши ключевые слова затем вмазывать ваш текстовый и ваш анализ плотности ключевого слова сделает на лету. Нет необходимости пресса подвергается, она корректируется автоматически. Это означает, что Вы можете делать все ваше редактирование в пределах текстового ящика, и живой обратной связи приемника о вашем плотность ключевого слова.


http://www.live-keyword-analysis.com/

Опубликовал: GreenWood on Oct 04, 05 | 7:34 am | Profile

[1] comments (1118 views) |  [0] Trackbacks   [0] Pingbacks

программы создания сценариев

Контент-это всегда почти сценарий
пишем красиво и занимательно и посетитель идет на сайт косяком -
качаем http://screenwriting.narod.ru/programs.htm

Опубликовал: GreenWood on Oct 04, 05 | 7:24 am | Profile

[0] comments (1199 views) |  [0] Trackbacks   [0] Pingbacks

скрипты по таркетингу

тут http://www.location.com.my/free.asp

Опубликовал: GreenWood on Oct 04, 05 | 7:22 am | Profile

[0] comments (1036 views) |  [0] Trackbacks   [0] Pingbacks

ловушка для пауков

здесь http://www.darrinward.com/spydertrax2.zip
можно скачать скрипт и установить себе на сервер для отслеживания пауков. В странички встраиваеться маленький код. Инструкции по установке в zip

About SpyderTrax:
"SpyderTrax" is a program developed in PERL (a "compile at runtime programming language"). This programming language is most commonly used to perform tasks on servers, either for websites or to manage data.

SpyderTrax will allow you to track some of the major search engines (incl. Google, Yahoo, MSN, Altavista, AllTheWeb, Inktomi etc.), without too much difficulty. Complete instructions are provided in the .zip file above, however there is not much more to this program than uploading 3 or 4 files to your server, and then placing a simple line of code on your web pages.

Details are included in the README.txt file about how to make the script track hits to both PHP pages and HTML pages.

Getting Support:
I am freely available to answer any questions you may have about SpyderTrax, simply email me at the address above (note: if you see no email address above you need to enable JavaScript for your browser).

Опубликовал: GreenWood on Oct 04, 05 | 7:21 am | Profile

[0] comments (1099 views) |  [0] Trackbacks   [0] Pingbacks

установить статсы на FREE хостах

Если фри хост вам не дает подробнейщую статистику, то ставьте на этот скрипт http://phpee.com/index.php?node=21 на платнике, а в код страничек на фри хостах встраиваете маленькую конструкцию и все данные с фри хостов сливаються к вам на платник. Вам только надо на странички своих доров установить данный вам код жабы.
Можно получать сообщения на мыло о колличестве посетителей, можно разрешит регистрацию другим пользователям у себя .... прекрасно подходит для статистики посетителей на дорвеях и притом знать по каким кейводам и откуда они приперлись ... пользуйтесь и не забывайте анализировать статсы

Опубликовал: GreenWood on Oct 04, 05 | 7:18 am | Profile

[0] comments (1209 views) |  [0] Trackbacks   [0] Pingbacks

проверялка линков

очень помогает проверять убитые доры на FREE хостах





http://www.relsoftware.com/wlv/download/wlvsetup.exe

Опубликовал: GreenWood on Oct 04, 05 | 7:09 am | Profile

[0] comments (1092 views) |  [0] Trackbacks   [0] Pingbacks

PPC Toolkit v3.5 - проверка бидов на многих PPC

http://www.softnik.com/download/ppctoolkit_setup.exe

Includes PPC Bid Reporter Pro, Keyword Builder and Softnik Ad-Maker.

!!! Please make sure that you allow cookies from Overture (in your IE settings). Otherwise the Overture Bid Tool will not work. This applies only if you have disabled cookies (not applicable for most default installations)

Опубликовал: GreenWood on Oct 04, 05 | 7:07 am | Profile

[0] comments (1113 views) |  [0] Trackbacks   [0] Pingbacks

Good Keywords v2

тянет кеводы из многих мест, также линки и топ сайты http://www.softnik.net/download/gkw_setup.exe
к примеру ... можно поживиться не только с овертюры ..а скажем и из яхи

Опубликовал: GreenWood on Oct 04, 05 | 6:55 am | Profile

[0] comments (1212 views) |  [0] Trackbacks   [0] Pingbacks

основы оптимизации

http://www.webmasterpro.com.ua/news444.html

Опубликовал: GreenWood on Oct 04, 05 | 6:52 am | Profile

[0] comments (1264 views) |  [0] Trackbacks   [0] Pingbacks

Submitforce v1.0

сабмитер гостивух на PHP
http://www.civiconarch.com/senselabs/downloads.php

Опубликовал: GreenWood on Oct 04, 05 | 6:49 am | Profile

[0] comments (1156 views) |  [0] Trackbacks   [0] Pingbacks

linkassistant - обмен ссылками



тут http://www.link-assistant.com/buy.html можно присоединится к клубу ихнему и получить какие-то скидки

а тут http://www.link-assistant.com/download.html скачать и получить рекомендации по установке

Опубликовал: GreenWood on Oct 04, 05 | 6:43 am | Profile

[0] comments (1151 views) |  [0] Trackbacks   [0] Pingbacks

eBook Blaster 1.07 - Ебок в семь шагов

позволяет бвстренько состряпать так любимые гуглей ебуки


тут http://www.submitad.com/
его и многое другое найдете

Опубликовал: GreenWood on Oct 04, 05 | 6:12 am | Profile

[0] comments (1270 views) |  [0] Trackbacks   [0] Pingbacks

FFA Blaster

позволяет находить новые гостевухи и прочие для спама ресурсы ( сроки сами устанвливаете .. к примеру покажет гостивухи которые появились за последнюю неделю этого месяца )
http://www.submitad.com/files/blaster1.exe



реально работает

Опубликовал: GreenWood on Oct 04, 05 | 6:03 am | Profile

[0] comments (1261 views) |  [0] Trackbacks   [0] Pingbacks
PREV page Предыдущие новости --->

ppc


Партнерские программы


Google
 
Web bloggreenwood.com
черное море















#1 Online pharmacy
affiliate program!