Роботизирани търсачки | Урок 2

В друга статия по-рано обсъдихме обсъдихме как роботизираните търсачки работят. Специален софтуер наричан робот посещава вашия сайт и прочита изходния код (source code) на страниците ви. Този процес се нарича "пълзене" или "spidering". Вашите страници се компресират и след това се запаметяват в хранилището на търсачката, което се нарича "индекс" (index). Този етап се нарича "индексиране" (indexing). Накрая, когато някой mfodoe заявка към търсачката, тя изтегля от страницата на индекса търсената информация и я нарежда сред други резултатите, които тя намерила за тази заявка. Това се нарича "класиране".

Обикновено за индексиране, робот-базирани търсачки, мислят за много повече фактори, отколкото онези, които може да намерите на страниците си. Така, преди да постави вашата страница в индекса, един робот ще разгледа много други страници в индекса си за да свърже вашата информация с други подобни, на текст, използван във връзки, които сочат към теб, какъв е рейтинга на свързване на страници, ще разпредели текстовете в категории, и т.н. Тези фактори са заслужават значително внимание, когато страниците ви се оценяват от роботизирани търсачки. Макар че теоретично, вие може изкуствено да увеличите определени ключови думи на вашата страница това няма да подобри класирането на вашия сайт, тъй като факторите определащи това са свързани с много други действия. От голямо значение е дали към сайта ви има връзки от висококачествени сайтове, което вие няма как да направите изкуствено. Единствения начин е страниците ви да съдържат качествени и уникални текстове, които да допринасят за повече посетители на сайта ви и да предразполагат добри сайтове да създават връзки към вас.

Ще се опитами да ви обясним най-важното как паяк-базираните търсачки да индексират добре сайта ви и да го поставят по високо в класирането на интернет страниците обходени от така наречените роботи (robots, crawlers). Въпреки, че тази статия не е тясно свързана с понятието "оптимизиране" на сайт, тя е част от самия процес и винаги можете да се върнете тук и си припомните най-важното.

Google (http://www.google.com)
е търсачка номер едно за търсене сред такива гиганти на пазара на SE, като Yahoo и Bing. Пазарния дял на Google в търсенето е над 60%. Google индексира милиарди уеб страници, така че потребителите могат да търсят информация, която те желаят. Плюс това създава услуги и инструменти, включително уеб приложения, рекламни мрежи и решения за бизнеса, за да се задържат на челни позиции успешно.
Тук можете да подадете Вашия сайт за Google тук: http://www.google.com/addurl/ и вашия сайт вероятно ще бъдат индексирани в около 1-2 дни.

Освен това, можете да влизате в Google профила си, отидете в Google Webmaster Tools и да индексирате Site map на вашия сайт. За повече информация относно създаването на Карта на сайт, моля консултирайте се с урок "Създаване на Приятелска за търсачките Карта на сайта".

Моля, имайте предвид, че Google може да игнорира вашето предложение за значителен период от време. Дори ако се случи да индексира сайт, който няма активни връзки към други страници, то той може да не бъде индексиран изобщо, въпреки това, че Google намира вашия сайт, като следва връзки от други страници, които вече са индексирани и редовно се реиндексират (рrе-spidered). Тези шансове са много по-високи, ако Google намира вашия сайт чрез четене на директории, като DMOZ (www.dmoz.org).

В миналото, Google обикновено извършваше месечни известия наречени "Google Dance" сред експертите. В началото на месеца, дълбоко индексиране на уеб състоянието на сайта, а след това след няколко седмици рейтинга направен на базата на посещението, и в края на месеца индекс. Базата данни е окончателно актуализирана.


Google твърди, че има 1 трилион (1,000,000,000,000) уникални адреси в своя индекс. Търсачката постоянно добавя нови страници в индекса на база данни - обикновено отнема около два дни за добавяне на нова страница към списъка, след като Googlebot (Google crawler) го е индексирал. Екипът на Google работи усърдно за алгоритмично съвършенство, за да запазят водещата си позиция сред търсачките.

Тези дни, Google поддържа база данни, която постоянно се актуализира. Мат Кътс (Matt Cutts - ръководител на екипа на Google Webspam), докладва в личния си блог, че: Google използва един индекс, който постепенно се обновява всеки ден (или по-бързо). Освен това месечното обновяване на Google вече се извършва почти всеки ден за някои определени индекси, което някои хора наричат everflux.

Google има много от така наречените "регионални" отрасли, като например "Google Australia", "Google Canada", Google Bulgaria и т.н. Тези отрасли се отличават с това, че съхраняват техните индекси на базата данни на сървъри разположени в съответните региони. Те са предназначени за по-нататъшно коригиране резултата от търсенето на търсещия нужди: когато търсите, Google разпознава вашия IP адрес (и по този начин приблизителното местоположение) и ви предоставя емисии на резултатите от най-подходящ индекс на базата данни.


Google има редица роботи които извършват spidering. Те всички носят името "GoogleBot", но идват от много различни адреси. Можете да видите дали Google е посетил сайта си, като търсите чрез вашия сървър трупи: Просто намери нещо като IP адрес 82.110.xxx.xx и най-вероятно ще видите потребител посетил ви и определен като "GoogleBot" ( "Googlebot/2.1 + (+ HTTP : / / www.google.com / bot.html) "). Уверете се, че IP адреса използва обратната DNS дума, за да разберете дали е регистрирано име на търсачката. Като цяло всички Google роботи имена завършват с "googlebot.com"

Google е най-важните търсачката в интернет аудиторията на всички търсачки. Освен от собствения си сайт, получаващи 350 милиона търсения на ден, те също предоставят резултатите от търсене за търсене в AOL, Netscape търсене, Ask.com, Iwon, ICQ и MySpace Търсене. Поради тази причина, най-първо се фокусирате върху оптимизиране с Google. Като цяло, това има смисъл.

Как да се оптимизирате за Google ?
Най-важно за Google са три фактора: PageRank, link anchor text and semantics

Рейтингът е абсолютна стойност, която редовно се изчислява от Google за всяка страница в своя индекс. По-късно ще ви дам подробно описание за това, но за сега това е просто важно да се знае, че не само броят на връзките, които сте получили от други сайтове извън домейна си към вас са важни, но също така и дали са от качествени сайтове. Последното означава, че за да ви придадат малко тежест и по висок рейтинг, сайтове свързване към твоя трябва да имат висок собствен рейтинг, да бъдат богати на съдържание и редовно актуализирани.

MiniRank е промяна на рейтинга на базата на структура на връзките към сайта ви. Тъй като робота на търсачките не рангва (оценява) единични страници, а цели сайтове, някои страници на вашия сайт ще имат по-висок ранг за определени ключови думи, отколкото други. MiniRank има значително влияние върху общия PageRank.

Link anchor text е текстът на връзките, които водят към страниците ви. Например, ако някой линкове към вас са именувани "виж този страхотен сайт", това е безполезна връзка. Все пак, нека предположим че вие продавате гуми, и че сте заплатили за линк от друг сайт, който да казва "автомобилни гуми от водещи марки", то тогава такава връзка ще повиши ранга ви, когато някой подаде заявка за търсене на автомобилни гуми в Google.

Semantics е нов фактор, който се появява, че е направил най-голямата разлика в резултатите. Този термин се отнася до смисъла на думите и техните взаимоотношения. Google купи компанията наричана приложна семантика обратно през 2003 г. и използва технологията за тяхното AdSense - контекстуална рекламна програма. Съгласно принципите на прилаганите Semantic, робота се опитва да определи кои думи означават едно и също нещо и кои от тях винаги се използват заедно.

Сега, има два други термини, свързани с начина на подреждане на Google страници: Hilltop и Sandbox.

Hilltop е един алгоритъм, който е създаден през 1999 година. По принцип, така изглеждат тношенията между "Експерт" и "орган" страници. "Експерт" е една страница, която съдържа връзки към много други съответни документи. "Орган" е една страница, която има връзки, сочещи към него от страна на "Експерт" страниците.

На теория, Google ще намери "Експерт" и след това благодарение на линковете водещи към тази страница ще придобие по-висок PageRank. Страници на сайтове като Yahoo, DMOZ, сайтове на колежи и библиотеки се считат за експерти.

Sandbox алгоритъма на Google, който открива колко годинишна е една страница е създаден от Гугъл филтър, и е предназначен да проверява тази информация за всеки един сайт. Обикновено страници с остаряло съдържание са склонни постепенно да падат надолу в списъка с резултати, а новосъздадени страници само обходени първоначално имат по-високи позиции, отколкото биха били, ако се основават само на рейтинга. Въпреки това, известно време след получаване на подсилени позиции, новите уебсайтове изчезнат от челните места в резултатите от търсенето, тъй като Google иска да провери дали вашият сайт наистина продължава да се развива и не е бил създаден с единствената цел да се възползвате само от изкуствено високата ранглиста в краткосрочен план в самото начало. В периода, когато един уеб сайт е в състояние да направи това в началото на страницата с резултати от търсенето и развитието по-нататък означава да бъдеш в по-нататък "да бъдеш в Sandbox". Това може да продължи от 6 месеца до една година, тогава позициите обикновено се възстановят постепенно. Все пак, не всички собственици на чисто нов сайт получават този ефект върху собствените си сайтове, което е довело до дискусии и съмнения по въпроса дали изобщо Sandbox съществува.


Според Google ключовите думи включени в мета таговете на сайта ви не оказват никакво влияние за позицията на вашето класиране в търсачките. От компанията твърдят, че вашите мета тагове съдържат полезно описание на сайта ви, което единствено служи за по-добро описание за посетителите в интернет показано в резултатите на търсачките.

Днес мета таговете не влияят позицията на сайта в резултатите от търсенето абсолютно. Те могат да бъдат използвани като допълнителен източник на информация за уеб страницата, само за сърфистите.

Когато се насочвате към оптимизация за Google, не забравяйте да използвате ключови думи в следния текст:
1. Вашето име на домейн!
2. Първите думи от заглавието: -- Заглавие на вашия сайт разположено м/у таговете "title" --
3. HTML тагове H1 позиция до H6;
4. Alt Text толкова дълго, колкото се описват също и изображения;
5. Качествено съдържание на началната страница. Опитайте се да направите дължината на началната си страница по-малко от 300 думи, обаче, без да прикривате нищо от очите на посетителите (МНОГО ВАЖНО!).
6. Линк текст за изходящи връзки.
7. Падащо форма кутии, създадени с помощта на Избор на маркер.
8. И накрая, опитайте се да има някои ключови думи в удебелен шрифт.
Освен това, опитайте се да придържате сайта около една централна тема. Използвайте синоними на важните ключови думи и фрази, не ги дублирайте прекалено мнага.

Страници, които са оптимизирани за Google ще дадат добър резултат, когато има няколко връзки към външни сайтове, които са свързани с вашата тема, защото това създава репутация на страницата ви като тема. Google също така засича колко сайтове извън домейна ви имат връзки, сочещи към вашия сайт, което е много важно за рейтинга на сайта ви. Колкото по-популярен става вашия сайт, толкова по-напред в резултатите ще го показва търсачката.

Според Крейг Силвърстейн (Craig Silverstain) от Google, "Външни връзки, които вие предоставяте от определена страница на вашия сайт може да са от полза. С други думи, ако поставите 10000 връзки към други уеб страници от определена страница на вашия сайт, всяка връзка е по-добър фактор, отколкото ако се свържете към само пет други уеб страници. Или, приносът на стойност към друг сайт на всяка отделна връзка осигурява помощ. "

Yahoo! (http://www.yahoo.com)
Можете да подадете своя URL на Yahoo! Търси за безплатно от тук: http://submit.search.yahoo.com/free/request (Забележка: трябва да се регистрирате в портала първо) и то ще се индексира за около 1-2 месеца, но е от голямо значение.

Yahoo! е все още най-популярният сайт в интернет, в зависимост от ранга на трафика, отчетени от Alexa (www.alexa.com). Въпреки това, от гледна точка на броя на извършените търсения Google води класацията.

Yahoo! подрежда резултатите по различни начини. Първо, тя е един от най-пълните директории в мрежата.

Спонсорирани резултати се намират в горната част, в страни, и в долната част на страниците с резултати, захранвани от Yahoo! Сегашния собственик на Yahoo - Search Marketing закупи търсачката и предоставя резултатите от търсенето от AltaVista, AllTheWeb и Lycos.

Показването резултатите от търсене в Yahoo! се промяни през февруари 2004. За предходните няколко години, Google беше доставчик на резултатите ат тяхното. Днес, Yahoo! използва вече своя собствена база данни. Търсенето официално преглежда всички търсачки, предоставящи информация за Yahoo!. Ето защо, при оптимизиране на вашия уебсайт за Yahoo!, имате добър шанс да фигурирате в първите резултати на други популярни търсачки, като AllTheWeb и AltaVista.

За да разберете дали паяка на Yahoo е посетил вашия сайт, търсете информация на вашия сървър. Техните робот се нарича Yahoo Slurp (по-рано беше Slurp). За всяка заявка от 'Yahoo! Slurp' user-agent може да започва с IP адрес (т.е. 69.147.76.15 ). След това проверете дали той наистина идва от Yahoo! Търсене чрез обратната DNS връзка. Името на всички Yahoo! роботи завършва с "crawl.yahoo.net, '.

За да се класира сайта ви добре в Yahoo, трябва да направите същите неща, които помагат на Вашето класиране в Google. Off-page factors (link popularity, anchor text и т.н.) са много важни. Някои експерти смятат, че по-лесно е да се класирате добре в Yahoo, тъй като собствените ви вътрешни връзки там са по-важни, и няма изискване за приложимост на връзките.

Както всички други търсачки, те ще ви поставят по-горе в списъка, ако получавате линкове към сайта си. По подобие на Google, техния робот е много активен и актуализира листингите на дневна база. Въпреки това, може да отнеме няколко седмици, за да ви добави Yahoo към списъка си с нови страници. Страниците, които вече са включени в изброяването се обновяват много по-често, обикновено всеки няколко дни.

През март 2004 г., Yahoo стартира своята програма, наречена платени включване на сайт. Можете да разберете подробности за платени включване програма на Yahoo тук: http://searchmarketing.yahoo.com/srch/index.php и ценообразуването тук - http://advertising.yahoo.com/?mkt

META Описание на ключови думи и мета таговете.

Търсачките на Yahoo! също не смятат meta таговете за предимство при оценка за приложимост на сайта ви. Използвайте ключови думи в заглавието тагове H1 чрез H6; Използвайте ключови думи в текстов линк котва и атрибутите ALT на вашите изображения.


Тук можете да подадете своя сайт, на Бинг (известен преди като MSN Search и Live Search) безплатно (free) http://www.bing.com/docs/submit.aspx, но те със сигурност ще намерят сайта ви ако към него вече има създадени връзки от други сайтове.

MSN е мрежа на Microsoft и първоначално е предвиждано да бъде търсеща машина на Microsoft за интернет търсене, наред с други цели. Тази търсачка беше захранва от Inktom, не е имала свой робот.
От февруари 2005 г., MSN преминава към базата на друга търсеща машина и въвежда свой робот за обхождане в Интернет. Следващата важна стъпка беше на 11 септември 2006 г., когато Live Search съобщи, че заменя MSN Search.

Интересна промяна претърпява другата популярна търсачка Бинг "Bing" през юни 2009 година. Бинг издърпва и индексира съдържанието от уеб сайтовете и показва навигационната пътека и вариации на заявката за търсене, в лявата страна на екрана. Кликвайки върху новата ключова дума или фраза това помага на търсещия намери информацията бързо.

До този момент търсачката Бинг е активно насърчавана, и това си личи от промоцийте за пренасочване на потребителите от MSN и Live Search сайтове към Bing.com. Видима е тенденцията, че Бинг ще отиде доста напред в интернет бизнеса и ще се превърне в независима търсачка и стабилен източник на посетителски трафик.

Преди да пренасочи трафика си към Бинг Live Search беше една от най-популярните интернет търсачки от световна класа. Сега Бинг притежава около 19% от всички търсения на трафика. Определено има смисъл да се възползвате от резултатите на Bing, тъй като размерът на трафика, който ще получите като резултат е значителен. Плюс това специфичното тук е, че Бинг използват специално проектирана система за защита от Spam, а това е особено важно за потребителите.

Когато паяка на Бинг ви посети, ще разберете това от вашия сървър. Неговият паяк оставя следа като MSNBot, с IP адреси нещо подобно 65.55.xx.xx и 65.64.xx.xx, msnbot.msn.com домакин и потребителски агент "msnbot/1.1 (+ http://search.msn.com/msnbot.htm)".

FAST (сега се нарича Fast Search and Transfer) е норвежка компания, която е специализирана в решения за търсене и филтриращите технологии. Преди време тази компания изгражда търсачката AllTheWeb. През 2003 AllTheWeb и AltaVista (http://www.alltheweb.com) са закупени от Overture engine, която пък е закупена от FAST Search. По-късно Yahoo закупува тази интересна комбинация и така AllTheWeb и AltaVista попадат в обсега на световния гигант.


AltaVista (http://www.altavista.com) някога е бил голям играч в търсенето индустрия. До преди около седем години те могат да претендират да бъдат най-използваната търсачка. От този момент, този двигател е загубил своята независимост и голяма част от своята популярност. В наши дни, това е изпращане на много малко трафик към сайтове. Както и при AllTheWeb, тя е купена от Yahoo.

Ask.com (http://www.ask.com)
Ask.com (бивш Ask Jeeves) е последната роботизирана интернет търсачка, която ще обсъдем. Ask.com получава резултатите си от търсачката Iwon, която пък е член на Google семейството.

Ask.com (или Ask Jeeves в Обединеното кралство) е търсачката започна през 1996 г. от Garrett Gruener и David Warthen in Berkeley, California. Оригиналният софтуер на търсачката е осъществен от Gary Chevsky от собствения си дизайн. Chevsky, Джъстин Грант, и др построен в началото на сайта AskJeeves.com около това ядро на двигателя. Три фирми за рисков капитал, Highland Capital Partners, институционално Venture Partners, както и на RODA група са ранните инвеститори. Ask.com в момента е собственост на IAC/InterActiveCorp под символа NASDAQ IACI.