Što je indeksiranje web stranice? Kako se to događa? Odgovore na ova i druga pitanja možete pronaći u članku. Web indeksiranje (indeksiranje u tražilicama) je proces dodavanja informacija o web mjestu u bazu podataka od strane robota tražilice, koji se naknadno koristi za traženje informacija o web projektima koji su prošli takav postupak.
Podaci o web resursima najčešće se sastoje od ključnih riječi, članaka, poveznica, dokumenata. Audio, slike i tako dalje također se mogu indeksirati. Poznato je da algoritam detekcije ključnih riječi ovisi o tražilici.
Postoji određena ograničenja za vrste indeksiranih informacija (flash datoteke, javascript).
Upravljanje inicijacijom
Indeksiranje stranice je složen proces. Da biste njime upravljali (na primjer, da biste zabranili privitak određene stranice), trebate upotrijebiti datoteku robots.txt i upute kao što su Allow, Disallow, Crawl-dey, User-agent i druge.
Također, oznake i rekviziti se koriste za indeksiranje, skrivajući sadržaj resursa od Googleovih i Yandex robota (Yahoo koristi oznaku).
U tražilici Goglle nove web stranice indeksiraju se od nekoliko dana do jednog tjedna, a u Yandexu - od jednog do četiri tjedna.
Želite li da se vaša stranica pojavljuje u upitima za rezultate tražilice? Zatim ga moraju obraditi Rambler, Yandex, Google, Yahoo i tako dalje. Morate obavijestiti tražilice (paukove, sustave) o postojanju vaše web stranice, a zatim će je indeksirati u cijelosti ili djelomično.
Mnoge stranice nisu indeksirane godinama. Podatke koji se nalaze na njima nitko ne vidi osim njihovih vlasnika.
Načini obrade
Indeksiranje stranice može se obaviti na nekoliko načina:
- Prva opcija je ručno dodavanje. Morate unijeti podatke svoje stranice putem posebnih obrazaca koje nude tražilice.
- U drugom slučaju, robot tražilice sam pronalazi vašu web stranicu putem poveznica i indeksira je. On može pronaći vašu stranicu putem poveznica s drugih izvora koji vode do vašeg projekta. Ova metoda je najučinkovitija. Ako tražilica pronađe stranicu na ovaj način, smatra je značajnom.
Vrijeme
Indeksiranje stranice nije prebrzo. Termini se razlikuju, od 1-2 tjedna. Linkovi s mjerodavnih izvora (s izvrsnim PR-om i Titzom) značajno ubrzavaju plasman stranice u bazu podataka tražilice. Danas se Google smatra najsporijim, iako bi do 2012. ovaj posao mogao obaviti za tjedan dana. DoNažalost, stvari se vrlo brzo mijenjaju. Poznato je da Mail.ru radi s web stranicama na ovom području oko šest mjeseci.
Indeksiranje stranice u tražilicama nije moguće za svakog stručnjaka. Na vrijeme dodavanja novih stranica u bazu podataka web-mjesta koje su već obradile tražilice utječe učestalost ažuriranja njegovog sadržaja. Ako se na nekom resursu stalno pojavljuju svježe informacije, sustav ih smatra često ažuriranim i korisnim ljudima. U ovom slučaju, njezin je rad ubrzan.
Možete pratiti napredak indeksiranja web stranice u posebnim odjeljcima za webmastere ili na tražilicama.
Promjene
Dakle, već smo shvatili kako je stranica indeksirana. Treba napomenuti da se baze podataka tražilica često ažuriraju. Stoga se broj stranica vašeg projekta koji im se dodaje može promijeniti (i smanjiti i povećati) iz sljedećih razloga:
- sankcije tražilice protiv web stranice;
- prisutnost pogrešaka na stranici;
- promjena algoritama tražilice;
- odvratan hosting (nedostupnost servera na kojem se nalazi projekt) i tako dalje.
Yandex odgovori na uobičajena pitanja
"Yandex" je tražilica koju koriste mnogi korisnici. Po broju obrađenih zahtjeva za istraživanjem zauzima peto mjesto među svjetskim sustavima pretraživanja. Ako ste joj dodali web-lokaciju, dodavanje u bazu podataka može potrajati predugo.
Dodavanje URL-a ne jamči njegovo indeksiranje. Ovo je samo jedna od metoda kojima se govori sustavnom robotuo novom resursu. Ako postoji malo ili nimalo veza na web-mjesto s drugih web-mjesta, dodavanjem će vam pomoći da je brže pronađete.
Ako nije došlo do indeksiranja, trebate provjeriti je li bilo grešaka na poslužitelju u vrijeme kreiranja aplikacije za njega od Yandex robota. Ako poslužitelj prijavi grešku, robot će prekinuti svoj rad i pokušati ga dovršiti u povratnom redoslijedu. Zaposlenici Yandexa ne mogu povećati brzinu dodavanja stranica u bazu podataka tražilice.
Indeksiranje stranice u Yandexu prilično je težak zadatak. Ne znate kako dodati resurs u tražilicu? Ako na njega postoje veze s drugih web-mjesta, onda ne morate dodavati posebno mjesto - robot će ga automatski pronaći i indeksirati. Ako nemate takve veze, možete koristiti obrazac "Dodaj URL" kako biste tražilici obavijestiti da stranica postoji.
Imajte na umu da dodavanje URL-a ne jamči da će vaša kreacija biti indeksirana (ili indeksirana).
Mnogi se ljudi pitaju koliko je vremena potrebno za indeksiranje web-mjesta u Yandexu. Zaposlenici ove tvrtke ne daju jamstva i ne predviđaju uvjete. U pravilu, otkako je robot saznao za stranicu, njegove stranice u pretraživanju pojavljuju se za dva dana, ponekad i za nekoliko tjedana.
Proces
"Yandex" je tražilica koja zahtijeva točnost i pažnju. Indeksiranje stranice sastoji se od tri dijela:
- Robot za pretraživanje indeksira stranice resursa.
- Sadržaj(sadržaj) stranice bilježi se u bazu podataka (indeks) sustava za pretraživanje.
- Za 2-4 tjedna, nakon ažuriranja baze podataka, možete vidjeti rezultate. Vaša će se stranica (ili neće) pojaviti u rezultatima pretraživanja.
Provjera indeksiranja
Kako provjeriti indeksiranje web stranice? Postoje tri načina da to učinite:
- Unesite naziv svoje tvrtke u traku za pretraživanje (na primjer, "Yandex") i provjerite svaku vezu na prvoj i drugoj stranici. Ako tamo pronađete URL svoje zamisli, robot je završio svoj zadatak.
- Možete unijeti URL svoje web stranice u traku za pretraživanje. Moći ćete vidjeti koliko je internetskih listova prikazano, tj. indeksiranih.
- Registrirajte se na stranicama webmastera u Mail.ru, Google, Yandex. Nakon što prođete provjeru web-lokacije, moći ćete vidjeti rezultate indeksiranja i druge usluge tražilice stvorene za poboljšanje performansi vašeg resursa.
Zašto Yandex ne uspijeva?
Indeksiranje stranice u Google-u provodi se na sljedeći način: robot unosi u bazu podataka sve stranice stranice, niske i visoke kvalitete, bez odabira. Ali samo korisni dokumenti uključeni su u ljestvicu. I "Yandex" odmah isključuje sve web smeće. Može indeksirati bilo koju stranicu, ali tražilica će na kraju eliminirati svo smeće.
Oba sustava imaju inkrementalni indeks. Obje stranice niske kvalitete utječu na rangiranje web stranice u cjelini. Ovdje je na djelu jednostavna filozofija. Omiljeni resursi pojedinogkorisnik će zauzimati više pozicije u svom izdanju. Ali ovaj isti pojedinac teško će pronaći stranicu koja mu se prošli put nije svidjela.
Zato je prvo potrebno pokriti kopije web dokumenata od indeksiranja, provjeriti ima li praznih stranica i spriječiti indeksiranje sadržaja niske kvalitete.
Ubrzajte Yandex
Kako mogu ubrzati indeksiranje stranice u Yandexu? Slijedite ove korake:
- Instalirajte preglednik Yandex na svoje računalo i koristite ga za pregledavanje stranica web-mjesta.
- Potvrdite prava za upravljanje resursom u Yandex. Webmasteru.
- Objavite vezu na članak na Twitteru. Poznato je da Yandex s ovom tvrtkom surađuje od 2012.
- Dodajte pretraživanje iz Yandexa za web-mjesto. U odjeljku "Indeksiranje" možete unijeti vlastite URL-ove.
- Unesite kod "Yandex. Metrica" bez označavanja "Slanje stranica za indeksiranje je zabranjeno".
- Izradite Sitemap koji postoji samo za robota i nije vidljiv publici. Provjera će početi s njim. Adresa Sitemapa se unosi u robots.txt ili u odgovarajući obrazac u "Webmaster" - "Postavke indeksiranja" - "Datoteke karte web-lokacije".
Međuradnje
Što treba učiniti dok web-stranicu ne indeksira Yandex? Domaća tražilica trebala bi tu stranicu smatrati primarnim izvorom. Zato je i prije objave članka imperativ u obliku "Specifičnih tekstova" dodati njegov sadržaj. Inačeplagijatori će kopirati zapis na svoj resurs i bit će prvi u bazi podataka. Kao rezultat toga, oni će biti priznati kao autori.
Google Database
Za Google su prikladne iste preporuke koje smo gore opisali, samo će usluge biti drugačije:
- Google+ (zamjenjuje Twitter);
- Google Chrome;
- Google Alati za programere - "Skeniraj" - "Izgleda kao Googlebot" - opcija "Skeniraj" - opcija "Indeks";
- pretraži unutar resursa s Googlea;
- Google Analytics (umjesto Yandex. Metrics).
Zabrana
Što je zabrana indeksiranja stranice? Možete ga prekriti i na cijeloj stranici i na njenom zasebnom dijelu (veza ili dio teksta). Zapravo, postoji i globalna i lokalna zabrana indeksiranja. Kako se implementira?
Razmotrimo zabranu dodavanja web stranice u bazu podataka tražilice u Robots.txt. Koristeći datoteku robots.txt, možete isključiti indeksiranje jedne stranice ili cijelog naslova resursa na sljedeći način:
- Korisnički agent:
- Disallow: /kolobok.html
- Disallow: /foto/
Prva točka kaže da su upute definirane za sve PS-ove, druga označava da je zabranjeno indeksiranje datoteke kolobok.html, a treća ne dopušta dodavanje cijelog nadjeva foto mape u baza podataka. Ako trebate izuzeti više stranica ili mapa, navedite ih sve u Robots.
Kako biste spriječili indeksiranje određenog internetskog lista, možete koristiti robots meta tag. Razlikuje se od robots.txtčinjenica da daje upute svim PS odjednom. Ova meta oznaka slijedi opća načela html formata. Treba ga postaviti u naslov stranice između oznaka. Unos za zabranu, na primjer, može biti napisan ovako:.
Ajax
Kako Yandex indeksira Ajax stranice? Danas, Ajax tehnologiju koriste mnogi programeri web stranica. Naravno, ona ima veliki potencijal. Pomoću njega možete kreirati brze i produktivne interaktivne web stranice.
Međutim, robot tražilice "vidi" web listu drugačije od korisnika i preglednika. Na primjer, osoba gleda udobno sučelje s pokretno učitanim internetskim listovima. Za alat za indeksiranje, sadržaj iste stranice može biti prazan ili predstavljen kao ostatak statičkog HTML sadržaja, za koji skripte ne rade.
Možete koristiti URL sza izradu Ajax stranica, ali tražilica ga ne koristi. Obično je dio URL-a nakonje odvojen. To se mora uzeti u obzir. Stoga, umjesto URL-a kao što je https://site.ru/example, on šalje aplikaciju na glavnu stranicu resursa koji se nalazi na https://site.ru. To znači da sadržaj internetskog lista možda neće ući u bazu podataka. Kao rezultat toga, neće se pojaviti u rezultatima pretraživanja.
Kako bi poboljšao indeksiranje Ajax stranica, Yandex je podržao promjene u robotu za pretraživanje i pravilima za obradu URL-ova takvih web stranica. Danas webmasteri mogu ukazati tražilici Yandex na potrebu za indeksiranjem stvaranjem odgovarajuće sheme u strukturi resursa. Za to vam je potrebno:
- Zamijenite simbolu URL-u stranicana !. Sada će robot shvatiti da se može prijaviti za HTML verziju sadržaja ovog internetskog lista.
- HTML verziju sadržaja takve stranice treba postaviti na URL gdje ! zamijenjeno s ?_escaped_fragment_=.
