Semalt: Jak zablokować Darodar Robots.txt

Plik Robots.txt to typowy plik tekstowy, który zawiera instrukcje dotyczące przeszukiwania witryny przez roboty lub roboty. Ich zastosowanie jest widoczne w botach wyszukiwarek, które są popularne w wielu zoptymalizowanych witrynach. W ramach protokołu wykluczania robotów (REP) plik robots.txt stanowi istotny aspekt indeksowania treści witryny, a także umożliwia odpowiednie uwierzytelnianie żądań użytkowników na serwerze.

Julia Vashneva, Senior Customer Success Manager firmy Semalt , wyjaśnia, że linkowanie jest aspektem optymalizacji pod kątem wyszukiwarek (SEO), która obejmuje pozyskiwanie ruchu z innych domen w Twojej niszy. Aby linki „podążać” w celu przeniesienia soku z linków, konieczne jest dołączenie pliku robots.txt do przestrzeni hostingowej witryny, aby działać jako instruktor interakcji serwera z witryną. W tym archiwum instrukcje są dostępne, zezwalając lub nie zezwalając na zachowanie określonych programów klienckich.

Podstawowy format pliku robots.txt

Plik robots.txt zawiera dwie podstawowe linie:

User-agent: [nazwa użytkownika-użytkownika]

Zabroń: [ciąg adresu URL nie do przeszukiwania]

Kompletny plik robots.txt powinien zawierać te dwa wiersze. Niektóre z nich mogą jednak zawierać wiele wierszy programów użytkownika i dyrektyw. Te polecenia mogą zawierać takie aspekty, jak zezwalanie, nie zezwalanie lub opóźnienia indeksowania. Zazwyczaj występuje podział linii oddzielający każdy zestaw instrukcji. Każda instrukcja zezwól lub zabroń jest oddzielona tym podziałem wiersza, szczególnie w pliku robots.txt z wieloma wierszami.

Przykłady

Na przykład plik robots.txt może zawierać kody takie jak:

Agent użytkownika: darodar

Disallow: / plugin

Disallow: / API

Disallow: / _comments

W tym przypadku jest to blokowy plik robots.txt, który ogranicza przeszukiwaczowi internetowemu Darodar dostęp do Twojej witryny. W powyższej składni kod blokuje aspekty witryny, takie jak wtyczki, interfejs API i sekcja komentarzy. Dzięki tej wiedzy można uzyskać wiele korzyści z efektywnego wykonania pliku tekstowego robota. Pliki Robots.txt mogą wykonywać wiele funkcji. Na przykład mogą być gotowi do:

1. Zezwól wszystkim treściom indeksującym na stronę internetową. Na przykład;

Agent użytkownika: *

Zakazać:

W takim przypadku dostęp do całej zawartości użytkownika może uzyskać dowolny robot indeksujący, który zostanie poproszony o przejście do witryny.

2. Zablokuj określoną zawartość internetową z określonego folderu. Na przykład;

Klient użytkownika: Googlebot

Disallow: / example-subfolder /

Ta składnia zawierająca nazwę klienta użytkownika Googlebot należy do Google. Ogranicza to botowi dostęp do dowolnej strony internetowej w ciągu www.ourexample.com/przykładowy-folder/.

3. Zablokuj określony robot indeksujący na określonej stronie internetowej. Na przykład;

Klient użytkownika: Bingbot

Disallow: /example-subfolder/blocked-page.html

Bot użytkownika Bing należący do użytkownika należy do przeszukiwaczy sieci Bing. Ten typ pliku robots.txt ogranicza przeszukiwaczowi sieci Bing dostęp do określonej strony za pomocą ciągu www.ourexample.com/example-subfolder/blocked-page.

Ważna informacja

  • Nie każdy użytkownik używa pliku robts.txt. Niektórzy użytkownicy mogą zignorować to. Większość takich robotów sieciowych obejmuje trojany i złośliwe oprogramowanie.
  • Aby plik Robots.txt był widoczny, powinien być dostępny w katalogu witryny najwyższego poziomu.
  • W znakach „robots.txt” rozróżniana jest wielkość liter. W związku z tym nie należy ich zmieniać w jakikolwiek sposób, w tym niektórych wielkich liter.
  • „/Robots.txt” jest własnością publiczną. Każdy może znaleźć tę informację, dodając ją do zawartości dowolnego adresu URL. Nie należy indeksować istotnych szczegółów ani stron, które mają pozostać prywatne.

mass gmail