Back to Question Center
0

Semalt: Jak blokować Darodar Robots.txt

1 answers:

Plik robots.txt jest typowym plikiem tekstowym, który zawiera instrukcje dotyczące przeszukiwania witryny przez roboty i roboty. Ich zastosowanie jest ewidentne w wyszukiwarkach botów, które są powszechne w wielu zoptymalizowanych stronach internetowych. W ramach Robots Exclusion Protocol (REP) plik robots.txt stanowi istotny aspekt indeksowania treści witryny, a także umożliwia serwerowi uwierzytelnianie żądań użytkowników odpowiednio.

Julia Vashneva, Senior Customer Success Manager Semalt wyjaśnia, że ​​łączenie jest aspektem optymalizacji pod kątem wyszukiwarek (SEO), który polega na pozyskiwaniu ruchu z innych domen w obrębie niszy. W przypadku linków "śledź" do soku linku transferu konieczne jest umieszczenie pliku robots.txt na stronie hostingu witryny, aby działał jako instruktor w zakresie interakcji serwera z witryną. W tym archiwum instrukcje są dostępne, zezwalając lub nie zezwalając na zachowanie określonych programów klienckich.

Podstawowy format pliku robots.txt

Plik robots.txt zawiera dwie podstawowe linie:

User-agent: [nazwa użytkownika-agenta]

Disallow: [ciąg URL, który nie ma być indeksowany]

Pełny plik robots.txt powinien zawierać te dwie linie. Jednak niektóre z nich mogą zawierać wiele linii agentów użytkownika i dyrektyw. Te komendy mogą zawierać takie aspekty, jak zezwolenia, niedozwolone lub opóźnienia indeksowania. Zwykle występuje podział linii, oddzielający każdy zestaw instrukcji. Każda z instrukcji allow lub disallow jest oddzielona tą linią podziału, szczególnie dla pliku robots.txt z wieloma liniami.

Przykłady

Na przykład plik robots.txt może zawierać kody typu:

User-agent: darodar

Disallow: / plugin

Disallow: / API

Disallow: / _comments

W tym przypadku jest to plik blokowy robots.txt, który ogranicza dostęp robota sieciowego Darodar do Twojej witryny. W powyższej składni kod blokuje aspekty witryny, takie jak wtyczki, interfejs API i sekcja komentarzy. Z tej wiedzy można uzyskać wiele korzyści z efektywnego wykonywania pliku tekstowego robota. Roboty. Pliki txt mogą być w stanie wykonywać wiele funkcji. Na przykład mogą być gotowi na:

1. Zezwalaj na dostęp do wszystkich treści przeszukiwaczy internetowych na stronie internetowej. Na przykład;

Agent użytkownika: *

Disallow:

W tym przypadku dostęp do wszystkich treści użytkownika może uzyskać każdy robot internetowy żądający dostępu do strony internetowej .

2. Zablokuj określoną zawartość internetową z określonego folderu. Na przykład;

User-agent: Googlebot

Disallow: / example-podfolder /

Ta składnia zawierająca nazwę użytkownika Googlebot należy do Google. Ogranicza dostęp bota do dowolnej strony internetowej w ciągu znaków www.ourexample.com/example-subfolder/ .

3. Zablokuj określonego robota sieciowego z określonej strony internetowej. Na przykład;

Agent użytkownika: Bingbot

Disallow: /example-subfolder/blocked-page.html

Bing użytkownika agenta użytkownika należy do robotów sieciowych Bing. Ten typ pliku robots.txt ogranicza dostęp robota sieciowego Bing do dostępu do określonej strony za pomocą ciągu: www.ourexample.com/example-subfolder/blocked-page.

Ważne informacje

  • Nie każdy użytkownik używa twojego pliku robts.txt. Niektórzy użytkownicy mogą zignorować to. Większość takich robotów sieciowych zawiera trojany i złośliwe oprogramowanie
  • .
  • Aby plik Robots.txt był widoczny, powinien być dostępny w katalogu głównym najwyższego poziomu
  • .
  • W polach "robots.txt" jest rozróżniana wielkość liter. W rezultacie nie należy ich zmieniać w żaden sposób, w tym wielkich liter niektórych aspektów
  • .
  • "/robots.txt" jest własnością publiczną. Każdy może znaleźć te informacje, dodając je do zawartości dowolnego adresu URL. Nie powinieneś indeksować istotnych szczegółów ani stron, które mają pozostać prywatne.
November 26, 2017
Semalt: Jak blokować Darodar Robots.txt
Reply