Internetový bot, nebo-li Web crawler, zkráceně bot prochází weby na internetu za účelem vytvoření obrovské databáze/indexu. Navštěvuje automaticky veškeré dostupné Webové stránky a vytváří databázi obsahu, přístupů, architektury pro různé účely.
Řešit boty má cenu! Správným nastavením přístupu botů můžete výrazně upravit rychlost webu a jeho bezpečnost. Boti přistupují na váš web neustále. V některých případech i desítky botů v jednom okamžiku, stovky až tisíce prošlých stránek za vteřinu.
Menší weby a eshopy obvykle řešit boty vůbec nemusí. Bot přistoupí na web a během pár vteřin projde cely web, eshop. Zátěž webu na server se krátkodobě zvýší a zas hned klesne.
Rozsáhlé weby a eshopy jsou však problém. Bot přistoupí na web nebo eshop a zahájí indexaci webu, která může trvat pár minut, ale také i pár hodin, dokonce i dnů. Zátěž webu na server se zvýší a teoreticky neustále stoupá až do nedostupnosti serveru. Klasickým příkladem jsou eshopy, nepoužívajicí cache, s více jak 100 000 produkty. Dobře postavený eshop obvykle nezpůsobí velkou zátěž a indexace botem projde hravě. I tak může nastat problém, pokud se takových botů vyskytne více naráz.
Anti-Bot blocking system
Procházení eshopu, webu botem zvyšuje nároky na Hardware a cenu na použité serverové řešení. Je dobré řešit každého bota.
Čerpali jsme z dlouholetých zkušeností provozu velkých eshopů a vyvinuli jsme Anti-Bot blocking system, který dokáže efektivně zpomalit nebo úplně zablokovat procházení botů. Udržujeme databázi botů a Exploitu a tyto přístupy blokujeme ještě před dotazem na webový server. Touto metodou nijak nezatěžujeme server ani eshop.
Hlavní přednosti:
- Blokace nebo zpomalení botu
- Krátkodobá, dlouhodobá nebo permanentní blokace
- Whitelist indexačních botů vyhledávačů jako Google, Seznam, Bing, Yandex...
- Spolehlivé řešení i pro boty přistupujicí skrze síť Cloudflare nebo Sucuri
- Pro každého klienta VPS nebo dedikovaného serveru
- Možnost používat upravenou databázi botů pro potřeby klienta
- Zanedbatelná náročnost blokovacího řešení na výkon serveru
- Zvýšení bezpečnosti webu
- Blokace špionážních botů vaší konkurence
- Velmi nízká cena
V ceně systému:
- Analýza logů a průběžné vyhodnocování
- Udržování aktuální databáze botu a Exploitů
- Týdenní aktualizace systému
- Nainstalování na VPS servery a Dedikované servery