V dnešní digitální době je pro každého vlastníka webových stránek klíčové zajistit, aby jeho obsah byl snadno nalezen a indexován vyhledávači, jako je Google, Bing, nebo Yandex. Dva základní nástroje, které vám v tomto úsilí mohou pomoci, jsou soubory sitemap.xml a robots.txt. Tyto soubory pomáhají vyhledávačům lépe rozumět struktuře vašeho webu a efektivněji procházet jeho obsahem. V následujícím článku se podíváme na to, jak tyto soubory vytvořit a správně je konfigurovat.

Co je sitemap.xml a proč je důležitá

Sitemap.xml je XML soubor, který obsahuje seznam URL adres na vašem webu, které chcete, aby vyhledávače indexovaly. Poskytuje vyhledávačům strukturovaný přehled všech vašich stránek a umožňuje jim snadněji objevovat aktualizace vašeho obsahu. Sitemap je obzvláště užitečná pro velké Webové stránky, stránky s bohatým mediálním obsahem, nebo stránky, které mají omezené interní propojení.

Jak vytvořit sitemap.xml

1. Automatické generování: Mnoho současných správců obsahu (CMS) jako Wordpress, Joomla, nebo Drupal nabízí pluginy nebo vestavěné nástroje pro automatické generování sitemap.xml. Tyto nástroje obvykle aktualizují vaši sitemapu pokaždé, když přidáte nový obsah.

2. Ruční vytvoření: Pro menší weby můžete sitemapu vytvořit ručně pomocí textového editoru a následně ji uložit jako XML soubor. V základu by měla sitemapa obsahovat URL adresy vašich stránek obalené v tagu <url> a umístěné v kořenovém tagu <urlset>, který je definovaný ve jmenném prostoru http://www.sitemaps.org/schemas/sitemap/0.9.

Příklad základní struktury sitemap.xml:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <url>
      <loc>http://www.vasweb.cz/</loc>
      <lastmod>2024-03-28</lastmod>
      <changefreq>daily</changefreq>
      <priority>1.0</priority>
   </url>
   <!-- Další URL adresy -->
</urlset>

Co je robots.txt a proč je důležitý

Soubor robots.txt je textový soubor umístěný v kořenovém adresáři vašeho webu, který řídí, jak vyhledávačové roboty procházejí vaše stránky. Umožňuje vám určit, které části vašeho webu mají být procházeny a které ne.

Jak vytvořit robots.txt

1. Uveďte uživatelské agentury: V souboru robots.txt můžete specifikovat pravidla pro konkrétní vyhledávačové roboty (uživatelské agentury) nebo použít * pro všechny roboty.

2. Použijte direktivy Allow a Disallow: Direktiva Allow určuje, které URL adresy mohou být procházeny, zatímco Disallow určuje, které adresy mají být vyloučeny. Pamatujte, že absence Disallow direktivy implicitně umožňuje přístup ke všemu.

3. Odkaz na sitemapu: Je dobrým zvykem přidat do souboru robots.txt odkaz na vaši sitemapu, aby vyhledávače snadno našly a prošly váš soubor sitemap.xml.

Příklad základního souboru robots.txt:

User-agent: *
Disallow: /soukromy/
Allow: /

Sitemap: http://www.vasweb.cz/sitemap.xml

Tímto způsobem vytvořené a správně konfigurované soubory sitemap.xml a robots.txt výrazně přispívají k lepší indexaci vašeho webu vyhledávači, což může vést k vyšší viditelnosti vašeho obsahu a lepšímu SEO výkonu. Je důležité pravidelně tyto soubory aktualizovat a přizpůsobovat jim, aby odrážely aktuální stav a strukturu vašeho webu.