# https://techleads.fyi robots.txt
User-agent: *
Allow: /
Allow: /lookup/
Allow: /embed
Allow: /list
Allow: /technology/
Allow: /blog
Allow: /blog/
Allow: /kb
Allow: /kb/
Allow: /de/lookup/
Allow: /de/embed
Allow: /de/list
Allow: /de/technology/
Allow: /de/blog
Allow: /de/blog/
Allow: /de/kb
Allow: /de/kb/
Allow: /fr/lookup/
Allow: /fr/embed
Allow: /fr/list
Allow: /fr/technology/
Allow: /fr/blog
Allow: /fr/blog/
Allow: /fr/kb
Allow: /fr/kb/
Allow: /es/lookup/
Allow: /es/embed
Allow: /es/list
Allow: /es/technology/
Allow: /es/blog
Allow: /es/blog/
Allow: /es/kb
Allow: /es/kb/
Allow: /it/lookup/
Allow: /it/embed
Allow: /it/list
Allow: /it/technology/
Allow: /it/blog
Allow: /it/blog/
Allow: /it/kb
Allow: /it/kb/
Allow: /ru/lookup/
Allow: /ru/embed
Allow: /ru/list
Allow: /ru/technology/
Allow: /ru/blog
Allow: /ru/blog/
Allow: /ru/kb
Allow: /ru/kb/
Allow: /ko/lookup/
Allow: /ko/embed
Allow: /ko/list
Allow: /ko/technology/
Allow: /ko/blog
Allow: /ko/blog/
Allow: /ko/kb
Allow: /ko/kb/
Allow: /ja/lookup/
Allow: /ja/embed
Allow: /ja/list
Allow: /ja/technology/
Allow: /ja/blog
Allow: /ja/blog/
Allow: /ja/kb
Allow: /ja/kb/
Allow: /zh-CN/lookup/
Allow: /zh-CN/embed
Allow: /zh-CN/list
Allow: /zh-CN/technology/
Allow: /zh-CN/blog
Allow: /zh-CN/blog/
Allow: /zh-CN/kb
Allow: /zh-CN/kb/
Allow: /ar/lookup/
Allow: /ar/embed
Allow: /ar/list
Allow: /ar/technology/
Allow: /ar/blog
Allow: /ar/blog/
Allow: /ar/kb
Allow: /ar/kb/
Allow: /pt-BR/lookup/
Allow: /pt-BR/embed
Allow: /pt-BR/list
Allow: /pt-BR/technology/
Allow: /pt-BR/blog
Allow: /pt-BR/blog/
Allow: /pt-BR/kb
Allow: /pt-BR/kb/
Disallow: /api/
Disallow: /dashboard/

# Sitemap index (chunked urlsets at /sitemap/0.xml …)
Sitemap: https://techleads.fyi/sitemap.xml
Sitemap: https://techleads.fyi/sitemap-kb-lang.xml
Sitemap: https://techleads.fyi/sitemap-blog-lang.xml
Sitemap: https://techleads.fyi/sitemap-techs-lang.xml
Sitemap: https://techleads.fyi/sitemap-content.xml