Informacje o naszym crawlerze

O CMSAnalyzerBot

CMSAnalyzerBot to przyjazny crawler (robot internetowy) używany przez naszą aplikację do wykrywania technologii webowych. Nasz bot skanuje strony internetowe w celu identyfikacji używanych systemów CMS, frameworków, bibliotek i innych technologii.

Identyfikacja

Nasz bot identyfikuje się następującym ciągiem User-Agent:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; CMSAnalyzerBot/1.0; +https://cmsanalyzer.pl/bot.php)

Częstotliwość crawlowania

CMSAnalyzerBot odwiedza strony tylko na żądanie użytkowników naszej aplikacji. Nie prowadzimy automatycznego, regularnego crawlowania stron.

Poszanowanie robots.txt

Nasz bot respektuje zasady określone w pliku robots.txt każdej strony. Jeśli Twoja strona zabrania dostępu botom, CMSAnalyzerBot nie będzie jej skanował.

Możesz w pliku robots.txt dodać:

Disallow: /
User-agent: CMSAnalyzerBot

Wpływ na wydajność

CMSAnalyzerBot został zaprojektowany tak, aby minimalizować obciążenie skanowanych serwerów. Wykonujemy tylko jedno żądanie HTTP do strony głównej witryny. Stąd robaczek w logo, aby zasygnalizować, że nieprędko się porusza, ale jest pożyteczny niczym dżdżownica użyźniająca glebę ;)

Prywatność i bezpieczeństwo

Szanujemy prywatność i bezpieczeństwo skanowanych stron. Nie gromadzimy ani nie przechowujemy żadnych poufnych informacji. Analizujemy tylko publicznie dostępne dane.

Kontakt

Jeśli masz jakiekolwiek pytania lub wątpliwości dotyczące naszego bota, prosimy o kontakt: