Zbavte se na webu otravných robotů, vyžeňte je nástrojem go-away
Před 17 dny
Webové servery jsou čím dál více zatěžovány různými roboty, kteří se z nich snaží agresivně získat veškerý obsah. Nástroj go-away je jednoduchým řešením pro blokování přístupu robotů. Jak se nasazuje a co umí? Provozovatelé obsahových webů v poslední době hlásí větší množství přístupů zajímavých robotů – často to jsou roboti sbírající obsah pro různé AI modely a velmi často tito roboti nedodržují pravidla uvedená v souboru robots.txt.