Comments on: Walka z bot-wiatrakami… http://marcin.kleczek.com/walka-z-bot-wiatrakami_web.html Szaro na białym Mon, 26 Dec 2011 09:41:20 +0000 hourly 1 http://wordpress.org/?v=3.3.1 By: MaKARON http://marcin.kleczek.com/walka-z-bot-wiatrakami_web.html/comment-page-1#comment-68 MaKARON Thu, 15 May 2008 10:10:10 +0000 http://marcin.kleczek.com/walka-z-bot-wiatrakami_php.html#comment-68 Hm.. innego rodzaju boty mam na myśli - ja nie mam nic przeciwko botom google, msn, yahoo i innych - ale są "content stealery", które pobierają treść strony i później uruchamiają kopię - dodatkowo robią to metodą "brute" (czyli np 30 pobrań strony na sekundę) - chodzi o blokowanie tego typu zachowań. Większość tego typu rzeczy jednocześnie podaje się za IE lub FF. A rel="nofollow" można w ich przypadku wstawić między bajki :-) Hm.. innego rodzaju boty mam na myśli – ja nie mam nic przeciwko botom google, msn, yahoo i innych – ale są “content stealery”, które pobierają treść strony i później uruchamiają kopię – dodatkowo robią to metodą “brute” (czyli np 30 pobrań strony na sekundę) – chodzi o blokowanie tego typu zachowań. Większość tego typu rzeczy jednocześnie podaje się za IE lub FF. A rel=”nofollow” można w ich przypadku wstawić między bajki :-)

]]> By: Nowaker http://marcin.kleczek.com/walka-z-bot-wiatrakami_web.html/comment-page-1#comment-67 Nowaker Thu, 15 May 2008 09:55:09 +0000 http://marcin.kleczek.com/walka-z-bot-wiatrakami_php.html#comment-67 Ja prawdę mówiąc nie walczyłem nigdy z botami z takiego powodu, iż uważam ich bardziej za przyjaciół, niż wrogów. Jednak co do rozwiązań to poszukałbym w Internecie list IP, jakie posiadają popularne boty (są gdzieś takie) i dla tych IP stosował mocniejsze kryteria (np. mniejsza dozwolona liczba połączeń na minutę). Część botów nie robi sobie niczego z robots.txt i rel="nofollow", ale mimo wszystkie przedstawia się jako robot. Dlatego kontrolę User-agent też bym zrobił. W frameworku KohanaPHP jest gotowa funkcja is_robot(), nie trzeba więc pisać samemu tylko zaadaptować sobie stamtąd. Ja prawdę mówiąc nie walczyłem nigdy z botami z takiego powodu, iż uważam ich bardziej za przyjaciół, niż wrogów.

Jednak co do rozwiązań to poszukałbym w Internecie list IP, jakie posiadają popularne boty (są gdzieś takie) i dla tych IP stosował mocniejsze kryteria (np. mniejsza dozwolona liczba połączeń na minutę).

Część botów nie robi sobie niczego z robots.txt i rel=”nofollow”, ale mimo wszystkie przedstawia się jako robot. Dlatego kontrolę User-agent też bym zrobił. W frameworku KohanaPHP jest gotowa funkcja is_robot(), nie trzeba więc pisać samemu tylko zaadaptować sobie stamtąd.

]]>