http://expert.ru/2014/01/21/botov-v-seti-stalo-bolshe-chem-lyudej/
Москва, 26 янв, воскресенье
Александр Лабыкин «Expert Online» , 21 янв 2014, 21:25
Согласно исследованию, мировой интернет трафик более чем наполовину обеспечивается роботами. Продолжение галопирующего роста бот-активности может вскоре привести к дезориентации пользователей интернета
Очередные исследования компании Incapsula показали, что количество трафика, генерируемого интернет-роботами (ботами), по сравнению с прошлым годом выросло до 61,5% с 49% годом ранее. Это означает, что все больше контента с сети создается не людьми, а веб-автоматами. Специалисты считают, что пока большого вреда от этого нет, но темпы роста уже заставляют задуматься о возможных последствиях. К инфраструктурным издержкам провайдеров это не приведет, поскольку «мертвые» сайты удаляются серверов, а за действующие, так же как и трафик ботов, платят те, кто их генерируют. Другое дело, что боты все чаще становятся инструментом для причинения вреда сайтам конкурентов, что возможно потребует и дополнительного законодательного регулирования. Кроме того, дальнейшее размножение и увеличение активности ботов может превратить интернет в эрзац-сеть, захламленную клонированным не обновляемым контентом, дезориентирующим пользователя.
О пользе…

За год активность интернет ботов выросла с 20% до 31%. Главным образом это связано с совершенствованием и углублением поисковых программ и развитием технологий SEO-оптимизации, которыми пользуются все больше владельцев сайтов.

«Мы часто фиксируем активизацию новых SEO-сервисов, которые индексируют сайты с активностью 30-50 посещений в день», - говорится в отчете компании Incapsula.

«Основная доля роста связана с увеличением трафика поисковых систем, индексирующих другие сайты. Поисковые системы не вредят пользователям, а рост этого трафика компенсируется постоянными инвестициями поисковых компаний в развитие собственной сетевой инфраструктуры и их связности с провайдерами», - пояснил «Эксперт Online» Владимир Иванов, заместитель руководителя департамента эксплуатации компании «Яндекс».

Исследование длилось 90 дней, в течение которых компания зафиксировала 1,45 млрд посещений ботов на более чем 20 тысячах сайтов. В итоге по сравнению с прошлогодним исследованием была установлена возросшая роль именно безобидных ботов, которые стали на 55% более активны. В основном это программы, которые индексируют контент для его автоматического воспроизводства, но чаще – для последующего анализа специалистами или архивации.
Реклама

«Рост числа ботов связан с несколькими причинами. Во-первых, выросло число сайтов, нацеленных на анализ контента или его копирайт, в том числе анализ поведения и предпочтения пользователей, - сообщил «Эксперт Online» Сергей Голованов, ведущий антивирусный эксперт «Лаборатории Касперского». - Во-вторых, это связано с совершенствованием ботов от поисковиков, которые глубже анализируют контент. И это положительная тенденция, поскольку позволяет пользователю быстрее находить нужный ему и актуальный контент. Некоторые сайты могут аккумулировать у себя множество собранной информации, структурировать ее, экономя время пользователей».

Как поясняют в пресс-службе «Яндекса, визит поисковых роботов дает меньшую нагрузку на сайт, чем обычное посещение пользователя (прямое открытие страницы в браузере требует загрузки с сервера CSS, JavaScript и всех картинок). Кроме того, «Яндекс» поддерживает директиву crawl delay в robots.txt, с помощью которой вебмастер может задать приемлемое количество запросов к серверу в секунду со стороны поискового робота.
Сергей Комаров, руководитель отдела антивирусных разработок и исследований «Доктор Веб» считает, что увеличение бот-трафика связано большей частью с развитием в сети сферы услуг.

«Увеличение числа и трафика не вредоносных ботов говорит о том, что в интернет, как и в реальной жизни, в странах, культивирующих общество потребления, на первый план выходит сфера обслуживания, деятельность, приносящая доход без производства. То есть, это совершенно естественные тенденции. И ужасаться не следует, если вы не философ или социолог», - считает эксперт.


…И вреде



Согласно исследованию, активность вредоносных ботов сократилась. Программы, распространяющие спам за год стали менее активны на 75%. Но не факт, что это полностью положительная тенденция:
«Уменьшение спама связано с тем, что многие его генераторы попросту осваивают новые, более цивилизованные способы продвижения рекламы, большей частью – мигрируют в социальные сети, - говорит Сергей Голованов. - И это вызывает у нас серьезную озабоченность: социальные сети как стена: нам не видно, что за ней происходит, то есть какой зараженный контент пользователи друг другу передают. Соответственно, трудно проанализировать, насколько далеко все это может зайти и к каким последствиям приведет».

В среднем же активность «вредоносных» ботов выросла на 8%. Их доля в общем объеме трафика составляет 30%. В основном это те же спам-боты, хакерские программы, сканеры портов, ворующие информацию и персональные данные пользователей. При этом в Incapsula отмечают, что криминальные и просто нелегальные боты стали более сегментированы: одни воруют информацию, другие распространяют вирусы и так далее.

«Мы видим два основных негативных влияния нелегальных ботов - это создание повышенной нагрузки на веб-сайт, - поделился с «Эксперт Online» Александр Рожнов, директор по интернет-бизнесу компании «Белый Ветер». - Вторая немаловажная проблема - это воровство контента с сайта. Например, такие боты могут достаточно быстро создавать клоны вашего сайта. Это приводит к тому, что поисковая система может понизить ваш сайт в органической выдаче, за счет чего уменьшается количество переходов с поисковых систем».

Вредоносные программы продолжают оставаться проблемой для многих пользователей, особенно для владельцев сайтов, построенных на готовых движках. Таковые более уязвимы, поэтому хакеры продолжают с помощью вредоносных программ устраивать через них DDos-атаки, что усложняет работу и владельцам сайтов, и провайдерам, у которых забиваются каналы связи.

«Такие атаки с помощью вредоносных ботов затрудняют доступ к другим сайтам, так или иначе связанным с атакуемым. Поэтому провайдеры, не имеющие мощных фильтров, нередко теряют клиентов, - говорит Сергей Голованов. - Вредоносные боты «цепляют» и на баннерную сеть, используемую и крупными информационными порталами. Это чаще всего делают хакеры для поиска компьютеров, через которые происходят контакты с банками – для последующего их взлома. Поэтому многие компании стараются отслеживать зараженные баннерные сети и блокируют их, что опять же создает проблемы владельцам сайтов и их пользователям. Не думаю, что эта тенденция снизится».

Руководитель пресс-службы группы компаний «Связной» Мария Заикина уверена, что не только криминальные программы, но и просто нелегальные боты будут и впредь представлять опасность, особенно для интернет-бизнеса:
«Если же говорить о нелегальных ботах, собирающих информацию или создающих неблагоприятные условия для работы сайта, то рост трафика от них может привести к негативным последствиям для любого онлайн-ресурса, в том числе и для интернет-магазинов. Сайт станет медленнее работать (что отразится на итоговой посещаемости), владельцы ресурса будут получать некорректную статистику, на основании которой строятся продвижение и дальнейшая стратегия развития сайта. Следовательно, будут искажаться выводы об активности пользователей. Рост количества нелегальных ботов может также привести к накрутке статистики различных ресурсов с выводом их на более высокие строчки поисковиков. Результатом действий нелегальных ботов может стать неработающий сайт со всеми вытекающими для бизнеса последствиями», - прогнозирует Мария Заикина.

По ее мнению, такая тенденция может потребовать уточнений или изменений в действующих законах, относящихся к веб-пространству.

Но есть и иное мнение:
«Я не считаю, что ситуация со зловредными бот-сетями сейчас критическая, - говорит Владимир Иванов. - Безусловно, таких сетей немало, и некоторые из них очень велики и могут насчитывать сотни тысяч или миллионы зараженных компьютеров. Но в этом нет ничего нового: такие сети существуют уже несколько лет, и то же исследование показывает, что в последнее время заметна тенденция снижения некоторых видов зловредного трафика. Скорее всего, с переходом пользователей на более защищенные платформы, чем ранние версии Windows (для которых в связи с прекращением срока поддержки перестали выходить исправления ошибок безопасности), эта тенденция к снижению части зловредного трафика будет продолжаться».
Будущее за клонами?



Пока что большинство экспертов видят все предпосылки к тому, что доля «неживого» трафика будет расти с каждым годом:
«С развитием "интернета вещей" логично ожидать продолжения роста доли трафика, создаваемого не людьми, а автоматизированными системами. Это естественный и закономерный процесс», - говорит Владимир Иванов.

С этим трендом некоторые связывают и усиление уже существующих угроз. Например, генерация заказов в интернет-магазинах может стать орудием в руках конкурентов для того, чтобы «завалить сайт».

«Мы прогнозируем, что доля трафика, который производят боты, будет увеличиваться в дальнейшем, - говорит Мария Заикина. - Причем имеется в виду как трафик, генерируемый поисковиками, так и не совсем легальный. Для разработчиков поисковых систем существует необходимость увеличивать частоту обновления информации, поэтому они будут наращивать долю трафика со своей стороны. Но найдутся и те, кто будет генерировать нелегальный интернет-трафик, причем здесь могут появляться все более «умные» боты, которые будут выполнять не только ряд простейших действий с сайтом (зайти-считать-передать информацию с сайта), но и выбирать товар по определенным критериям и делать заказы».

К менее очевидным, но не менее неприятным последствиям может привести и рост доли безобидного трафика:
«Если число не вредоносных ботов будет увеличиваться в дальнейшем, значит, будет больше «бездумных» копий контента в интернете, - считает Сергей Голованов. - В итоге интернет будет захламлен клонами контента, что, конечно же, пользователям только навредит: в сети будет много не обновляемой или искаженной информации. Увеличение бот-активности в дальнейшем будет создавать неудобства только пользователям и владельцам сайтов, поскольку придется все больше уделять внимания системам защиты. Провайдеры от увеличения трафика в сети только выиграют, поскольку он оплачивается самим генераторами ботов. Брошенные сайты снимаются с хостинга, поэтому основное неудобство будет только от поддерживаемого владельцами «клонируемого» контента, актуальность которого трудно проверить или найти первоисточник. Так что к инфраструктурным рискам засилье ботов не приведет, только к пользовательским».

Справка:

Как боты и люди «поделили» между собой трафик веб-сайтов (согласно отчету Incapsula от 2013 года):
- 4,5% - хакерские утилиты поп поиску уязвимостей;
- 5% - программы-скраперы (сбор различной информации с веб-сайта);
- 0,5% - автоматизированные сообщения, содержащие спам;
- 20,5 – прочие подражатели (копирование контента, шпионские программы конкурентов)
- 31% - безобидный трафик, генерируемый поисковыми системами и SEO-оптимизаторами;
- 38,5% - трафик, который генерируется пользователями.