avatar_alexsf

Зависимая «независимость» или как делаются заказные тесты антивирусов

Автор alexsf, 12-07-2014, 16:36

« назад - далее »

0 Пользователи и 1 гость просматривают эту тему.

alexsfTopic starter

Зависимая «независимость» или как делаются заказные тесты антивирусов
                                     
ЦитироватьДанная статья не об антивирусных компаниях и не для антивирусных компаний.
Статья — крик души разработчика, который видит, как в погоне за трафиком, деньгами и славой создается целая индустрия «независимых» тестов антивирусов, которая вводит в заблуждение миллионы потенциальных пользователей «тестируемых» продуктов.

Другими словами, статья — об абсурдности ситуации с тестами антивирусов, заполонившими интернет. Приложенный тест предоставлен для демонстрации абсурдности, его целью не является реклама или антиреклама каких-либо антивирусов.

Кто тестирует антивирусы?

Мировой рынок антивирусного ПО составляет около 16 млрд. долларов. Стремительный рост данного рынка порождает большое количество желающих получить свою выгоду, свой маленький кусочек большого пирога в виде трафика, денег или славы крутого тестера.

Благодаря этому, в интернете очень популярным стало такое занятие, как сравнительное тестирование антивирусов. Все мы слышали об именитые тестовых центрах, таких как VirusBulletin, AVComparatives, You are not allowed to view links. Register or Login. которые из года в год публикуют свои отчеты о том, какой антивирус лучше. Это западные тесты с хорошей репутацией, историей успеха и круглой суммой в чеке, если антивирусный вендор захочет увидеть свой продукт в списке тестируемых.

Обычным людям подобные тесты кажутся слишком далекими, не совсем понятными и, по широко распространённому мнению, заказными (бытует мнение, что у крупных тестовых центров есть спонсоры, которые и побеждают во всех тестах).

Поэтому, каждый, кто не боится копировать вирусы на свой компьютер и видит себя мало—мальски «хакером», считает долгом провести собственное НЕЗАВИСИМОЕ тестовое сравнение антивирусных программ. Мол: «Вот он я, простой человек, как и Вы, мне никто ничего не платит, и сейчас я Вам всем расскажу какой антивирус на самом деле самый лучший».

Результаты тестов публикуются в персональных блогах, на популярных форумах, выкладываются на YouTube и очень хорошо индексируются, быстро попадая на глаза максимальному количеству пользователей сети.

«Что плохого в таких тестах?» — спросите Вы. Давайте посмотрим вместе!

Проблема 1: Вендоро-зависимая подборка вирусов

Формально, тестеры-энтузиасты и многие тестовые центры действуют независимо, им никто не платит, и даже никто не просит показать тот или иной антивирус лучше остальных.

Предположим, я хочу провести сравнительный тест антивирусов. Что мне нужно для этого, кроме самих продуктов для сравнения? Очевидно, мне нужны зараженные файлы. Значит, я должен:

  1.  Найти готовую коллекцию вирусов либо
  2.  Собрать свою.

Чаще всего, тестеры выбирают свой путь. Как я узнаю, что какие-то файлы являются вирусами, если я не профессиональный вирусный аналитик? Правильно — с помощью антивируса, который я использую, к которому привык и доверяю.

В результате походов по многочисленным форумам, сборов архивов на различных ресурсах, я соберу коллекцию файлов, которые мой антивирус-фаворит определит, как вирусы, и буду использовать ее для дальнейшего тестирования. При этом меня не сильно волнует, на самом ли деле все файлы, которые определил мой антивирус, заражены, главное, что он сказал мне — этот файл — вирус.

Дальше, я беру продукты, начинаю проверять, что они найдут из сформированной базы вирусов. Какие результаты выдает подобный тест? Логика подсказывает нам, что с таким подходом, другие антивирусы на 100% справляются с задачей поиска вирусов в «частной» коллекции хуже. Объективен ли подобный тест? Нет.

Ещё хуже обстоят дела, если потом такие «чудо-коллекции» распространяются в сети, и на их основе проводится не один тест, а множество, да ещё и с возможностью воспроизведения результатов любым желающим, что добавляет такому тесту правдивости и повышает к нему доверие.

Проблема 2: Чистота вирусной коллекции

Практически все антивирусные программы обладают одним интересным свойством — видеть вирусы там, где их нет. Речь идет о ложных срабатываниях. От этого явления не застрахован ни один вендор. Иногда бывает, что такие детекты чистых файлов бывают очень неприятными для пользователей, даже трагичными (выход из строя программного обеспечения или всей системы).

Но бывает так, что антивирус срабатывает на какие-то абсолютно непонятные файлы. Это могут быть «битые файлы». Возможно, даже, там когда-то и был вирус, троян, но файл в силу обстоятельств повреждён и не работает, вирусные аналитики не могут запустить его и проанализировать его работу. Одним словом — мусор.

Возможны и другие варианты: разработчик добавил файл в базы ошибочно и, поскольку это не вызвало реакции со стороны общественности, детект так и остался в базах. Часто разработчики добавляют в базы «подозрительные» для аналитиков файлы, например зашифрованные EXE-файлы, логику работы которых понять не удалось.

В общем, так или иначе, вирусные коллекции изобилуют файлами, которые часто детектируются антивирусными программами, но при этом не являются вредоносными.

Далее следует ряд вопросов от пользователей: «Почему ваш антивирус не видит вирусы в этом файле, а другой антивирус видит?». Евгений Касперский в своё время сказал следующее по этому поводу: «Нам проще добавить детектирование таких файлов в свои вирусные базы, чем объяснять каждому любопытному пользователю, почему мы этого не сделали».

Это означает, что если один вендор использует принцип формирования баз «включаем все», а другой вендор отбирает только файлы, которые он на 100% считает вредоносным, в любительском тесте антивирус первого вендора явно будет «надежнее» продукта второго.

Проблема 3: Критерии оценки

Как оценить, какая антивирусная программа нашла больше вирусов в коллекции, а какая меньше. Сложно сосчитать, сколько вариантов таких оценок приходилось встречать в сети. Самые популярные:

    смотрим на статистику антивируса, сколько файлов он проверил и сколько из них определил, как вредоносные;
  предлагаем антивирусу удалить все найденные вирусы. После какого антивируса больше файлов осталось — тот значит нашёл меньше (ведь остальные же остались!);
    ещё одна вариация предыдущего метода: тестируемым антивирусом удаляем все зараженные файлы, затем то, что осталось проверяем эталонным продуктом в роли которого нередко выступают мульти-движковые антивирусные сканеры, например, VirusTotal.

Каждый из критериев выше, при близком рассмотрении, не выдерживает критики, а использование только одного из них создает то, что мы видим в сети сегодня.

Любитель-тестер:

    формирует вирусную коллекцию под свой антивирус,
    не разбирается содержанием данной коллекции,
    не разбирается с логикой детектирования угроз другими продуктами,
    выбирает удобный для себя критерий оценки антивирусов,
    включает запись экрана и... вуаля, тест готов!

Можно ли доверять таким тестам и тестерам? Вопрос риторический.

Демонстрация несостоятельности любительских тестов антивирусов

Чтобы не быть голословным и продемонстрировать Вам, как можно создать свой тест антивирусов и поставить на первое место ЛЮБОЙ антивирус, я специально взял 3 ТОП-продукта (Kaspersky Antivirus, Avast и ESET NOD32) на рынке антивирусов и украинский Zillya! Антивирус Бесплатный.

В любительских тестах Zillya!, как правило, поддается беспощадной критике и троллингу. Давайте посмотрим, как, используя любительский подход к тестированию, описанный выше, можно сделать ЛЮБОЙ антивирус самым надежным.

Смотрим, что у меня получилось:



Олег Сыч, технический директор You are not allowed to view links. Register or Login!.
Guests are not allowed to view images in posts, please You are not allowed to view links. Register or Login or You are not allowed to view links. Register or Login

Guests are not allowed to view images in posts, please You are not allowed to view links. Register or Login or You are not allowed to view links. Register or Login

Guests are not allowed to view images in posts, please You are not allowed to view links. Register or Login or You are not allowed to view links. Register or Login

В одни руки выдаем любой 1 ключ. Всего 1 любой ключ.

Следующий ключ не ранее, чем за 3 дня до окончания лицензии.

Есть Не активы для NS и NSBU на 90 дней

You are not allowed to view links. Register or Login

Из-за ввода санкций, слетают ключи НАВ, НИС, Н360 ставим Norton Security и пишем в личку запрос на ключ для NS. Этот ключ принимается многократно с использованием VPN.

NikNeim

Пару слов добавлю от себя.
Еще одна ошибка, на которую никто не обращает внимания.
Практически большинство антивирусных программ не дают скачивать архивы с вирусами, блокируют закачку.
Как в этом случае поступают "самозванцы"-тестеры? На время скачивания отключают защиту. Что получается?
Они во внутрь защищенной крепости (компьютер) сами впустили полчища врагов, и смотрят, а как будут себя вести защитники? А, защитники на сторожевых башнях (файервол), на стенах крепости (антивирус), внутри только тайная полиция (проактивка).
Ну, это я так, образно. Словом, в тестах энтузиастов нарушается привычная работа антивирусной программы.

alexsfTopic starter

You are not allowed to view links. Register or Login

4aa 4aa 4aa

А потом сразу вывод - плохой антивирус. На все тесты смотрю больше из интереса.
Одни статьи заказные, вторые проведены дилетантами.
Пока использую свой опыт работы с АВ.
Guests are not allowed to view images in posts, please You are not allowed to view links. Register or Login or You are not allowed to view links. Register or Login

Guests are not allowed to view images in posts, please You are not allowed to view links. Register or Login or You are not allowed to view links. Register or Login

Guests are not allowed to view images in posts, please You are not allowed to view links. Register or Login or You are not allowed to view links. Register or Login

В одни руки выдаем любой 1 ключ. Всего 1 любой ключ.

Следующий ключ не ранее, чем за 3 дня до окончания лицензии.

Есть Не активы для NS и NSBU на 90 дней

You are not allowed to view links. Register or Login

Из-за ввода санкций, слетают ключи НАВ, НИС, Н360 ставим Norton Security и пишем в личку запрос на ключ для NS. Этот ключ принимается многократно с использованием VPN.

NikNeim

You are not allowed to view links. Register or Login

асолютно согласен.
Еще добавлю ложку дегтя.
Ну, скачал этот энтузиаст кучку новейших вирусов. Начал "тестировать" (специально беру в кавычки) антивирус. Для этого нужно немало времени, потом же и проверить остаток или MBAM-ом, или Hitmаn-ом, потом и скрины нужно сделать. И, если тестируется пять антивирусов, к примеру, то кто знает, что последний из тестируемых не "хватанет" из облака уже готовые "вакцины" против этих свежих вирусов?...
Ведь, большинство антивирусных программ сейчас переходят в "облако", и, при отключенном интернет-соединении, становятся неэффективными.
Вот и будет разница между первым протестируемым и последним.

🡱 🡳

* Ваши права в разделе

  • Вы не можете создавать новые темы.
  • Вы не можете отвечать в темах.
  • Вы не можете прикреплять вложения.
  • Вы не можете изменять свои сообщения.