Система и способ расчета интервала повторного определения категорий сетевого ресурса

Изобретение относится к информационной безопасности. Технический результат заключается в снижении нагрузки на вычислительные ресурсы при определении категории сетевого ресурса. Способ расчета интервала повторного определения категорий содержимого сетевого ресурса, в котором а) анализируют содержимое сетевого ресурса, при этом анализируют содержимое отдельных страниц упомянутого сетевого ресурса; ссылки между отдельными страницами упомянутого сетевого ресурса; ссылки на другие сетевые ресурсы; б) определяют на основании результатов анализа по меньшей мере две категории содержимого упомянутого сетевого ресурса, при этом первая категория определяется как безопасная или небезопасная, вторая категория определяется как нежелательная для просмотра пользователями или нейтральная по содержимому; в) выполняют этапы "а" и "б" по меньшей мере еще один раз; г) на основании категорий, определенных на этапах "а", "б" и "в", вычисляют вероятность изменения по меньшей мере одной категории содержимого упомянутого сетевого ресурса; д) на основании вычисленной вероятности изменения категорий содержимого рассчитывают интервал повторного определения категорий содержимого упомянутого сетевого ресурса. 2 н. и 2 з.п. ф-лы, 3 ил.

 

Область техники

Изобретение относится к решениям для определения категорий сетевого ресурса, а более конкретно к системам и способам расчета интервала повторного определения категорий сетевого ресурса.

Уровень техники

В настоящее время в интернете существует огромное количество сайтов. Среди этих сайтов часть содержит различные материалы, которые могут содержать как данные, нежелательные для просмотра детьми и даже взрослыми лицами, так и различное вредоносное программное обеспечение, а также различные механизмы мошенничества и введения пользователя в заблуждение, другими словами - фишинг (англ. phishing). Задача структурирования схожих страниц по темам, формирования обобщающих, классифицирующих категорий называется категоризацией. После определения категорий сайта или сетевого ресурса можно использовать информацию о категории с целью защиты пользователей от фишинга или нежелательной информации. Например, антивирусное программное обеспечение может предупреждать пользователя о нежелательном содержимом на запрашиваемом сайте или же вовсе автоматически блокировать отображение сайта.

Стоит отметить, что в зависимости от объема данных сетевого ресурса процесс категоризации может продолжаться долгое время и требовать значительных системных ресурсов. В том случае, если происходит глубокий анализ, обрабатывается каждая ссылка на сетевом ресурсе, проверяются взаимосвязи с другими ресурсами, анализируется содержимое, даже у облачного сервиса категоризации могут возникать проблемы с производительностью.

Кроме этого, значительная часть сайтов постоянно обновляется, что делает необходимым проводить повторное определение категорий содержимого этих сайтов постоянно или с каким-либо интервалом. Особенно часто обновляются сайты, которые содержат новости. Их содержимое постоянно меняется, встречаются категории, содержащие жестокость, информацию об оружии или терроризме, информацию о курении или алкоголе, а в некоторых случаях - интимные данные, нежелательные для просмотра детьми. Часто, например, также меняются категории на сайтах развлечений. Стоит отметить, что популярны и методы взлома популярных сайтов, когда злоумышленник оставляет на сайте вредоносное программное обеспечение или механизм фишинга, поэтому анализ безопасности содержимого для доверенных популярных сайтов также необходимо проводить повторно.

Таким образом, постоянный глубокий анализ категорий для сетевого ресурса является трудоемким процессом, и необходимо решение для снижения нагрузки на системные ресурсы при категоризации содержимого сетевого ресурса.

Сама идея категоризации сетевых ресурсов не нова. Так, заявка US 8751514 описывает систему категоризации сайтов. Категорированные сайты хранятся в базе данных, не категорированные анализируются и добавляются в базу данных. Сервисы, предоставляющие доступ к сетевым ресурсам, обращаются к базе данных с целью фильтрования нежелательного содержимого для пользователя. Возможно участие человека в процессе категоризации.

Заявка US 7953969 описывает метод категоризации сайтов для минимизации ложных срабатываний (англ. false positives) при оценке репутации интернет-ресурсов. Допускается участие человека для переопределения категории содержимого.

Описываемые способы позволяют категорировать данные на сетевых ресурсах, но не учитывают изменчивость содержимого и не обеспечивают снижение нагрузки на системные ресурсы при проведении категоризации сетевых ресурсов.

Предлагаемая система и способ позволяют снизить нагрузку на системные ресурсы при проведении категоризации содержимого сетевых ресурсов, а именно: рассчитывать интервал повторного определения категорий сетевого ресурса в зависимости от вредоносности и изменчивости категорий, определенных для сетевого ресурса.

Сущность изобретения

Технический результат настоящего изобретения заключается в снижении нагрузки на вычислительные ресурсы при определении категории безопасного сетевого ресурса. Технический результат достигается путем использования системы и способа расчета интервала повторного определения категорий сетевого ресурса.

Согласно одному из вариантов реализации предоставляется способ расчета интервала повторного определения категорий сетевого ресурса, в котором: определяют, по меньшей мере, одну категорию содержимого, по меньшей мере, одного сетевого ресурса; выполняют определение категории содержимого сетевого ресурса, по меньшей мере, еще один раз; на основании определенных категорий вычисляют вероятность изменения, по меньшей мере, одной категории, по меньшей мере, одного сетевого ресурса; на основании вычисленной вероятности изменения категорий сетевого ресурса рассчитывают интервал повторного определения, по меньшей мере, одной категории содержимого, по меньшей мере, одного сетевого ресурса.

Согласно одному из частных вариантов реализации категория сетевого ресурса может быть определена как безопасная и небезопасная.

Согласно другому частному варианту реализации, если сетевой ресурс содержит вредоносное программное обеспечение или фишинговые механизмы сетевому, сетевому ресурсу определяется небезопасная категория, а в противном случае сетевому ресурсу определяется безопасная категория.

Согласно еще одному частному варианту реализации категория сетевого ресурса может быть определена как нежелательная и нейтральная.

Согласно еще одному частному варианту реализации, если сетевой ресурс содержит информацию, содержание которой может быть нежелательно для различных групп пользователей ресурса, сетевому ресурсу определяется нежелательная категория, а в противном случае сетевому ресурсу определяется нейтральная категория.

Согласно еще одному частному варианту реализации вероятность определения нежелательной категории сетевого ресурса вычисляется отношением длительности времени определения нежелательной категории сетевого ресурса к общему времени наблюдения за сетевым ресурсом.

Согласно еще одному частному варианту реализации предоставляется система расчета интервала повторного определения категорий сетевого ресурса, которая включает в себя: средство определения категорий сетевого ресурса, которое определяет, по меньшей мере, одну категорию содержимого, по меньшей мере, одного сетевого ресурса; средство вычисления вероятности изменения категорий сетевого ресурса, которое на основании определенных ранее категорий средством определения категорий сетевого ресурса вычисляет вероятность изменения, по меньшей мере, одной категории, по меньшей мере, одного сетевого ресурса; средство расчета интервала повторного определения категорий сетевого ресурса, которое на основании вероятности изменения категорий сетевого ресурса, вычисленной средством вычисления вероятности изменения категорий сетевого ресурса, рассчитывает интервал повторного определения, по меньшей мере, одной категории содержимого, по меньшей мере, одного сетевого ресурса.

Краткое описание чертежей

Дополнительные цели, признаки и преимущества настоящего изобретения будут очевидными из прочтения последующего описания осуществления изобретения со ссылкой на прилагаемые чертежи, на которых:

Фиг. 1 изображает структуру системы расчета интервала повторного определения категорий сетевого ресурса.

Фиг. 2 отображает алгоритм работы системы расчета интервала повторного определения категорий сетевого ресурса.

Фиг. 3 представляет пример компьютерной системы общего назначения, на которой может быть реализовано настоящее изобретение.

Описание вариантов осуществления изобретения

Объекты и признаки настоящего изобретения, способы для достижения этих объектов и признаков станут очевидными посредством отсылки к примерным вариантам осуществления. Однако настоящее изобретение не ограничивается примерными вариантами осуществления, раскрытыми ниже, оно может воплощаться в различных видах. Сущность, приведенная в описании, является ничем иным, как конкретными деталями, обеспеченными для помощи специалисту в области техники в исчерпывающем понимании изобретения, и настоящее изобретение определяется только в объеме приложенной формулы.

Фиг. 1 отображает структуру системы расчета интервала повторного определения категорий сетевого ресурса.

Средство определения категорий сетевого ресурса 110 определяет категорию содержимого сетевого ресурса. В процессе обработки сетевой ресурс может проверяться различными способами. Например, могут использоваться известные модули антивирусной или антифишинговой проверки. При этом антивирусная проверка может осуществляться, например, с использованием сигнатурного анализа, антифишинговая проверка может анализировать поведение активных элементов управления (например, окон ввода информации). В результате проверки определяется набор категорий сетевого ресурса, которые отражают классификацию содержимого сетевого ресурса.

В одном из вариантов реализации средство определения категорий сетевого ресурса 110 может функционировать на сетевом сервере или в качестве облачного сервиса. В другом варианте реализации средство определения категорий сетевого ресурса 110 может работать на компьютере или мобильном устройстве конечного пользователя. При этом в зависимости от размещения средство определения категорий сетевого ресурса 110 определяет категории сетевого ресурса различными способами. Например, если средство определения категорий сетевого ресурса 110 работает на компьютере пользователя, оно анализирует адрес сетевого ресурса, название сетевого ресурса и метатеги, которые используются для хранения информации, предназначенной для браузеров и поисковых систем. Метатеги, как правило, указываются в заголовке HTML-документа и могут содержать, например, информацию об авторе сетевого ресурса, частоте его обновлений. Если средство определения категорий сетевого ресурса 110 работает в качестве облачного сервиса, происходит полный анализ содержимого сетевого ресурса с целью определения известных категорий. Анализируется содержимое отдельных страниц сетевого ресурса, ссылки между отдельными страницами сетевого ресурса, а также ссылки на другие сетевые ресурсы. В общем случае категории могут быть определены как опасные (способные нанести вред компьютеру или данным пользователя) или безопасные, не желательные для просмотра пользователями (содержат сцены насилия или информацию о наркотиках) или нейтральные по содержимому (подходящие для просмотра любым пользователям). При этом на устройстве пользователя категории определяются при каждом обращении к сетевому ресурсу.

В одном из вариантов реализации средство определения категорий сетевого ресурса 110, работающее на компьютере пользователя, может получать категории сетевого ресурса от средства определения категорий сетевого ресурса 110, работающего на сервере или в качестве облачного сервиса. При этом если категории, определенные сервером, отличаются от категорий, определенных на локальном компьютере, верными считаются категории, определенные на сервере.

В одном из вариантов реализации средство определения категорий сетевого ресурса 110 сохраняет данные о сетевых ресурсах в базе данных. Данные могут содержать:

- идентификатор ресурса;

- время наблюдения (момент времени, в который были определены категории);

- категории ресурса.

Результаты каждой проводимой категоризации сетевого ресурса попадают в базу данных, при этом они представляют собой историю изменений категорий сетевого ресурса.

В одном из вариантов реализации средство определения категорий сетевого ресурса 110 работает как в качестве облачного сервиса, так и на устройстве конечного пользователя. При возникновении ситуации, когда категории одного сетевого ресурса, определенные устройством пользователя, многократно отличаются от категорий, определенных облачным сервисом (например, количество несовпадений категорий превышает заданный порог за промежуток времени), можно предположить, что категории сетевого ресурса изменились. В этом случае возможно инициирование полной проверки сканирования сетевого ресурса средством определения категорий сетевого ресурса 110, работающим в качестве облачного сервиса.

В общем случае реализации в зависимости от категорий сетевого ресурса он может быть признан безопасным и небезопасным. Например, если сетевой ресурс был признан вредоносным в результате проверки антивирусным или антифишинговым модулем, то добавляются категории «вредоносное программное обеспечение» или «фишинг», при этом ресурс считается небезопасным.

Кроме этого выделяется набор категорий, отражающих наличие информации на ресурсе, содержание которой может быть нежелательно для различных групп пользователей ресурса. Этот набор может быть выделен, например, при участии экспертов. Обычно такими категориями являются:

- интимное содержимое с ограничениями по возрасту;

- алкоголь, табак, наркотики;

- жестокость;

- ненормативная лексика;

- оружие.

Для сетевого ресурса можно определить два состояния: «0» - нежелательная категория отсутствует, «1» - нежелательная категория присутствует.

Средство вычисления вероятности изменения категорий сетевого ресурса 120 на основании истории наблюдения, полученной от средства определения категорий сетевого ресурса 110, рассчитывает вероятность изменения категорий сетевого ресурса. Для двух возможных состояний вероятность перехода из одного состояние в новое определяется отношением времени пребывания в новом состоянии к общему времени наблюдения работы сетевого ресурса, а именно:

где:

Р0 - вероятность перехода сетевого ресурса в состояние «0»;

Р1 - вероятность перехода сетевого ресурса в состояние «1»;

Т0 - суммарное время пребывания сетевого ресурса в состоянии «0»;

Т1 - суммарное время пребывания сетевого ресурса в состоянии «1».

Для подсчета вероятностей используются данные определения категорий сетевого ресурса, предоставленные средством определения категорий сетевого ресурса 110. Текущее состояние используется для определения того, на какую вероятность опираться при расчете интервала повторного определения категорий сетевого ресурса. В общем случае реализации используется правило: учитывается вероятность перехода в противоположное состояние. Например, если последнее состояние сетевого ресурса «1», то нужно учитывать вероятность перехода ресурса в состояние «0» и наоборот. Например, если за сетевым ресурсом проводилось наблюдение в течение 1000 часов, и при этом ресурс содержал нежелательные категории всего 100 часов, то вероятность перехода в новое состояние считается следующим образом.

Если ресурс в текущий момент не содержит нежелательные категории, то вероятность перехода в состояние с нежелательными категориями

Средство расчета интервала повторного определения категорий сетевого ресурса 130 на основании вероятности изменения состояния, вычисленной средством вычисления вероятности изменения категорий, рассчитывает интервал повторного определения категорий (время, которое должно пройти до повторного определения категорий) сетевого ресурса по формуле:

где:

Tmax - максимальный интервал повторного определения категорий сетевого ресурса (например, 2 недели);

Tmin - минимальный интервал повторного определения категорий сетевого ресурса (например, 1 час);

K - предельный коэффициент разнообразия, который можно выбирать, например, эмпирически при запуске настоящей системы, и который означает, что при вероятности изменения категорий более K всегда выбирается минимальный интервал повторного определения категорий ресурса (в общем случае K=0.3);

Р - вероятность перехода в противоположное состояние.

Следует отметить, что в общем варианте реализации интервал повторного определения категорий сетевого ресурса ограничен максимальным и минимальным пороговыми значениями. Например, минимальный интервал - 1 час, максимальный интервал - 2 недели. Для небезопасных ресурсов интервал повторного определения категорий равен минимально возможному интервалу.

Рассчитанный интервал повторного определения категорий сетевого ресурса средство расчета интервала повторного определения категорий сетевого ресурса 130 передает средству определения категорий сетевого ресурса 110, которое по истечению рассчитанного интервала выполняет повторное определение категорий сетевого ресурса.

Например, если за сетевым ресурсом проводилось наблюдение в течение 1000 часов и при этом ресурс содержал нежелательные категории всего 100 часов и в настоящее время не содержит нежелательные категории, то вероятность перехода в противоположное состояние равна 0.1, а следовательно, интервал очередного определения категорий рассчитывается таким образом:

Фиг. 2 отображает алгоритм работы системы расчета интервала повторного определения категорий сетевого ресурса.

На начальном этапе 210 происходит добавление сетевого ресурса в базу данных с помощью средства определения категорий сетевого ресурса ПО и определение его категории 220 с использованием средства определения категорий сетевого ресурса 110. При этом назначается минимально возможный интервал определения категорий ресурса, чтобы быстро определить изменчивость категорий. После второго определения категорий можно делать вывод об изменчивости категорий на основе статистики определения категорий и рассчитывать интервал следующего определения категорий.

На этапе 230, если на сетевом ресурсе средством определения категорий сетевого ресурса 110 были определены небезопасные категории, интервал повторного определения категорий ресурса средством расчета интервала повторного определения категорий сетевого ресурса 130 устанавливается минимально возможным. Если на сетевом ресурсе были найдены нежелательные категории или категории не были найдены вообще, средством расчета интервала повторного определения категорий сетевого ресурса 130 рассчитывается вероятность изменения категорий 240 средством вычисления вероятности изменения категорий 120. Далее на основе рассчитанной вероятности изменения категорий рассчитывается интервал следующего повторного определения категорий сетевого ресурса. В общем случае 250, если категории на сетевом ресурсе не изменяются, интервал повторного определения категорий сетевого ресурса растет, если категории изменяются - интервал уменьшается.

Фиг. 3 представляет пример компьютерной системы общего назначения, персональный компьютер или сервер 20, содержащий центральный процессор 21, системную память 22 и системную шину 23, которая содержит разные системные компоненты, в том числе память, связанную с центральным процессором 21. Системная шина 23 реализована, как любая известная из уровня техники шинная структура, содержащая в свою очередь память шины или контроллер памяти шины, периферийную шину и локальную шину, которая способна взаимодействовать с любой другой шинной архитектурой. Системная память содержит постоянное запоминающее устройство (ПЗУ) 24, память с произвольным доступом (ОЗУ) 25. Основная система ввода/вывода (BIOS) 26 содержит основные процедуры, которые обеспечивают передачу информации между элементами персонального компьютера 20, например, в момент загрузки операционной системы с использованием ПЗУ 24.

Персональный компьютер 20 в свою очередь содержит жесткий диск 27 для чтения и записи данных, привод магнитных дисков 28 для чтения и записи на сменные магнитные диски 29 и оптический привод 30 для чтения и записи на сменные оптические диски 31, такие как CD-ROM, DVD-ROM и иные оптические носители информации. Жесткий диск 27, привод магнитных дисков 28, оптический привод 30 соединены с системной шиной 23 через интерфейс жесткого диска 32, интерфейс магнитных дисков 33 и интерфейс оптического привода 34 соответственно. Приводы и соответствующие компьютерные носители информации представляют собой энергонезависимые средства хранения компьютерных инструкций, структур данных, программных модулей и прочих данных персонального компьютера 20.

Настоящее описание раскрывает реализацию системы, которая использует жесткий диск 27, сменный магнитный диск 29 и сменный оптический диск 31, но следует понимать, что возможно применение иных типов компьютерных носителей информации 56, которые способны хранить данные в доступной для чтения компьютером форме (твердотельные накопители, флеш карты памяти, цифровые диски, память с произвольным доступом (ОЗУ) и т.п.), которые подключены к системной шине 23 через контроллер 55.

Компьютер 20 имеет файловую систему 36, где хранится записанная операционная система 35, а также дополнительные программные приложения 37, другие программные модули 38 и данные программ 39. Пользователь имеет возможность вводить команды и информацию в персональный компьютер 20 посредством устройств ввода (клавиатуры 40, манипулятора «мышь» 42). Могут использоваться другие устройства ввода (не отображены): микрофон, джойстик, игровая консоль, сканнер и т.п. Подобные устройства ввода по своему обычаю подключают к компьютерной системе 20 через последовательный порт 46, который в свою очередь подсоединен к системной шине, но могут быть подключены иным способом, например при помощи параллельного порта, игрового порта или универсальной последовательной шины (USB). Монитор 47 или иной тип устройства отображения также подсоединен к системной шине 23 через интерфейс, такой как видеоадаптер 48. В дополнение к монитору 47, персональный компьютер может быть оснащен другими периферийными устройствами вывода (не отображены), например колонками, принтером и т.п.

Персональный компьютер 20 способен работать в сетевом окружении, при этом используется сетевое соединение с другим или несколькими удаленными компьютерами 49. Удаленный компьютер (или компьютеры) 49 являются такими же персональными компьютерами или серверами, которые имеют большинство или все упомянутые элементы, отмеченные ранее при описании существа персонального компьютера 20, представленного на Фиг. 3. В вычислительной сети могут присутствовать также и другие устройства, например, маршрутизаторы, сетевые станции, пиринговые устройства или иные сетевые узлы.

Сетевые соединения могут образовывать локальную вычислительную сеть (LAN) 50 и глобальную вычислительную сеть (WAN). Такие сети применяются в корпоративных компьютерных сетях, внутренних сетях компаний и, как правило, имеют доступ к сети Интернет. В LAN- или WAN-сетях персональный компьютер 20 подключен к локальной сети 50 через сетевой адаптер или сетевой интерфейс 51. При использовании сетей персональный компьютер 20 может использовать модем 54 или иные средства обеспечения связи с глобальной вычислительной сетью, такой как Интернет. Модем 54, который является внутренним или внешним устройством, подключен к системной шине 23 посредством последовательного порта 46. Следует уточнить, что сетевые соединения являются лишь примерными и не обязаны отображать точную конфигурацию сети, т.е. в действительности существуют иные способы установления соединения техническими средствами связи одного компьютера с другим.

В заключение следует отметить, что приведенные в описании сведения являются примерами, которые не ограничивают объем настоящего изобретения, определенного формулой. Специалисту в данной области становится понятным, что могут существовать и другие варианты осуществления настоящего изобретения, согласующиеся с сущностью и объемом настоящего изобретения.

1. Способ расчета интервала повторного определения категорий содержимого сетевого ресурса, в котором:
а) анализируют содержимое сетевого ресурса, при этом анализируют:
- содержимое отдельных страниц упомянутого сетевого ресурса;
- ссылки между отдельными страницами упомянутого сетевого ресурса;
- ссылки на другие сетевые ресурсы;
б) определяют на основании результатов анализа по меньшей мере две категории содержимого упомянутого сетевого ресурса, при этом первая категория определяется как безопасная или небезопасная, вторая категория определяется как нежелательная для просмотра пользователями или нейтральная по содержимому;
в) выполняют этапы "а" и "б" по меньшей мере еще один раз;
г) на основании категорий, определенных на этапах "а", "б" и "в", вычисляют вероятность изменения по меньшей мере одной категории содержимого упомянутого сетевого ресурса;
д) на основании вычисленной вероятности изменения категорий содержимого рассчитывают интервал повторного определения категорий содержимого упомянутого сетевого ресурса.

2. Способ по п. 1, в котором вероятность определения нежелательной для просмотра пользователями категории содержимого сетевого ресурса вычисляется отношением длительности времени определения нежелательной для просмотра пользователями категории содержимого сетевого ресурса к общему времени наблюдения за сетевым ресурсом.

3. Система расчета интервала повторного определения категорий содержимого сетевого ресурса, которая включает в себя:
- средство определения категорий сетевого ресурса, предназначенное для анализа содержимого по меньшей мере одного сетевого ресурса, при этом выполняется анализ:
содержимого отдельных страниц упомянутого сетевого ресурса;
ссылок между отдельными страницами упомянутого сетевого ресурса;
ссылок на другие сетевые ресурсы;
и определения по меньшей мере двух категорий содержимого упомянутого сетевого ресурса, при этом первая категория определяется как безопасная или небезопасная, вторая категория определяется как нежелательная для просмотра пользователями или нейтральная по содержимому;
- средство вычисления вероятности изменения категорий сетевого ресурса, предназначенное для вычисления вероятности изменения по меньшей мере одной категории содержимого упомянутого сетевого ресурса на основании определенных средством определения категорий сетевого ресурса категорий;
- средство расчета интервала повторного определения категорий сетевого ресурса, предназначенное для расчета на основании вычисленной вероятности изменения категорий содержимого интервала повторного определения по меньшей мере одной категории содержимого упомянутого сетевого ресурса.

4. Система по п. 3, в которой вероятность определения нежелательной для просмотра пользователями категории содержимого сетевого ресурса вычисляется отношением длительности времени определения нежелательной для просмотра пользователями категории содержимого сетевого ресурса к общему времени наблюдения за сетевым ресурсом.