Способ и сервер для поиска точки деления потока данных на основе сервера

Авторы патента:

ЮЙ Чуаньшуай (CN)

ЧЖАН Чэнвэй (CN)

СЮЙ Линбо (CN)

H04L47/10 - Передача дискретной информации, например телеграфная связь (пишущие машины B41J; телеграфные системы G08B; оптические телеграфные аппараты G08B,G08C; фототелеграфные системы G08C; шифровальные или дешифровальные устройства как таковые G09C; кодирование, декодирование или преобразование кода вообще H03M; устройства, применяемые как для телеграфной, так и для телефонной связи H04M; избирательные устройства H04Q)

G06F3/0608 - Вводные устройства для передачи данных, подлежащих преобразованию в форму, пригодную для обработки в вычислительной машине; выводные устройства для передачи данных из устройств обработки в устройства вывода, например интерфейсы (пишущие машинки B41J; преобразование физических переменных величин F15B 5/00,G01; получение изображений G06T 1/00,G06T 9/00; кодирование, декодирование или преобразование кодов вообще H03M; передача цифровой информации H04L)

G06F17/30156 - Устройства или методы цифровых вычислений или обработки данных, специально предназначенные для специфических функций

G06F17/30 - информационный поиск; структуры баз данных для этой цели

Владельцы патента RU 2639947:

ХУАВЭЙ ТЕКНОЛОДЖИЗ КО., ЛТД. (CN)

Группа изобретений относится к области информационных технологий и может быть использована для поиска точки деления потока данных. Техническим результатом является повышение эффективности поиска точки деления потока данных. В вариантах осуществления настоящего изобретения, поиск точки деления потока данных осуществляется путем определения, удовлетворяет ли, по меньшей мере, часть данных в окне из M окон заранее заданному условию, и когда, по меньшей мере, часть данных в окне не удовлетворяет заранее заданному условию, пропускается длина N*U, для получения следующей точки потенциального деления. 8 н. и 56 з.п. ф-лы, 33 ил.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее изобретение относится к области информационных технологий и, в частности, к способу и серверу для поиска точки деления потока данных на основе сервера.

УРОВЕНЬ ТЕХНИКИ

[0002] С увеличением объемов данные, критически важной задачей становится обеспечение достаточного хранилища данных в области хранения в настоящее время. В настоящее время, такая задача решается с использованием технологии дедупликации посредством признака избыточности данных, которые необходимо хранить, для уменьшения объем хранимых данных.

[0003] В алгоритме устранения дублированных данных на основании фрагмента, определяемого содержимым (Content Defined Chunk, CDC) в уровне техники, поток данных, подлежащий сохранению, сначала делится на множественные фрагменты данных. Для разделения потока данных на фрагменты данных, необходимо найти подходящую точку деления в потоке данных, и данные между двумя соседними точками деления в потоке данных образуют один фрагмент данных. Вычисляется значение признака фрагмента данных для определения, существуют ли фрагменты данных, имеющие одно и то же значение признака. Если найдены фрагменты данных, имеющие одно и то же значение признака, делается вывод, что дублированные данные существуют. В частности, в технологии устранения дублированных данных на основании фрагмента, определяемого содержимым, применяется метод скользящего окна (Sliding Window Technique) для поиска точки деления фрагмента на основании содержимого файла, то есть рабиновского характерного признака данных в окне вычисляется для определения точки деления потока данных. Предполагается, что поиск точки деления осуществляется слева направо в потоке данных. Характерный признак данных в скользящем окне вычисляется каждый раз, и после осуществления операции по модулю на значении характерного признака на основании данного целого числа k, результат операции по модулю сравнивается с данным остатком R. Если результат операции по модулю равен данному остатку R, правый конец окна является точкой деления потока данных. В противном случае окно продолжает скользить вправо на один байт, и вычисление и сравнение осуществляются последовательно и циклически, пока не будет достигнут конец потока данных. В процессе устранения дублированных данных на основании фрагмента, определяемого содержимым, необходимо расходовать большое количество вычислительных ресурсов для поиска точки деления потока данных, что препятствует повышению производительности устранения дублированных данных.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0004] Согласно первому аспекту, вариант осуществления настоящего изобретения предусматривает способ поиска точки деления потока данных на основе сервера, причем правило заранее задается на сервере, причем правило предусматривает: для точки потенциального деления k, определение M точек px, окна Wx[px-Ax, px+Bx], соответствующего точке px, и заранее заданного условия Cx, соответствующего окну Wx[px-Ax, px+Bx], где x указывает последовательные натуральные числа от 1 до M, M≥2, и Ax и Bx являются целыми числами; и способ включает в себя:

(a) определение точки piz и окна Wiz[piz-Az, piz+Bz], соответствующего точке piz, для текущей точки потенциального деления ki согласно правилу, где i и z являются целыми числами, и 1≤z≤M;

(b) определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz; и

когда, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] не удовлетворяет заранее заданному условию Cz, пропуск N минимальных единиц U для поиска точки деления потока данных от точки piz в направлении поиска точки деления потока данных, где N*U не превышает ‖Bz‖+max_x(‖Ax‖+‖(ki-pix)‖), для получения новой точки потенциального деления, и осуществление этапа (a); и

(c) когда, по меньшей мере, часть данных в каждом окне Wix[pix-Ax, pix+Bx] из M окон текущей точки потенциального деления ki удовлетворяет заранее заданному условию Cx, выбор текущей точки потенциального деления ki в качестве точки деления потока данных.

[0005] Согласно первому аспекту, в первом возможном варианте реализации, правило дополнительно предусматривает, что, по меньшей мере, две точки pe и pf удовлетворяют условиям Ae=Af, Be=Bf и Ce=Cf.

[0006] Согласно первому возможному варианту реализации первого аспекта, во втором возможном варианте реализации, правило дополнительно предусматривает, что: относительно точки потенциального деления k, по меньшей мере, две точки pe и pf ориентированы в направлении, противоположном направлению поиска точки деления потока данных.

[0007] Согласно первому возможному варианту реализации или второму возможному варианту реализации первого аспекта, в третьем возможном варианте реализации, правило дополнительно предусматривает, что расстояние между, по меньшей мере, двумя точками pe и pf равно 1 U.

[0008] Согласно первому аспекту, или любому из возможных вариантов реализации с первого по третий первого аспекта, в четвертом возможном варианте реализации, определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz, в частности, включает в себя:

определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz.

[0009] Согласно четвертому возможному варианту реализации первого аспекта, в пятом возможном варианте реализации, определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz, в частности, содержит: определение, с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz.

[0010] Согласно первому аспекту, или любому из возможных вариантов реализации с первого по пятый первого аспекта, в шестом возможном варианте реализации, когда, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] не удовлетворяет заранее заданному условию Cz, N минимальных единиц U для поиска точки деления потока данных пропускается от точки piz в направлении поиска точки деления потока данных, для получения новой точки потенциального деления, и, согласно правилу, левая граница окна Wic[pic-Ac, pic+Bc], соответствующая точке pic, которая определена для новой точки потенциального деления, совпадает с правой границей окна Wiz[piz-Az, piz+Bz], или левая граница окна Wic[pic-Ac, pic+Bc], соответствующая точке pic, которая определена для новой точки потенциального деления, попадает в диапазон окна Wiz[piz-Az, piz+Bz], где точка pic, определенная для новой точки потенциального деления, является точкой, занимающей первую позицию в последовательности, которая получена согласно направлению поиска точки деления потока данных, из M точек, которые определены для новой точки потенциального деления согласно правилу.

[0011] Согласно четвертому возможному варианту реализации первого аспекта, в седьмом возможном варианте реализации, определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz, в частности, включает в себя:

выбор F байтов в окне Wiz[piz-Az, piz+Bz], и повторное использование F байтов H раз для получения всего F*H байтов, где F≥1, каждый байт образован 8 битами, которые обозначены как am_,1, ..., и am_,8, представляющими биты с 1-го по 8-й m-го байта в F*H байтов, биты, соответствующие F*H байтам можно представить как: , причем, когда am_,_n=1, Vam_,_n=1, и когда am_,_n=0, Vam_,_n=-1, где am_,_n представляет любой из am_,1, ..., и am_,8, матрица Va получается согласно соотношению преобразования между am_,_n и Vam_,_n из битов, соответствующих F*H байтам, причем матрица Va представлена как: , F*H*8 случайных чисел выбирается из случайных чисел, подчиняющихся нормальному распределению, для формирования матрицы R, причем матрица R представлена как: , случайные числа в m-й строке матрицы Va и m-й строке матрицы R перемножаются, и произведения суммируются для получения значения, которое, в частности, представляется как Sam=Vam_,1*hm_,1+Vam_,2*hm_,2+...+Vam_,8*hm_,8, Sa₁, Sa₂, ..., и SaF_*_H получаются таким же образом, подсчитывается количество k значений, больших 0, из Sa₁, Sa₂, ..., и SaF_*_H, и когда k является четным числом, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] удовлетворяет заранее заданному условию Cz.

[0012] Согласно второму аспекту, вариант осуществления настоящего изобретения предусматривает способ поиска точки деления потока данных на основе сервера, причем правило заранее задается на сервере, причем правило предусматривает: для точки потенциального деления k, определение M окон Wx[k-Ax, k+Bx] и заранее заданного условия Cx, соответствующего окну Wx[k-Ax, k+Bx], где x указывает последовательные натуральные числа от 1 до M, M≥2, и Ax и Bx являются целыми числами; и

способ включает в себя:

(a) определение соответствующего окна Wiz[ki-Az, ki+Bz] для текущей точки потенциального деления ki согласно правилу, где i и z являются целыми числами, и 1≤z≤M;

(b) определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz; и

когда, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] не удовлетворяет заранее заданному условию Cz, пропуск N минимальных единиц U для поиска точки деления потока данных от текущей точки потенциального деления ki в направлении поиска точки деления потока данных, где N*U не превышает ‖Bz‖+max_x(‖Ax‖), для получения новой точки потенциального деления, и осуществление этапа (a); и

(c) когда, по меньшей мере, часть данных в каждом окне Wix[ki-Ax, ki+Bx] из M окон текущей точки потенциального деления ki удовлетворяет заранее заданному условию Cx, выбор текущей точки потенциального деления ki в качестве точки деления потока данных.

[0013] Согласно второму аспекту, в первом возможном варианте реализации, правило дополнительно предусматривает, что, по меньшей мере, два окна Wie[ki-Ae, ki+Be] и Wif[ki-Af, ki+Bf] удовлетворяют условиям | Ae+Be|=|Af+Bf| и Ce=Cf.

[0014] Согласно первому возможному варианту реализации второго аспекта, во втором возможном варианте реализации, правило дополнительно предусматривает, что Ae и Af являются положительными целыми числами.

[0015] Согласно первому возможному варианту реализации или второму возможному варианту реализации второго аспекта, в третьем возможном варианте реализации, правило дополнительно предусматривает, что Ae-1=Af и Be+1=Bf.

[0016] Согласно второму аспекту, или любому из возможных вариантов реализации с первого по третий второго аспекта, в четвертом возможном варианте реализации, определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz, в частности, включает в себя:

определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz.

[0017] Согласно четвертому возможному варианту реализации второго аспекта, в пятом возможном варианте реализации, определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz, в частности, содержит: определение, с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz.

[0018] Согласно второму аспекту, или любому из возможных вариантов реализации с первого по пятый второго аспекта, в шестом возможном варианте реализации, когда, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] не удовлетворяет заранее заданному условию Cz, N минимальных единиц U для поиска точки деления потока данных пропускается от текущей точки потенциального деления ki в направлении поиска точки деления потока данных, для получения новой точки потенциального деления, и, согласно правилу, левая граница окна Wic[ki-Ac, ki+Bc], которая определена для новой точки потенциального деления, совпадает с правой границей окна Wiz[ki-Az, ki+Bz], или левая граница окна Wic[ki-Ac, ki+Bc], которая определена для новой точки потенциального деления, попадает в диапазон окна Wiz[ki-Az, ki+Bz], где окно Wic[ki-Ac, ki+Bc], определенное для новой точки потенциального деления является окном, занимающим первую позицию в последовательности, которая получена согласно направлению поиска точки деления потока данных, из M окон, которые определены для новой точки потенциального деления согласно правилу.

[0019] Согласно четвертому возможному варианту реализации второго аспекта, в седьмом возможном варианте реализации, определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz, в частности, включает в себя:

выбор F байтов в окне Wiz[ki-Az, ki+Bz], и повторное использование F байтов H раз для получения всего F*H байтов, где F≥1, каждый байт образован 8 битами, которые обозначены как am_,1, ..., и am_,8, представляющими биты с 1-го по 8-й m-го байта в F*H байтов, биты, соответствующие F*H байтам можно представить как: , причем, когда am_,_n=1, Vam_,_n=1, и когда am_,_n=0, Vam_,_n=-1, где am_,_n представляет любой из am_,1, ..., и am_,8, матрица Va получается согласно соотношению преобразования между am_,_n и Vam_,_n из битов, соответствующих F*H байтам, причем матрица Va представлена как: , F*H*8 случайных чисел выбирается из случайных чисел, подчиняющихся нормальному распределению, для формирования матрицы R, причем матрица R представлена как: , случайные числа в m-й строке матрицы Va и m-й строке матрицы R перемножаются, и произведения суммируются для получения значения, которое, в частности, представляется как Sam=Vam_,1*hm_,1+Vam_,2*hm_,2+...+Vam_,8*hm_,8, Sa₁, Sa₂, ..., и SaF_*_H получаются таким же образом, подсчитывается количество k значений, больших 0, из Sa₁, Sa₂, ..., и SaF_*_H, и когда k является четным числом, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] удовлетворяет заранее заданному условию Cz.

[0020] Согласно третьему аспекту, вариант осуществления настоящего изобретения предусматривает сервер для поиска точки деления потока данных, причем сервер включает в себя центральный процессор и основную память, центральный процессор осуществляет связь с основной памятью, и правило заранее задается на сервере, причем правило предусматривает: для точки потенциального деления k, определение M точек px, окна Wx[px-Ax, px+Bx], соответствующего точке px, и заранее заданного условия Cx, соответствующего окну Wx[px-Ax, px+Bx], где x указывает последовательные натуральные числа от 1 до M, M≥2, и Ax и Bx являются целыми числами; и

основная память выполнена с возможностью хранения исполнимой инструкции, и центральный процессор выполняет исполнимую инструкцию для осуществления следующих этапов:

(a) определения точки piz и окна Wiz[piz-Az, piz+Bz], соответствующего точке piz, для текущей точки потенциального деления ki согласно правилу, где i и z являются целыми числами, и 1≤z≤M;

(b) определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz; и

(c) когда, по меньшей мере, часть данных в каждом окне Wix[pix-Ax, pix+Bx] из M окон текущей точки потенциального деления ki удовлетворяет заранее заданному условию Cx, выбора текущей точки потенциального деления ki в качестве точки деления потока данных.

[0021] Согласно третьему аспекту, в первом возможном варианте реализации, правило дополнительно предусматривает, что, по меньшей мере, две точки pe и pf удовлетворяют условиям Ae=Af, Be=Bf и Ce=Cf.

[0022] Согласно первому возможному варианту реализации третьего аспекта, во втором возможном варианте реализации, правило дополнительно предусматривает, что: относительно точки потенциального деления k, по меньшей мере, две точки pe и pf, ориентированы в направлении, противоположном направлению поиска точки деления потока данных.

[0023] Согласно первому возможному варианту реализации или второму возможному варианту реализации третьего аспекта, в третьем возможном варианте реализации, правило дополнительно предусматривает, что расстояние между, по меньшей мере, двумя точками pe и pf равно 1 U.

[0024] Согласно третьему аспекту, или любому из возможных вариантов реализации с первого по третий, в четвертом возможном варианте реализации, центральный процессор, в частности, выполнен с возможностью:

определения, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz.

[0025] Согласно четвертому возможному варианту реализации третьего аспекта, в пятом возможном варианте реализации, центральный процессор, в частности, выполнен с возможностью определения, с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz.

[0026] Согласно третьему аспекту, или любому из возможных вариантов реализации с первого по пятый, в шестом возможном варианте реализации, когда, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] не удовлетворяет заранее заданному условию Cz, N минимальных единиц U для поиска точки деления потока данных пропускается от точки piz в направлении поиска точки деления потока данных, для получения новой точки потенциального деления, и, согласно правилу, левая граница окна Wic[pic-Ac, pic+Bc], соответствующая точке pic, которая определена для новой точки потенциального деления, совпадает с правой границей окна Wiz[piz-Az, piz+Bz], или левая граница окна Wic[pic-Ac, pic+Bc], соответствующая точке pic, которая определена для новой точки потенциального деления, попадает в диапазон окна Wiz[piz-Az, piz+Bz], где точка pic, определенная для новой точки потенциального деления, является точкой, занимающей первую позицию в последовательности, которая получена согласно направлению поиска точки деления потока данных, из M точек, которые определены для новой точки потенциального деления согласно правилу.

[0027] Согласно четвертому возможному варианту реализации третьего аспекта, в седьмом возможном варианте реализации, определение, посредством центрального процессора с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz, в частности, включает в себя:

Согласно четвертому аспекту, вариант осуществления настоящего изобретения предусматривает сервер для поиска точки деления потока данных, причем сервер включает в себя центральный процессор и первичную память, центральный процессор осуществляет связь с первичной памятью, и правило заранее задается на сервере, причем правило предусматривает: для точки потенциального деления k, определение M окон Wx[k-Ax, k+Bx] и заранее заданного условия Cx, соответствующего окну Wx[k-Ax, k+Bx], где x указывает последовательные натуральные числа от 1 до M, M≥2, и Ax и Bx являются целыми числами; и

(a) определения соответствующего окна Wiz[ki-Az, ki+Bz] для текущей точки потенциального деления ki согласно правилу, где i и z являются целыми числами, и 1≤z≤M;

(b) определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz; и

когда, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] не удовлетворяет заранее заданному условию Cz, пропуска N минимальных единиц U для поиска точки деления потока данных от текущей точки потенциального деления ki в направлении поиска точки деления потока данных, где N*U не превышает ‖Bz‖+max_x(‖Ax‖), для получения новой точки потенциального деления, и осуществление этапа (a); и

(c) когда, по меньшей мере, часть данных в каждом окне Wix[ki-Ax, ki+Bx] из M окон текущей точки потенциального деления ki удовлетворяет заранее заданному условию Cx, выбора текущей точки потенциального деления ki в качестве точки деления потока данных.

[0028] Согласно четвертому аспекту, в первом возможном варианте реализации, правило дополнительно предусматривает, что, по меньшей мере, два окна Wie[ki-Ae, ki+Be] и Wif[ki-Af, ki+Bf] удовлетворяют условиям | Ae+Be|=|Af+Bf| и Ce=Cf.

[0029] Согласно первому возможному варианту реализации четвертого аспекта, во втором возможном варианте реализации, правило дополнительно предусматривает, что Ae и Af являются положительными целыми числами.

[0030] Согласно первому возможному варианту реализации или второму возможному варианту реализации четвертого аспекта, в третьем возможном варианте реализации, правило дополнительно предусматривает, что Ae-1=Af и Be+1=Bf.

[0031] Согласно четвертому аспекту, или любому из возможных вариантов реализации с первого по третий, в четвертом возможном варианте реализации, центральный процессор, в частности, выполнен с возможностью:

определения, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz.

[0032] Согласно четвертому возможному варианту реализации четвертого аспекта, в пятом возможном варианте реализации, центральный процессор, в частности, выполнен с возможностью определения, с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz.

[0033] Согласно четвертому аспекту, или любому из возможных вариантов реализации с первого по пятый, в шестом возможном варианте реализации, когда, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] не удовлетворяет заранее заданному условию Cz, N минимальных единиц U для поиска точки деления потока данных пропускается от текущей точки потенциального деления ki в направлении поиска точки деления потока данных, для получения новой точки потенциального деления, и, согласно правилу, левая граница окна Wic[ki-Ac, ki+Bc], которая определена для новой точки потенциального деления, совпадает с правой границей окна Wiz[ki-Az, ki+Bz], или левая граница окна Wic[ki-Ac, ki+Bc], которая определена для новой точки потенциального деления, попадает в диапазон окна Wiz[ki-Az, ki+Bz], где окно Wic[ki-Ac, ki+Bc], определенное для новой точки потенциального деления является окном, занимающим первую позицию в последовательности, которая получена согласно направлению поиска точки деления потока данных, из M окон, которые определены для новой точки потенциального деления согласно правилу.

[0034] Согласно четвертому возможному варианту реализации четвертого аспекта, в седьмом возможном варианте реализации, определение, посредством центрального процессора с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz, в частности, включает в себя:

[0035] Согласно пятому аспекту, вариант осуществления настоящего изобретения предусматривает сервер для поиска точки деления потока данных, причем правило заранее задается на сервере, причем правило предусматривает: для точки потенциального деления k, определение M точек px, окна Wx[px-Ax, px+Bx], соответствующего точке px, и заранее заданного условия Cx, соответствующего окну Wx[px-Ax, px+Bx], где x указывает последовательные натуральные числа от 1 до M, M≥2, и Ax и Bx являются целыми числами; и

сервер включает в себя: блок определения, выполненный с возможностью осуществления этапа (a):

блок принятия решения и обработки, выполненный с возможностью: определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz;

когда, по меньшей мере, часть данных в каждом окне Wix[pix-Ax, pix+Bx] из M окон текущей точки потенциального деления ki удовлетворяет заранее заданному условию Cx, выбора текущей точки потенциального деления ki в качестве точки деления потока данных.

[0036] Согласно пятому аспекту, в первом возможном варианте реализации, правило дополнительно предусматривает, что, по меньшей мере, две точки pe и pf удовлетворяют условиям Ae=Af, Be=Bf и Ce=Cf.

[0037] Согласно первому возможному варианту реализации пятого аспекта, во втором возможном варианте реализации, правило дополнительно предусматривает, что: относительно точки потенциального деления k, по меньшей мере, две точки pe и pf ориентированы в направлении, противоположном направлению поиска точки деления потока данных.

[0038] Согласно первому возможному варианту реализации или второму возможному варианту реализации пятого аспекта, в третьем возможном варианте реализации, правило дополнительно предусматривает, что расстояние между, по меньшей мере, двумя точками pe и pf равно 1 U.

[0039] Согласно пятому аспекту, или любому из возможных вариантов реализации с первого по третий, в четвертом возможном варианте реализации, блок принятия решения и обработки, в частности, определяет, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz.

[0040] Согласно четвертому возможному варианту реализации пятого аспекта, в пятом возможном варианте реализации, блок принятия решения и обработки в частности, выполнен с возможностью определения, с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz.

[0041] Согласно пятому аспекту, или любому из возможных вариантов реализации с первого по пятый, в шестом возможном варианте реализации, блок принятия решения и обработки выполнен с возможностью: когда, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] не удовлетворяет заранее заданному условию Cz, пропуска N минимальных единиц U для поиска точки деления потока данных от точки piz в направлении поиска точки деления потока данных, для получения новой точки потенциального деления, причем блок определения осуществляет этап (a) для новой точки потенциального деления, и, согласно правилу, левая граница окна Wic[pic-Ac, pic+Bc], соответствующая точке pic, которая определена для новой точки потенциального деления, совпадает с правой границей окна Wiz[piz-Az, piz+Bz], или левая граница окна Wic[pic-Ac, pic+Bc] попадает в диапазон окна Wiz[piz-Az, piz+Bz], где точка pic, определенная для новой точки потенциального деления, является точкой, занимающей первую позицию в последовательности, которая получена согласно направлению поиска точки деления потока данных, из M точек, которые определены для новой точки потенциального деления согласно правилу.

[0042] Согласно четвертому возможному варианту реализации пятого аспекта, в седьмом возможном варианте реализации, блок принятия решения и обработки в частности, выполнен с возможностью определения, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz, в частности, которое включает в себя:

[0043] Согласно шестому аспекту, вариант осуществления настоящего изобретения предусматривает сервер для поиска точки деления потока данных, причем правило заранее задается на сервере, причем правило предусматривает: для точки потенциального деления k, определение M окон Wx[k-Ax, k+Bx] и заранее заданного условия Cx, соответствующего окну Wx[k-Ax, k+Bx], где x указывает последовательные натуральные числа от 1 до M, M≥2, и Ax и Bx являются целыми числами; и

сервер включает в себя: блок определения, выполненный с возможностью осуществления этапа (a):

(a) определения соответствующего окна Wiz[ki-Az, ki+Bz] для текущей точки потенциального деления ki согласно правилу, где i и z являются целыми числами, и 1≤z≤M; и

блок принятия решения и обработки, выполненный с возможностью определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz;

когда, по меньшей мере, часть данных в каждом окне Wix[ki-Ax, ki+Bx] из M окон текущей точки потенциального деления ki удовлетворяет заранее заданному условию Cx, выбора текущей точки потенциального деления ki в качестве точки деления потока данных.

[0044] Согласно шестому аспекту, в первом возможном варианте реализации, правило дополнительно предусматривает, что, по меньшей мере, два окна Wie[ki-Ae, ki+Be] и Wif[ki-Af, ki+Bf] удовлетворяют условиям | Ae+Be|=|Af+Bf| и Ce=Cf.

[0045] Согласно первому возможному варианту реализации шестого аспекта, во втором возможном варианте реализации, правило дополнительно предусматривает, что Ae и Af являются положительными целыми числами.

[0046] Согласно первому возможному варианту реализации или второму возможному варианту реализации шестого аспекта, в третьем возможном варианте реализации, правило дополнительно предусматривает, что Ae-1=Af и Be+1=Bf.

[0047] Согласно шестому аспекту, или любому из возможных вариантов реализации с первого по третий, в четвертом возможном варианте реализации, блок принятия решения и обработки в частности, выполнен с возможностью:

[0048] Согласно четвертому возможному варианту реализации шестого аспекта, в пятом возможном варианте реализации, блок принятия решения и обработки в частности, выполнен с возможностью определения, с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz.

[0049] Согласно шестому аспекту, или любому из возможных вариантов реализации с первого по пятый, в шестом возможном варианте реализации, блок принятия решения и обработки выполнен с возможностью: когда, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] не удовлетворяет заранее заданному условию Cz, пропуска N минимальных единиц U для поиска точки деления потока данных от текущей точки потенциального деления ki в направлении поиска точки деления потока данных, для получения новой точки потенциального деления, блок определения осуществляет этап (a) для новой точки потенциального деления, и, согласно правилу, левая граница окна Wic[ki-Ac, ki+Bc], которая определена для новой точки потенциального деления, совпадает с правой границей окна Wiz[ki-Az, ki+Bz], или левая граница окна Wic[ki-Ac, ki+Bc], которая определена для новой точки потенциального деления, попадает в диапазон окна Wiz[ki-Az, ki+Bz], где окно Wic[ki-Ac, ki+Bc], определенное для новой точки потенциального деления является окном, занимающим первую позицию в последовательности, которая получена согласно направлению поиска точки деления потока данных, из M окон, которые определены для новой точки потенциального деления согласно правилу.

[0050] Согласно четвертому возможному варианту реализации шестого аспекта, в седьмом возможном варианте реализации, блок принятия решения и обработки определяет, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz, в частности, и это определение включает в себя:

[0051] Согласно седьмому аспекту, вариант осуществления настоящего изобретения предусматривает компьютерно-считываемый носитель данных, причем компьютерно-считываемый носитель данных выполнен с возможностью хранения исполнимой инструкции, сервер выполняет исполнимую инструкцию для поиска точки деления потока данных, и правило заранее задается на сервере, причем правило предусматривает: для точки потенциального деления k, определение M точек px, окна Wx[px-Ax, px+Bx], соответствующего точке px, и заранее заданного условия Cx, соответствующего окну Wx[px-Ax, px+Bx], где x указывает последовательные натуральные числа от 1 до M, M≥2, и Ax и Bx являются целыми числами; и

сервер выполняет исполнимую инструкцию для осуществления следующих этапов:

(a) согласно правилу, для текущей точки потенциального деления ki, определения точки piz и окна Wiz[piz-Az, piz+Bz], соответствующего точке piz, для текущей точки потенциального деления ki согласно правилу, где i и z являются целыми числами, и 1≤z≤M;

(c) когда, по меньшей мере, часть данных в каждом окне Wix[pix-Ax, pix+Bx] из M окон текущей точки потенциального деления ki удовлетворяет заранее заданному условию Cx, выбора текущей точки потенциального деления ki в качестве точки деления потока данных.

[0052] Согласно седьмому аспекту, в первом возможном варианте реализации, правило дополнительно предусматривает, что, по меньшей мере, две точки pe и pf удовлетворяют условиям Ae=Af, Be=Bf и Ce=Cf.

[0053] Согласно первому возможному варианту реализации седьмого аспекта, во втором возможном варианте реализации, правило дополнительно предусматривает, что: относительно точки потенциального деления k, по меньшей мере, две точки pe и pf ориентированы в направлении, противоположном направлению поиска точки деления потока данных.

[0054] Согласно первому возможному варианту реализации или второму возможному варианту реализации седьмого аспекта, в третьем возможном варианте реализации, правило дополнительно предусматривает, что расстояние между, по меньшей мере, двумя точками pe и pf равно 1 U.

[0055] Согласно седьмому аспекту, или любому из возможных вариантов реализации с первого по третий седьмого аспекта, в четвертом возможном варианте реализации, определение, посредством сервера, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz, в частности, включает в себя:

определение, посредством сервера с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz.

[0056] Согласно четвертому возможному варианту реализации седьмого аспекта, в пятом возможном варианте реализации, определение, посредством сервера с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz, в частности, включает в себя:

определение, посредством сервера с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz.

[0057] Согласно седьмому аспекту, или любому из возможных вариантов реализации с первого по пятый седьмого аспекта, в шестом возможном варианте реализации, когда, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] не удовлетворяет заранее заданному условию Cz, N минимальных единиц U для поиска точки деления потока данных пропускается от точки piz в направлении поиска точки деления потока данных, для получения новой точки потенциального деления, и, согласно правилу, левая граница окна Wic[pic-Ac, pic+Bc], соответствующая точке pic, которая определена для новой точки потенциального деления, совпадает с правой границей окна Wiz[piz-Az, piz+Bz], или левая граница окна Wic[pic-Ac, pic+Bc], соответствующая точке pic, которая определена для новой точки потенциального деления, попадает в диапазон окна Wiz[piz-Az, piz+Bz], где точка pic, определенная для новой точки потенциального деления, является точкой, занимающей первую позицию в последовательности, которая получена согласно направлению поиска точки деления потока данных, из M точек, которые определены для новой точки потенциального деления согласно правилу.

[0058] Согласно четвертому возможному варианту реализации седьмого аспекта, в седьмом возможном варианте реализации, определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz, в частности, включает в себя:

[0059] Согласно восьмому аспекту, вариант осуществления настоящего изобретения предусматривает компьютерно-считываемый носитель данных, причем компьютерно-считываемый носитель данных выполнен с возможностью хранения исполнимой инструкции, сервер выполняет исполнимую инструкцию для поиска точки деления потока данных, и правило заранее задается на сервере, причем правило предусматривает: для точки потенциального деления k, определение M окон Wx[k-Ax, k+Bx] и заранее заданного условия Cx, соответствующего окну Wx[k-Ax, k+Bx], где x указывает последовательные натуральные числа от 1 до M, M≥2, и Ax и Bx являются целыми числами; и сервер выполняет исполнимую инструкцию для осуществления следующих этапов:

[0060] Согласно восьмому аспекту, в первом возможном варианте реализации, правило дополнительно предусматривает, что, по меньшей мере, два окна Wie[ki-Ae, ki+Be] и Wif[ki-Af, ki+Bf] удовлетворяют условиям | Ae+Be|=|Af+Bf| и Ce=Cf.

[0061] Согласно первому возможному варианту реализации восьмого аспекта, во втором возможном варианте реализации, правило дополнительно предусматривает, что Ae и Af являются положительными целыми числами.

[0062] Согласно первому возможному варианту реализации или второму возможному варианту реализации восьмого аспекта, в третьем возможном варианте реализации, правило дополнительно предусматривает, что Ae-1=Af и Be+1=Bf.

[0063] Согласно восьмому аспекту, или любому из возможных вариантов реализации с первого по третий восьмого аспекта, в четвертом возможном варианте реализации, определение, посредством сервера, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz, в частности, включает в себя:

[0064] Согласно четвертому возможному варианту реализации восьмого аспекта, в пятом возможном варианте реализации, определение, посредством сервера с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz, в частности, содержит: определение, посредством сервера с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz.

[0065] Согласно восьмому аспекту, или любому из возможных вариантов реализации с первого по пятый восьмого аспекта, в шестом возможном варианте реализации, когда, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] не удовлетворяет заранее заданному условию Cz, N минимальных единиц U для поиска точки деления потока данных пропускается от текущей точки потенциального деления ki в направлении поиска точки деления потока данных, для получения новой точки потенциального деления, и, согласно правилу, левая граница окна Wic[ki-Ac, ki+Bc], которая определена для новой точки потенциального деления, совпадает с правой границей окна Wiz[ki-Az, ki+Bz], или левая граница окна Wic[ki-Ac, ki+Bc], которая определена для новой точки потенциального деления, попадает в диапазон окна Wiz[ki-Az, ki+Bz], где окно Wic[ki-Ac, ki+Bc], определенное для новой точки потенциального деления является окном, занимающим первую позицию в последовательности, которая получена согласно направлению поиска точки деления потока данных, из M окон, которые определены для новой точки потенциального деления согласно правилу.

[0066] Согласно четвертому возможному варианту реализации восьмого аспекта, в седьмом возможном варианте реализации, определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz, в частности, включает в себя:

[0067] В вариантах осуществления настоящего изобретения, поиск точки деления потока данных осуществляется путем определения, удовлетворяет ли, по меньшей мере, часть данных в окне из M окон заранее заданному условию, и когда, по меньшей мере, часть данных в окне не удовлетворяет заранее заданному условию, пропускается длина N*U, для получения следующей точки потенциального деления, что повышает эффективность поиска точки деления потока данных.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0068] Фиг. 1 – схема сценария применения согласно варианту осуществления настоящего изобретения;

[0069] фиг. 2 – схема точки деления потока данных;

[0070] фиг. 3 – схема поиска точки деления потока данных;

[0071] фиг. 4 – схема способа согласно варианту осуществления настоящего изобретения;

[0072] фиг. 5 и фиг. 6 – схемы варианта реализации поиска точки деления потока данных;

[0073] фиг. 7 и фиг. 8 – схемы варианта реализации поиска точки деления потока данных;

[0074] фиг. 9 и фиг. 10 – схемы варианта реализации поиска точки деления потока данных;

[0075] фиг. 11, фиг. 12 и фиг. 13 – схемы варианта реализации поиска точки деления потока данных;

[0076] фиг. 14 и фиг. 15 – схемы варианта реализации поиска точки деления потока данных;

[0077] фиг. 16 и фиг. 17 – схемы определения, удовлетворяет ли, по меньшей мере, часть данных в окне заранее заданному условию;

[0078] фиг. 18 – структурная схема сервера дедупликации;

[0079] фиг. 19 – структурная схема сервера дедупликации;

[0080] фиг. 20 – схема способа согласно варианту осуществления настоящего изобретения;

[0081] фиг. 21 и фиг. 22 – схемы варианта реализации поиска точки деления потока данных;

[0082] фиг. 23 и фиг. 24 – схемы варианта реализации поиска точки деления потока данных;

[0083] фиг. 25 и фиг. 26 – схемы варианта реализации поиска точки деления потока данных;

[0084] фиг. 27, фиг. 28 и фиг. 29 – схемы варианта реализации поиска точки деления потока данных;

[0085] фиг. 30 и фиг. 31 – схемы варианта реализации поиска точки деления потока данных; и

[0086] фиг. 32 и фиг. 33 – схемы определения, удовлетворяет ли, по меньшей мере, часть данных в окне заранее заданному условию.

ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0087] По мере развития технологий хранения, объемы генерируемых данных постоянно растут, и большой объем данных предъявляет наивысшее требование к емкости хранилища. Затраты на приобретение IT-оборудования возрастают совместно с емкостью хранилища. Для ослабления конфликта потребностей между объемами данных и емкостью хранилища и снижения затрат на приобретение IT-оборудования, технология устранения дублированных данных вводится в область хранения данных.

[0088] Сценарий использования варианта осуществления настоящего изобретения является сценарием резервного копирования данных. Резервное копирование данных представляет собой процесс создания, с использованием сервера резервного копирования, резервной копии данных на другой носитель данных для предотвращения потери данных по различным причинам. На фиг. 1 показана архитектура системы резервного копирования данных. Система резервного копирования данных включает в себя клиенты (101a, 101b, ..., и 101n), сервер 102 резервного копирования, сервер 103 устранения дублированных данных (сокращенно именуемый сервером дедупликации или сервером устранения дублирования), и запоминающие устройства (104a, 104b, ..., и 104n). Клиенты (101a, 101b, ..., и 101n) могут представлять собой серверы приложений, рабочие станции и т.п. Сервер 102 резервного копирования выполнен с возможностью создавать резервную копию данных, генерируемых клиентами. Сервер 103 дедупликации выполнен с возможностью выполнения задания устранения дублированных данных для данных резервного копирования. Запоминающие устройства (104a, 104b, ..., и 104n) служат носителями данных, где хранятся данные, из которых были исключены дублированные данные, и могут быть носителями данных, например, дисковыми массивами и библиотеками лент. Клиенты (101a, 101b, ..., и 101n), сервер 102 резервного копирования, сервер 103 устранения дублированных данных и запоминающие устройства (104a, 104b, ..., и 104n) могут быть соединены, например, с использованием коммутатора, локальной сети, интернета или оптического волокна. Вышеупомянутые устройства могут располагаться в одном месте или могут располагаться в разных местах. Сервер 102 резервного копирования, сервер 103 устранения дублирования и запоминающие устройства (104a, 104b, ..., и 104n) могут быть независимыми физическими устройствами или могут быть физически встроенными целиком в конкретной реализации, или сервер 102 резервного копирования и сервер 103 устранения дублирования встроены целиком, или сервер 103 устранения дублирования и запоминающие устройства (104a, 104b, ..., и 104n) встроены целиком и т.п.

[0089] Сервер 103 дедупликации осуществляет операцию устранения дублированных данных на потоке данных для данных резервного копирования, где операция, в общем случае, включает в себя следующие этапы:

(1) поиск точки деления потока данных: поиск точки деления потока данных в потоке данных согласно конкретному алгоритму;

(2) осуществление деления согласно найденной точке деления потока данных для получения фрагменты данных;

(3) вычисление значения признака каждого фрагмента данных: вычисление значения признака фрагмента данных, который служит признаком для идентификации фрагмента данных; и добавление значения признака, полученного посредством вычисления, в список признаков фрагмента данных файла, соответствующий потоку данных, где алгоритм SHA-1 или MD5, в общем случае, используется для вычисления значения признака фрагмента данных;

(4) обнаружение одного и того же фрагмента данных: сравнение значения признака фрагмента данных, полученного посредством вычисления, со значением признака, который уже существует в списке признаков фрагмента данных для определения, существует ли идентичный фрагмент данных; и

(5) устранение блок дублированных данных: если, путем обнаружения одного и того же фрагмента данных, найдено, что в списке признаков фрагмента данных существует такое же значение признака, как значение признака фрагмента данных, пропуск сохранения фрагмента данных или определение, сохранять ли фрагмент данных согласно объему хранения дублированных фрагментов данных, которая определена согласно политике резервного копирования.

[0090] Из этапа осуществления, посредством сервера 103 дедупликации, операции устранения дублированных данных на потоке данных для данных резервного копирования может быть известно, что поиск точки деления потока данных, служащий ключевым этапом в операции устранения дублированных данных, непосредственно определяет производительность устранения дублированных данных.

[0091] Согласно варианту осуществления настоящего изобретения, сервер 103 дедупликации принимает файл резервного копирования, отправленный посредством сервера 102 резервного копирования, и осуществляет обработку устранения дублированных данных на файле. Файл резервного копирования, подлежащий обработке, обычно представляется в форме потока данных на сервере 103 дедупликации. Когда сервер 103 дедупликации ищет точку деления в потоке данных, обычно необходимо определять минимальную единицу для поиска точки деления потока данных. В частности, как показано на фиг. 2, например, точка потенциального деления k₁ располагается между двумя последовательными минимальными единицами, с порядковыми номерами 1 и 2, для поиска точки деления потока данных. Точка потенциального деления означает точку, для которой необходимо определять, может ли точка служить точкой деления потока данных. Когда точка k₁ является точкой деления потока данных, в направлении поиска точки деления потока данных, показанном стрелкой на фиг. 2, осуществляется поиск следующей точки потенциального деления k₇, то есть точки, расположенной между двумя последовательными минимальными единицами, с порядковыми номерами 7 и 8, для поиска точки деления потока данных. Когда точка потенциального деления k₇ является точкой деления потока данных, данные между двумя соседними точками деления потока данных k₁ и k₇ является 1 фрагментом данных. Минимальная единица для поиска точки деления потока данных, в частности, может определяться согласно фактическому требованию, и здесь 1 байт (байт) используется в порядке примера, то есть все минимальные единицы, с порядковыми номерами 1, 2, 7 и 8, для поиска точки деления потока данных имеют размер 1 байт. Направление поиска точки деления потока данных, показанное на фиг. 2, обычно представляет направление поиска от заголовка файла к концевику файла или направление от концевика файла к заголовку файла, и в этом варианте осуществления, в порядке примера используется направление поиска от заголовка файла к концевику файла.

[0092] В сценарии устранения дублированных данных, меньший фрагмент данных, в общем случае, указывает более высокую скорость устранения дублированных данных и более легкий способ нахождения дублированного фрагмента данных, но увеличенный объем метаданных, генерируемых из него; кроме того, после уменьшения фрагмента данных до некоторой степени, скорость устранения дублированных данных больше не возрастает, но объем метаданных быстро возрастает. Таким образом, можно регулировать размер фрагмента данных. В фактических применениях, обычно устанавливается минимальное значение фрагмента данных, например, 4 кбайт (4096 байтов); в то же время, с учетом скорости устранения дублированных данных, также устанавливается максимальное значение фрагмента данных, то есть размер фрагмента данных не может превышать максимальное значение, например, 12 кбайт (12288 байтов). Конкретный вариант реализации показан на фиг. 3. Сервер 103 дедупликации ищет точку деления потока данных в направлении, показанном стрелкой. ka является найденной в данный момент точкой деления потока данных, и из ka, осуществляется поиск следующей точки потенциального деления в направлении поиска точки деления потока данных. Для выполнения требования минимального фрагмента данных, обычно начинающегося с точки деления потока данных, размер минимального фрагмента данных пропускается в направлении поиска точки деления потока данных, и поиск начинается с концевой позиции минимального фрагмента данных, то есть концевая позиция минимального фрагмента данных служит следующей точкой потенциального деления ki. В этом варианте осуществления настоящего изобретения, минимальный фрагмент данных размером 4 кбайт, то есть 4*1024=4096 байтов сначала можно пропускать от точки ka в направлении поиска точки деления потока данных. 4096 байтов пропускается от точки ka в направлении поиска точки деления потока данных, и точка ki получается в концевой позиции 4096-го байта, чтобы выступать в качестве точки потенциального деления. Например, ki располагается между двумя последовательными минимальными единицами, с порядковыми номерами 4096 и 4097, для поиска точки деления потока данных. Также используя фиг. 3 в порядке примера, ka является найденной в данный момент точкой деления потока данных, и поиск следующей точки деления потока данных осуществляется в направлении, показанном на фиг. 3. Если следующая точка деления потока данных не найдена по прошествии максимального значения фрагмента данных, начиная с точки ka в направлении поиска точки деления потока данных, точка kz, в которой достигается максимальное значение фрагмента данных, служит следующей точкой деления потока данных и осуществляется принудительное деление.

[0093] Вариант осуществления настоящего изобретения предусматривает способ поиска точки деления потока данных на основе сервера дедупликации, который, как показано на фиг. 4, включает в себя:

[0094] правило заранее задается на сервере 103 дедупликации, причем правило предусматривает: для точки потенциального деления k, определение M точек px, окна Wx[px-Ax, px+Bx], соответствующего точке px, и заранее заданного условия Cx, соответствующего окну Wx[px-Ax, px+Bx], где x указывает последовательные натуральные числа от 1 до M, M≥2, и Ax и Bx являются целыми числами, где расстояние между px и точкой потенциального деления k равно dx минимальных единиц для поиска точки деления потока данных, минимальная единица для поиска точки деления потока данных представлена как U, и в этом варианте осуществления, U=1 байт. В варианте реализации, показанном на фиг. 3, вблизи значения M, в одном варианте реализации, значение M*U не превышает заранее заданного максимального расстояния между двумя соседними точками деления потока данных, то есть заранее заданной максимальной длины фрагмента данных. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wz[pz-Az, pz+Bz], соответствующем точке pz, заранее заданному условию Cz, где z – целое число, 1≤z≤M, и (pz-Az) и (pz+Bz) представляют две границы окна Wz. Когда определено, что, по меньшей мере, часть данных в окне Wz[pz-Az, pz+Bz] любой точки pz не удовлетворяет заранее заданному условию Cz, N байтов пропускается от точки pz, соответствующий окну Wz[pz-Az, pz+Bz], которая не удовлетворяет заранее заданному условию, в направлении поиска точки деления потока данных, где N≤‖Bz‖+max_x(‖Ax‖+‖(k-px)‖), где ‖(k-px)‖ представляет расстояние между любой точкой из M точек px и точкой потенциального деления k, max_x(‖Ax‖+‖(k-px)‖) представляет максимальное значение суммы абсолютного значения расстояния между любой точкой из M точек px и точкой потенциального деления k и абсолютного значения Ax, соответствующего любой точке, и ‖Bz‖ представляет абсолютное значение Bz в Wz[pz-Az, pz+Bz]. Принцип задания значения N, в частности, введен в нижеследующих вариантах осуществления. Когда определено, что, по меньшей мере, часть данных в каждом окне Wx[px-Ax, px+Bx] из M окон удовлетворяет заранее заданному условию Cx, точка потенциального деления k является точкой деления потока данных.

[0095] В частности, для текущей точки потенциального деления ki, следующие этапы осуществляются согласно правилу:

[0096] Этап 401: определить точку piz и окно Wiz[piz-Az, piz+Bz], соответствующее точке piz, для текущей точки потенциального деления ki согласно правилу, где i и z являются целыми числами, и 1≤z≤M.

[0097] Этап 402: определить, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz;

когда, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] не удовлетворяет заранее заданному условию Cz, пропустить N минимальных единиц U для поиска точки деления потока данных от точки piz в направлении поиска точки деления потока данных, где N*U не превышает ‖Bz‖+max_x(‖Ax‖+‖(ki-pix)‖), для получения новой точки потенциального деления, и осуществить этап 401; и

когда, по меньшей мере, часть данных в каждом окне Wix[pix-Ax, pix+Bx] из M окон текущей точки потенциального деления ki удовлетворяет заранее заданному условию Cx, выбрать текущую точку потенциального деления ki в качестве точки деления потока данных.

[0098] Кроме того, правило дополнительно предусматривает, что, по меньшей мере, две точки pe и pf удовлетворяют условиям Ae=Af, Be=Bf и Ce=Cf.

[0099] Правило дополнительно предусматривает, что: относительно точки потенциального деления k, по меньшей мере, две точки pe и pf ориентированы в направлении, противоположном направлению поиска точки деления потока данных.

[0100] Правило дополнительно предусматривает, что расстояние между, по меньшей мере, двумя точками pe и pf равно 1 U.

[0101] Определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz, в частности, включает в себя:

[0102] Определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz, в частности, содержит: определение, с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz.

[0103] когда, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] не удовлетворяет заранее заданному условию Cz, N минимальных единиц U для поиска точки деления потока данных пропускается от точки piz в направлении поиска точки деления потока данных, для получения новой точки потенциального деления, и, согласно правилу, левая граница окна Wic[pic-Ac, pic+Bc], соответствующая точке pic, которая определена для новой точки потенциального деления, совпадает с правой границей окна Wiz[piz-Az, piz+Bz], или левая граница окна Wic[pic-Ac, pic+Bc], соответствующая точке pic, которая определена для новой точки потенциального деления, попадает в диапазон окна Wiz[piz-Az, piz+Bz], где точка pic, определенная для новой точки потенциального деления, является точкой, занимающей первую позицию в последовательности, которая получена направлению поиска точки деления потока данных, из M точек, которые определены для новой точки потенциального деления согласно правилу.

[0104] В этом варианте осуществления настоящего изобретения, поиск точки деления потока данных осуществляется путем определения, удовлетворяет ли, по меньшей мере, часть данных в окне из M окон заранее заданному условию, и когда, по меньшей мере, часть данных в окне не удовлетворяет заранее заданному условию, пропускается длина N*U, где N*U не превышает ‖Bz‖+max_x(‖Ax‖+‖(ki-pix)‖), для получения следующей точки потенциального деления, что повышает эффективность поиска точки деления потока данных.

[0105] В процессе устранения дублированных данных, чтобы гарантировать одномерный размер фрагмента данных, рассматривается средний размер фрагмента данных (также именуемый средним фрагментом). Таким образом, хотя ограничения на размер минимального фрагмента данных и размер максимального фрагмента данных удовлетворяются, размер среднего фрагмента данных определяется, чтобы гарантировать одномерный размер полученного фрагмента данных. Вероятность (представленная как P(n)) нахождения точки деления потока данных зависит от двух факторов, то есть количества M точек px, и вероятность того, что, по меньшей мере, часть данных в окне Wx[px-Ax, px+Bx], соответствующем точке px, удовлетворяет заранее заданному условию Cx, где первый влияет на длину пропуска, последний влияет на вероятность пропуска, и оба вместе влияют на размер среднего фрагмента. В общем случае, когда размер среднего фрагмента является фиксированным, с увеличением количества M точек px, вероятность того, что, по меньшей мере, часть данных в окне Wx[px-Ax, px+Bx], соответствующем единичной точке px, удовлетворяет заранее заданному условию Cx, также возрастает. Например, правило, заранее заданное на сервере 103 дедупликации, предусматривает: для точки потенциального деления k, определение 11 точек px, где x указывает последовательные натуральные числа от 1 до 11 по отдельности, и вероятность того, что, по меньшей мере, часть данных в окне Wx[px-Ax, px+Bx], соответствующем любой точке px из 11 точек удовлетворяет заранее заданному условию Cx, равна 1/2. Другая группа правил, заранее заданных на сервере 103 дедупликации, предусматривает: выбор 24 точки px для точки потенциального деления k, где x указывает последовательные натуральные числа от 1 до 24 по отдельности, и вероятность того, что, по меньшей мере, часть данных в окне Wx[px-Ax, px+Bx], соответствующем любой точке px из 24 точек удовлетворяет заранее заданному условию Cx, равна 3/4. Для задания вероятности того, что, по меньшей мере, часть данных в конкретном окне Wx[px-Ax, px+Bx] удовлетворяет заранее заданному условию Cx, можно обратиться к описанию части определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wx[px-Ax, px+Bx] заранее заданному условию Cx. P(n) зависит от двух факторов, то есть количества M точек px и вероятности того, что, по меньшей мере, часть данных в окне Wx[px-Ax, px+Bx], соответствующем точке px, удовлетворяет заранее заданному условию Cx, и P(n) представляет вероятность того, что не найдено ни одной точки деления потока данных после N минимальных единиц для поиска точки деления потока данных в поиске от начальной позиции / предыдущей точки деления потока данных потока данных. Процесс вычисления P(n), которая зависит от двух факторов, фактически является n-шаговой последовательностью Фибоначчи, которая подробно описана ниже. После получения P(n), 1-P(n) является функцией распределения точки деления потока данных, и (1-P(n))-(1-P(n-1))=P(n-1)-P(n) является вероятностью того, что точка деления потока данных найдена в n-й точке, то есть функцией плотности точки деления потока данных. Интегрирование можно осуществлять согласно функции плотности точки деления потока данных, для получения предполагаемой длины точки деления потока данных, то есть размера среднего фрагмента, где 4*1024 (байтов) представляет длину минимального фрагмента данных, и 12*1024 (байтов) представляет длину максимального фрагмента данных.

[0106] На основании поиска точки деления потока данных, показанного на фиг. 3, в варианте реализации, показанном на фиг. 5, правило заранее задается на сервере 103 дедупликации, причем правило предусматривает: для точки потенциального деления k, определение 11 точек px, окна Wx[px-Ax, px+Bx] (сокращенно, окна Wx) соответствующего точке px, и заранее заданного условия Cx, соответствующего окну Wx[px-Ax, px+Bx], где A₁=A₂=A₃=A₄=A₅=A₆=A₇=A₈=A₉=A₁₀=A₁₁=169, B₁=B₂=B₃=B₄=B₅=B₆=B₇=B₈=B₉=B₁₀=B₁₁=0, и C₁=C₂=C₃=C₄=C₅=C₆=C₇=C₈=C₉=C₁₀=C₁₁. Расстояние между точкой px и точкой потенциального деления k равно dx байтам. В частности, расстояние между точкой p₁ и точкой потенциального деления k равно 0 байтов, расстояние между точкой p₂ и точкой потенциального деления k равно 1 байту, расстояние между точкой p₃ и точкой потенциального деления k равно 2 байтам, расстояние между точкой p₄ и точкой потенциального деления k равно 3 байтам, расстояние между точкой p₅ и точкой потенциального деления k равно 4 байтам, расстояние между точкой p₆ и точкой потенциального деления k равно 5 байтам, расстояние между точкой p₇ и точкой потенциального деления k равно 6 байтам, расстояние между точкой p₈ и точкой потенциального деления k равно 7 байтам, расстояние между точкой p₉ и точкой потенциального деления k равно 8 байтам, расстояние между точкой p₁₀ и точкой потенциального деления k равно 9 байтам, расстояние между точкой p₁₁ и точкой потенциального деления k равно 10 байтам, и относительно точки потенциального деления k, все точки p₂, p₃, p₄, p₅, p₆, p₇, p₈, p₉, p₁₀ и p₁₁ ориентированы в направлении, противоположном направлению поиска точки деления потока данных. ka является точкой деления потока данных, и направление поиска точки деления потока данных, показанное на фиг. 5 является направлением слева направо. После пропуска минимального фрагмента данных размером 4 кбайт от точки деления потока данных ka, концевая позиция минимального фрагмента данных длиной 4 кбайт служит следующей точкой потенциального деления ki, и точка pix определяется для точки потенциального деления ki. В этом варианте осуществления, согласно правилу, заранее заданному на сервере 103 дедупликации, x указывает последовательные натуральные числа от 1 до 11 по отдельности. В варианте реализации, показанном на фиг. 5, 11 точек определяется для точки потенциального деления ki, и представляют собой pi₁, pi₂, pi₃, pi₄, pi₅, pi₆, pi₇, pi₈, pi₉, pi₁₀ и pi₁₁ по отдельности, и окна, соответствующие точкам pi₁, pi₂, pi₃, pi₄, pi₅, pi₆, pi₇, pi₈, pi₉, pi₁₀ и pi₁₁, являются Wi₁[pi₁-169, pi₁], Wi₂[pi₂-169, pi₂], Wi₃[pi₃-169, pi₃], Wi₄[pi₄-169, pi₄], Wi₅[pi₅-169, pi₅], Wi₆[pi₆-169, pi₆], Wi₇[pi₇-169, pi₇], Wi₈[pi₈-169, pi₈], Wi₉[pi₉-169, pi₉], Wi₁₀[pi₁₀-169, pi₁₀] и Wi₁₁[pi₁₁-169, pi₁₁] соответственно. Вышеупомянутый окна по отдельности сокращенно именуются Wi₁, Wi₂, Wi₃, Wi₄, Wi₅, Wi₆, Wi₇, Wi₈, Wi₉, Wi₁₀ и Wi₁₁. Расстояние между точкой pix и точкой потенциального деления ki равно dx байтам. В частности, расстояние между pi₁ и ki равно 0 байтов, расстояние между pi₂ и ki равно 1 байту, расстояние между pi₃ и ki равно 2 байтам, расстояние между pi₄ и ki равно 3 байтам, расстояние между pi₅ и ki равно 4 байтам, расстояние между pi₆ и ki равно 5 байтам, расстояние между pi₇ и ki равно 6 байтам, расстояние между pi₈ и ki равно 7 байтам, расстояние между pi₉ и ki равно 8 байтам, расстояние между pi₁₀ и ki равно 9 байтам, расстояние между pi₁₁ и ki равно 10 байтам, и относительно точки потенциального деления ki, и pi₂, pi₃, pi₄, pi₅, pi₆, pi₇, pi₈, pi₉, pi₁₀ и pi₁₁ ориентированы в направлении, противоположном направлению поиска точки деления потока данных. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] заранее заданному условию C₁, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₂[pi₂-169, pi₂] заранее заданному условию C₂, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₃[pi₃-169, pi₃] заранее заданному условию C₃, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₄[pi₄-169, pi₄] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₅[pi₅-169, pi₅] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₆[pi₆-169, pi₆] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₇[pi₇-169, pi₇] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₈[pi₈-169, pi₈] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₉[pi₉-169, pi₉] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁₀[pi₁₀-169, pi₁₀] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁₁[pi₁₁-169, pi₁₁] заранее заданному условию C₁₁. Когда определено, что, по меньшей мере, часть данных в окне Wi₁ удовлетворяет заранее заданному условию C₁, по меньшей мере, часть данных в окне Wi₂ удовлетворяет заранее заданному условию C₂, по меньшей мере, часть данных в окне Wi₃ удовлетворяет заранее заданному условию C₃, по меньшей мере, часть данных в окне Wi₄ удовлетворяет заранее заданному условию C₄, по меньшей мере, часть данных в окне Wi₅ удовлетворяет заранее заданному условию C₅, по меньшей мере, часть данных в окне Wi₆ удовлетворяет заранее заданному условию C₆, по меньшей мере, часть данных в окне Wi₇ удовлетворяет заранее заданному условию C₇, по меньшей мере, часть данных в окне Wi₈ удовлетворяет заранее заданному условию C₈, по меньшей мере, часть данных в окне Wi₉ удовлетворяет заранее заданному условию C₉, по меньшей мере, часть данных в окне Wi₁₀ удовлетворяет заранее заданному условию C₁₀, и, по меньшей мере, часть данных в окне Wi₁₁ удовлетворяет заранее заданному условию C₁₁, текущая точка потенциального деления ki является точкой деления потока данных. Когда, по меньшей мере, часть данных в любом окне из 11 окон не удовлетворяет соответствующему заранее заданному условию, например, как показано на фиг. 6, по меньшей мере, часть данных в Wi₅[pi₅-169, pi₅] не удовлетворяет соответствующему заранее заданному условию C₅, N байтов пропускается от точки pi₅ в направлении поиска точки деления потока данных, где N байтов не больше ‖B₅‖+max_x(‖Ax‖+‖(ki-pix)‖). В варианте реализации, показанном на фиг. 6, число N пропущенных байтов не превышает 179 байтов, и в этом варианте осуществления, N=11, для получения следующей точки потенциального деления. Для отличения от точки потенциального деления ki, новая точка потенциального деления представлена здесь как kj. Согласно правилу, заранее заданному на сервере 103 дедупликации в варианте реализации, показанном на фиг. 5, 11 точек определяется для точки потенциального деления kj, и представляют собой pj₁, pj₂, pj₃, pj₄, pj₅, pj₆, pj₇, pj₈, pj₉, pj₁₀ и pj₁₁ по отдельности, и окна, соответствующие точкам pj₁, pj₂, pj₃, pj₄, pj₅, pj₆, pj₇, pj₈, pj₉, pj₁₀ и pj₁₁, определяются и являются Wj₁[pj₁-169, pj₁], Wj₂[pj₂-169, pj₂], Wj₃[pj₃-169, pj₃], Wj₄[pj₄-169, pj₄], Wj₅[pj₅-169, pj₅], Wj₆[pj₆-169, pj₆], Wj₇[pj₇-169, pj₇], Wj₈[pj₈-169, pj₈], Wj₉[pj₉-169, pj₉], Wj₁₀[pj₁₀-169, pj₁₀] и Wj₁₁[pj₁₁-169, pj₁₁] соответственно. Расстояние между pjx и точкой потенциального деления kj равно dx байтам. В частности, расстояние между pj₁ и kj равно 0 байтов, расстояние между pj₂ и kj равно 1 байту, расстояние между pj₃ и kj равно 2 байтам, расстояние между pj₄ и kj равно 3 байтам, расстояние между pj₅ и kj равно 4 байтам, расстояние между pj₆ и kj равно 5 байтам, расстояние между pj₇ и kj равно 6 байтам, расстояние между pj₈ и kj равно 7 байтам, расстояние между pj₉ и kj равно 8 байтам, расстояние между pj₁₀ и kj равно 9 байтам, расстояние между pj₁₁ и kj равно 10 байтам, и относительно точки потенциального деления kj, все pj₁, pj₂, pj₃, pj₄, pj₅, pj₆, pj₇, pj₈, pj₉, pj₁₀ и pj₁₁ ориентированы в направлении, противоположном направлению поиска точки деления потока данных. В варианте реализации, показанном на фиг. 6, когда 11-е окно Wj₁₁[pj₁₁-169, pj₁₁] определяется для точки потенциального деления kj, чтобы гарантировать, что диапазон между точкой потенциального деления ki и точкой потенциального деления kj полностью заключен в диапазоне определения, в этом варианте реализации можно гарантировать, что левая граница окна Wj₁₁[pj₁₁-169, pj₁₁] совпадает с правой границей pi₅ Wi₅[pi₅-169, pi₅] или попадает в диапазон Wi₅[pi₅-169, pi₅], где точка pj₁₁, определенная для точки потенциального деления kj, является точкой, занимающей первую позицию в последовательности, которая получена согласно направлению поиска точки деления потока данных, из M точек, которые определены для точки потенциального деления kj согласно правилу. Таким образом, при таком ограничении, когда, по меньшей мере, часть данных в Wi₅[pi₅-169, pi₅] не удовлетворяет заранее заданному условию C₅, расстояние для пропуска от pi₅ в направлении поиска точки деления потока данных не превышает ‖B₅‖+max_x(‖Ax‖+‖(ki-pix)‖), где M=11, и 11*U не превышает max_x(‖Ax‖+‖(ki-pix)‖), и, таким образом, расстояние для пропуска от pi₅ в направлении поиска точки деления потока данных не превышает 179. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в W_j1[pj₁-169, pj₁] заранее заданному условию C₁, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₂[pj₂-169, pj₂] заранее заданному условию C₂, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₃[pj₃-169, pj₃] заранее заданному условию C₃, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₄[pj₄-169, pj₄] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₅[pj₅-169, pj₅] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₆[pj₆-169, pj₆] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₇[pj₇-169, pj₇] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₈[pj₈-169, pj₈] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₉[pj₉-169, pj₉] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₀[pj₁₀-169, pj₁₀] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₁[pj₁₁-169, pj₁₁] заранее заданному условию C₁₁. Конечно, в этом варианте осуществления настоящего изобретения, правило также выполняется, когда производится определение, является ли точка потенциального деления ka точкой деления потока данных, конкретная реализация повторно не описана, и можно обратиться к описанию определения точки потенциального деления ki. Когда определено, что, по меньшей мере, часть данных в окне Wj₁ удовлетворяет заранее заданному условию C₁, по меньшей мере, часть данных в окне Wj₂ удовлетворяет заранее заданному условию C₂, по меньшей мере, часть данных в окне Wj₃ удовлетворяет заранее заданному условию C₃, по меньшей мере, часть данных в окне Wj₄ удовлетворяет заранее заданному условию C₄, по меньшей мере, часть данных в окне Wj₅ удовлетворяет заранее заданному условию C₅, по меньшей мере, часть данных в окне Wj₆ удовлетворяет заранее заданному условию C₆, по меньшей мере, часть данных в окне Wj₇ удовлетворяет заранее заданному условию C₇, по меньшей мере, часть данных в окне Wj₈ удовлетворяет заранее заданному условию C₈, по меньшей мере, часть данных в окне Wj₉ удовлетворяет заранее заданному условию C₉, по меньшей мере, часть данных в окне Wj₁₀ удовлетворяет заранее заданному условию C₁₀, и, по меньшей мере, часть данных в окне Wj₁₁ удовлетворяет заранее заданному условию C₁₁, текущая точка потенциального деления kj является точкой деления потока данных, и данные между kj и ka образуют 1 фрагмент данных. При этом, минимальный фрагмент размером 4 кбайт пропускается таким же, образом как для ka для получения следующей точки потенциального деления, и производится определение, согласно правилу, заранее заданному на сервере 103 дедупликации, является ли следующая точка потенциального деления точкой деления потока данных. Когда определено, что точка потенциального деления kj не является точкой деления потока данных, 11 байтов пропускается таким же, образом как для ki для получения следующей точки потенциального деления, и производится определение, согласно правилу, заранее заданному на сервере 103 дедупликации, и вышеупомянутому способу, является ли следующая точка потенциального деления точкой деления потока данных. Когда не найдено ни одной точки деления потока данных по прохождении максимального фрагмента данных, концевая позиция максимального фрагмента данных служит точкой принудительного деления.

[0107] В варианте реализации, показанном на фиг. 5, согласно правилу, заранее заданному на сервере 103 дедупликации, начиная с определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] заранее заданному условию C₁, когда определено, что, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] удовлетворяет заранее заданному условию C₁, определено, что, по меньшей мере, часть данных в Wi₂[pi₂-169, pi₂] удовлетворяет заранее заданному условию C₂, определено, что, по меньшей мере, часть данных в Wi₃[pi₃-169, pi₃] удовлетворяет заранее заданному условию C₃, определено, что, по меньшей мере, часть данных в Wi₄[pi₄-169, pi₄] удовлетворяет заранее заданному условию C₄, и определено, что, по меньшей мере, часть данных в Wi₅[pi₅-169, pi₅] не удовлетворяет заранее заданному условию C₅, 10 байтов пропускается от точки pi₅ в направлении поиска точки деления потока данных, и новая точка потенциального деления получается в концевой позиции 10-го байта, которая представлена здесь как kg для отличения от других точек потенциального деления. Согласно правилу, заранее заданному на сервере 103 дедупликации, 11 точек pgx определяются для точки потенциального деления kg, где x указывает последовательные натуральные числа от 1 до 11 по отдельности, и представляют собой pg₁, pg₂, pg₃, pg₄, pg₅, pg₆, pg₇, pg₈, pg₉, pg₁₀ и pg₁₁ по отдельности, и окна, соответствующие точкам pg₁, pg₂, pg₃, pg₄, pg₅, pg₆, pg₇, pg₈, pg₉, pg₁₀ и pg₁₁, определяются и являются Wg₁[pg₁-169, pg₁], Wg₂[pg₂-169, pg₂], Wg₃[pg₃-169, pg₃], Wg₄[pg₄-169, pg₄], Wg₅[pg₅-169, pg₅], Wg₆[pg₆-169, pg₆], Wg₇[pg₇-169, pg₇], Wg₈[pg₈-169, pg₈], Wg₉[pg₉-169, pg₉], Wg₁₀[pg₁₀-169, pg₁₀] и Wg₁₁[pg₁₁-169, pg₁₁] соответственно. Расстояние между pgx и точкой потенциального деления kg равно dx байтам. В частности, расстояние между pg₁ и kg равно 0 байтов, расстояние между pg₂ и kg равно 1 байту, расстояние между pg₃ и kg равно 2 байтам, расстояние между pg₄ и kg равно 3 байтам, расстояние между pg₅ и kg равно 4 байтам, расстояние между pg₆ и kg равно 5 байтам, расстояние между pg₇ и kg равно 6 байтам, расстояние между pg₈ и kg равно 7 байтам, расстояние между pg₉ и kg равно 8 байтам, расстояние между pg₁₀ и kg равно 9 байтам, расстояние между pg₁₁ и kg равно 10 байтам, и относительно точки потенциального деления kg, все pg₂, pg₃, pg₄, pg₅, pg₆, pg₇, pg₈, pg₉, pg₁₀ и pg₁₁ ориентированы в направлении, противоположном направлению поиска точки деления потока данных. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wg₁[pg₁-169, pg₁] заранее заданному условию C₁, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wg₂[pg₂-169, pg₂] заранее заданному условию C₂, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wg₃[pg₃-169, pg₃] заранее заданному условию C₃, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wg₄[pg₄-169, pg₄] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wg₅[pg₅-169, pg₅] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wg₆[pg₆-169, pg₆] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wg₇[pg₇-169, pg₇] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wg₈[pg₈-169, pg₈] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wg₉[pg₉-169, pg₉] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wg₁₀[pg₁₀-169, pg₁₀] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wg₁₁[pg₁₁-169, pg₁₁] заранее заданному условию C₁₁. Таким образом, точка pg₁₁, соответствующая точке потенциального деления kg, совпадает с точкой pi₅, соответствующей точке потенциального деления ki, окно Wg₁₁[pg₁₁-169, pg₁₁], соответствующее точке pg₁₁, совпадает с окном Wi₅[pi₅-169, pi₅], соответствующим точке pi₅, и C₅=C₁₁; таким образом, для точки потенциального деления ki, когда определено, что, по меньшей мере, часть данных в Wi₅[pi₅-169, pi₅] не удовлетворяет заранее заданному условию C₅, точка потенциального деления kg, полученная пропуском 10 байтов от точки pi₅ в направлении поиска точки деления потока данных, по прежнему не удовлетворяет условию использования в качестве точки деления потока данных. Таким образом, при наличии повторных вычислений, когда 10 байтов пропускается от точки pi₅ в направлении поиска точки деления потока данных, количество повторных вычислений может сокращаться, и эффективность повышаться, когда 11 байтов пропускается от точки pi₅ в направлении поиска точки деления потока данных. Таким образом, возрастает скорость поиска точки деления потока данных. Когда вероятность того, что, по меньшей мере, часть данных в окне Wx[px-Ax, px+Bx], соответствующем точке px, которая определена согласно заранее заданному правилу, удовлетворяет заранее заданному условию Cx, равна 1/2, то есть вероятность выполнения пропуска равна 1/2, каждый раз можно пропускать, самое большее, 179 байтов.

[0108] В этом варианте реализации, заранее заданное правило предусматривает: для точки потенциального деления k, определение 11 точек px, окна Wx[px-Ax, px+Bx], соответствующего точке px, и заранее заданного условия Cx, соответствующего окну Wx[px-Ax, px+Bx], где x указывает последовательные натуральные числа от 1 до 11 по отдельности, где вероятность того, что, по меньшей мере, часть данных в окне Wx[px-Ax, px+Bx], соответствующем точке px, удовлетворяет заранее заданному условию, равна 1/2, и P(n) можно вычислить с использованием двух факторов, то есть количества точек px и вероятности того, что, по меньшей мере, часть данных в окне Wx[px-Ax, px+Bx], соответствующем точке px, удовлетворяет заранее заданному условию. Кроме того, A₁=A₂=A₃=A₄=A₅=A₆=A₇=A₈=A₉=A₁₀=A₁₁=169, B₁=B₂=B₃=B₄=B₅=B₆=B₇=B₈=B₉=B₁₀=B₁₁=0, и C₁=C₂=C₃=C₄=C₅=C₆=C₇=C₈=C₉=C₁₀=C₁₁, где расстояние между px и точкой потенциального деления k равно dx байтам. В частности, расстояние между p₁ и точкой потенциального деления k равно 0 байтов, расстояние между p₂ и k равно 1 байту, расстояние между p₃ и k равно 2 байтам, расстояние между p₄ и k равно 3 байтам, расстояние между p₅ и k равно 4 байтам, расстояние между p₆ и k равно 5 байтам, расстояние между p₇ и k равно 6 байтам, расстояние между p₈ и k равно 7 байтам, расстояние между p₉ и k равно 8 байтам, расстояние между p₁₀ и k равно 9 байтам, расстояние между p₁₁ и k равно 10 байтам, и относительно точки потенциального деления k, все p₂, p₃, p₄, p₅, p₆, p₇, p₈, p₉, p₁₀ и p₁₁ ориентированы в направлении, противоположном направлению поиска точки деления потока данных. Таким образом, является ли точка потенциального деления k точкой деления потока данных, зависит от того, существует ли то, что, по меньшей мере, часть данных в каждом окне из окон, соответствующих 11 последовательным точкам, удовлетворяет заранее заданному условию Cx. После пропуска минимального фрагмента длиной 4096 байтов от начальной позиции/ предыдущей точки деления потока данных потока данных, 4086-ая точка находится путем возвращения на 10 байтов в направлении, противоположном направлению поиска точки деления потока данных, и в точке не существует ни одной точки деления потока данных; таким образом, P(4086)=1, и P(4087)=1, ..., P(4095)=1, и т.д. В 4096-й точке, то есть, в точке, которая используется для получения минимального фрагмента, с вероятностью (1/2)^11, по меньшей мере, часть данных в каждом окне из окон, соответствующих 11 точкам, удовлетворяет заранее заданному условию Cx. Поэтому, с вероятностью (1/2)^11, существует точка деления потока данных; с вероятностью 1-(1/2)^11, не существует ни одной точки деления потока данных; таким образом P(11)=1-(1/2)^11.

[0109] В n-й точке, может существовать 12 случаев получения P(n) посредством рекурсии.

[0110] Случай 1: с вероятностью 1/2, по меньшей мере, часть данных в окне, соответствующем n-й точке, не удовлетворяет заранее заданному условию; в этом случае, с вероятностью P(n-1), 11 последовательных точек не существует среди (n-1) точек до n-й точки, где, по меньшей мере, часть данных в каждом окне из окон, соответствующих 11 последовательным точкам, по отдельности удовлетворяет заранее заданному условию. Таким образом, P(n) включает в себя 1/2*P(n-1). Случай, когда, по меньшей мере, часть данных в окне, соответствующем n-й точке, не удовлетворяет заранее заданному условию, и существует 11 последовательных точек среди (n-1) точек до n-й точки, где, по меньшей мере, часть данных в каждом окне из окон, соответствующих 11 последовательным точкам, по отдельности удовлетворяет заранее заданному условию, не связан с P(n).

[0111] Случай 2: с вероятностью 1/2, по меньшей мере, часть данных в окне, соответствующем n-й точке, удовлетворяет заранее заданному условию, и с вероятностью 1/2, по меньшей мере, часть данных в окне, соответствующем (n-1)-й точке, не удовлетворяет заранее заданному условию; в этом случае, с вероятностью P(n-2), 11 последовательных точек не существует среди (n-2) точек до (n-1)-й точки, где, по меньшей мере, часть данных в каждом окне из окон, соответствующих 11 последовательным точкам, по отдельности удовлетворяет заранее заданному условию. Таким образом, P(n) включает в себя 1/2*1/2*P(n-2). Случай, когда, по меньшей мере, часть данных в окне, соответствующем n-й точке, удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне, соответствующем (n-1)-й точке, не удовлетворяет заранее заданному условию, и существует 11 последовательных точек среди (n-2) точек до (n-1)-й точки, где, по меньшей мере, часть данных в каждом окне из окон, соответствующих 11 последовательным точкам, по отдельности удовлетворяет заранее заданному условию, не связан с P(n).

[0112] Согласно вышеупомянутому описанию, случай 11: с вероятностью (1/2)^10, по меньшей мере, часть данных в окнах, соответствующих точкам с n-й по (n-9)-ую, удовлетворяет заранее заданному условию, и с вероятностью 1/2, по меньшей мере, часть данных в окне, соответствующем (n-10)-й точке, не удовлетворяет заранее заданному условию; в этом случае, с вероятностью P(n-11), 11 последовательных точек не существует среди (n-11) точек до (n-10)-й точки, где, по меньшей мере, часть данных в каждом окне из окон, соответствующих 11 последовательным точкам, по отдельности удовлетворяет заранее заданному условию. Таким образом, P(n) включает в себя (1/2)^10*1/2*P(n-11). Случай, когда, по меньшей мере, часть данных в окнах, соответствующих точкам с n-й по (n-9)-ую, удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне, соответствующем (n-10)-й точке, не удовлетворяет заранее заданному условию, и существует 11 последовательных точек среди (n-11) точек до (n-10)-й точки, где, по меньшей мере, часть данных в каждом окне из окон, соответствующих 11 последовательным точкам, по отдельности удовлетворяет заранее заданному условию, не связан с P(n).

[0113] Случай 12: с вероятностью (1/2)^11, по меньшей мере, часть данных в окнах, соответствующих точкам с n-й по (n-10)-ую, удовлетворяет заранее заданному условию, и этот случай не связан с P(n).

[0114] Таким образом, P(n)=1/2*P(n-1)+(1/2)^2*P(n-2)+...+(1/2)^11*P(n-11). Другое заранее заданное правило предусматривает: для точки потенциального деления k, определение 24 точек px, окна Wx[px-Ax, px+Bx], соответствующего точке px, и заранее заданного условия Cx, соответствующего окну Wx[px-Ax, px+Bx], где x указывает последовательные натуральные числа от 1 до 24 по отдельности, где вероятность того, что, по меньшей мере, часть данных в окне Wx[px-Ax, px+Bx], соответствующем точке px, удовлетворяет заранее заданному условию Cx, равна 3/4, и P(n) можно вычислить с использованием двух факторов, то есть количества точек px и вероятности того, что, по меньшей мере, часть данных в окне Wx[px-Ax, px+Bx], соответствующем точке px, удовлетворяет заранее заданному условию. Кроме того, A₁=A₂=A₃=A₄=A₅=A₆=A₇=A₈=A₉=A₁₀=A₁₁=169, B₁=B₂=B₃=B₄=B₅=B₆=B₇=B₈=B₉=B₁₀=B₁₁=0, и C₁=C₂=C₃=C₄=C₅=C₆=C₇=C₈=C₉=...=C₂₂=C₂₃=C₂₄, где расстояние между px и точкой потенциального деления k равно dx байтам. В частности, расстояние между p₁ и точкой потенциального деления k равно 0 байтов, расстояние между p₂ и k равно 1 байту, расстояние между p₃ и k равно 2 байтам, расстояние между p₄ и k равно 3 байтам, расстояние между p₅ и k равно 4 байтам, расстояние между p₆ и k равно 5 байтам, расстояние между p₇ и k равно 6 байтам, расстояние между p₈ и k равно 7 байтам, расстояние между p₉ и k равно 8 байтам, ..., расстояние между p₂₂ и k равно 21 байту, расстояние между p₂₃ и k равно 22 байтам, расстояние между p₂₄ и k равно 23 байтам, и относительно точки потенциального деления k, все p₂, p₃, p₄, p₅, p₆, p₇, p₈, p₉, ..., p₂₂, p₂₃ и p₂₄ ориентированы в направлении, противоположном направлению поиска точки деления потока данных. Таким образом, является ли точка потенциального деления k точкой деления потока данных, зависит от того, существует ли то, что, по меньшей мере, часть данных в каждом окне из окон, соответствующих 24 последовательным точкам, удовлетворяет заранее заданному условию Cx, и вычисление можно осуществлять с использованием нижеследующих формул:

P(4073)=1, P(4074)=1, ..., P(4095)=1, P(4096)=1-(3/4)^24, и

P(n)=1/4*P(n-1)+1/4*(3/4)*P(n-2)+...+1/4*(3/4)^23*P(n-24).

[0115] После вычисления, P(5*1024)=0.78, P(11*1024)=0.17, и P(12*1024)=0.13. Таким образом, ни одна точка деления потока данных не находится с вероятностью 13% после перехода поиска к точке на расстоянии 12 кбайт от начальной позиции/ предыдущей точки деления потока данных потока данных, и осуществляется принудительное деление. Функция плотности точки деления потока данных получается с использованием этой вероятности, и, после интегрирования, получается, что в среднем, точка деления потока данных находится после перехода поиска к точке на расстоянии около 7.6 кбайт от начальной позиции/ предыдущей точки деления потока данных потока данных, то есть средняя длина фрагмента составляет около 7.6 кбайт. В отличие от случая, когда, по меньшей мере, часть данных в окнах, соответствующих 11 последовательным точкам, удовлетворяет заранее заданному условию с вероятностью 1/2, традиционный алгоритм CDC может приводить к тому, что средняя длина фрагмента равна 7,6 кбайт, только, когда одно окно удовлетворяет условию с вероятностью 1/2^12.

[0116] На основании поиска точки деления потока данных, показанного на фиг. 3, в варианте реализации, показанном на фиг. 7, правило заранее задается на сервере 103 дедупликации, причем правило предусматривает: для точки потенциального деления k, определение 11 точек px, окна Wx[px-Ax, px+Bx], соответствующего точке px, и заранее заданного условия Cx, соответствующего окну Wx[px-Ax, px+Bx], где x указывает последовательные натуральные числа от 1 до 11 по отдельности, где вероятность того, что, по меньшей мере, часть данных в окне Wx[px-Ax, px+Bx], соответствующем точке px, удовлетворяет заранее заданному условию Cx, равна 1/2, A₁=A₂=A₃=A₄=A₅=A₆=A₇=A₈=A₉=A₁₀=A₁₁=169, B₁=B₂=B₃=B₄=B₅=B₆=B₇=B₈=B₉=B₁₀=B₁₁=0, и C₁=C₂=C₃=C₄=C₅=C₆=C₇=C₈=C₉=C₁₀=C₁₁, где расстояние между px и точкой потенциального деления k равно dx байтам. В частности, расстояние между p₁ и точкой потенциального деления k равно 2 байтам, расстояние между p₂ и k равно 3 байтам, расстояние между p₃ и k равно 4 байтам, расстояние между p₄ и k равно 5 байтам, расстояние между p₅ и k равно 6 байтам, расстояние между p₆ и k равно 7 байтам, расстояние между p₇ и k равно 8 байтам, расстояние между p₈ и k равно 9 байтам, расстояние между p₉ и k равно 10 байтам, расстояние между p₁₀ и k равно 1 байту, расстояние между p₁₁ и k равно 0 байтов, и относительно точки потенциального деления k, все p₁, p₂, p₃, p₄, p₅, p₆, p₇, p₈, p₉ и p₁₀ ориентированы в направлении, противоположном направлению поиска точки деления потока данных. ka является точкой деления потока данных, и направление поиска точки деления потока данных, показанное на фиг. 7 является направлением слева направо. После пропуска минимального фрагмента данных размером 4 кбайт от точки деления потока данных ka, концевая позиция минимального фрагмента данных длиной 4 кбайт служит следующей точкой потенциального деления ki, и точка pix определяется для точки потенциального деления ki. В этом варианте осуществления, согласно правилу, заранее заданному на сервере 103 дедупликации, x указывает последовательные натуральные числа от 1 до 11 по отдельности. В варианте реализации, показанном на фиг. 7, согласно заранее заданному правилу, 11 точек определяется для точки потенциального деления ki, и представляют собой pi₁, pi₂, pi₃, pi₄, pi₅, pi₆, pi₇, pi₈, pi₉, pi₁₀ и pi₁₁ по отдельности, и окна, соответствующие точкам pi₁, pi₂, pi₃, pi₄, pi₅, pi₆, pi₇, pi₈, pi₉, pi₁₀ и pi₁₁, являются Wi₁ [pi₁-169, pi₂], Wi₂[pi₂-169, pi₂], Wi₃[pi₃-169, pi₃], Wi₄[pi₄-169, pi₄], Wi₅[pi₅-169, pi₅], Wi₆[pi₆-169, pi₆], Wi₇[pi₇-169, pi₇], Wi₈[pi₈-169, pi₈], Wi₉[pi₉-169, pi₉], Wi₁₀[pi₁₀-169, pi₁₀] и Wi₁₁[pi₁₁-169, pi₁₁] соответственно. Расстояние между точкой pix и точкой потенциального деления ki равно dix байтам. В частности, расстояние между pi₁ и ki равно 2 байтам, расстояние между pi₂ и ki равно 3 байтам, расстояние между pi₃ и ki равно 4 байтам, расстояние между pi₄ и ki равно 5 байтам, расстояние между pi₅ и ki равно 6 байтам, расстояние между pi₆ и ki равно 7 байтам, расстояние между pi₇ и ki равно 8 байтам, расстояние между pi₈ и ki равно 9 байтам, расстояние между pi₉ и ki равно 10 байтам, расстояние между pi₁₀ и ki равно 1 байту, расстояние между pi₁₁ и ki равно 0 байтов, и относительно точки потенциального деления ki, все pi₁, pi₂, pi₃, pi₄, pi₅, pi₆, pi₇, pi₈, pi₉ и pi₁₀ ориентированы в направлении, противоположном направлению поиска точки деления потока данных. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] заранее заданному условию C₁, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₂[pi₂-169, pi₂] заранее заданному условию C₂, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₃[pi₃-169, pi₃] заранее заданному условию C₃, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₄[pi₄-169, pi₄] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₅[pi₅-169, pi₅] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₆[pi₆-169, pi₆] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₇[pi₇-169, pi₇] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₈[pi₈-169, pi₈] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₉[pi₉-169, pi₉] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁₀[pi₁₀-169, pi₁₀] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁₁[pi₁₁-169, pi₁₁] заранее заданному условию C₁₁. Когда определено, что, по меньшей мере, часть данных в окне Wi₁ удовлетворяет заранее заданному условию C₁, по меньшей мере, часть данных в окне Wi₂ удовлетворяет заранее заданному условию C₂, по меньшей мере, часть данных в окне Wi₃ удовлетворяет заранее заданному условию C₃, по меньшей мере, часть данных в окне Wi₄ удовлетворяет заранее заданному условию C₄, по меньшей мере, часть данных в окне Wi₅ удовлетворяет заранее заданному условию C₅, по меньшей мере, часть данных в окне Wi₆ удовлетворяет заранее заданному условию C₆, по меньшей мере, часть данных в окне Wi₇ удовлетворяет заранее заданному условию C₇, по меньшей мере, часть данных в окне Wi₈ удовлетворяет заранее заданному условию C₈, по меньшей мере, часть данных в окне Wi₉ удовлетворяет заранее заданному условию C₉, по меньшей мере, часть данных в окне Wi₁₀ удовлетворяет заранее заданному условию C₁₀, и, по меньшей мере, часть данных в окне Wi₁₁ удовлетворяет заранее заданному условию C₁₁, текущая точка потенциального деления ki является точкой деления потока данных. Когда, по меньшей мере, часть данных в любом окне из 11 окон не удовлетворяет соответствующему заранее заданному условию, как показано на фиг. 8, тот факт, что, по меньшей мере, часть данных в Wi₃[pi₃-169, pi₃] не удовлетворяет заранее заданному условию C₃, и 11 байтов пропускается от точки pi₃ в направлении поиска точки деления потока данных, используется в порядке примера для описания. Как показано на фиг. 8, когда определено, что W₃ не удовлетворяет заранее заданному условию, от p₃, которая служит начальной точкой, N байтов пропускается в направлении поиска точки деления потока данных, где N байтов не больше ‖B₃‖+max_x(‖Ax‖+‖(ki-pix)‖). В варианте реализации, показанном на фиг. 6, пропускается N байтов, и, в частности не больше 179 байтов, и в этом варианте осуществления, N=11. Следующая точка потенциального деления получается в концевой позиции 11-го байта. Для отличения от точки потенциального деления ki, новая точка потенциального деления представлена здесь как kj. Согласно правилу, заранее заданному на сервере 103 дедупликации, 11 точек определяется для точки потенциального деления kj, и представляют собой pj₁, pj₂, pj₃, pj₄, pj₅, pj₆, pj₇, pj₈, pj₉, pj₁₀ и pj₁₁ по отдельности, и окна, соответствующие точкам pj₁, pj₂, pj₃, pj₄, pj₅, pj₆, pj₇, pj₈, pj₉, pj₁₀ и pj₁₁, определяются и являются Wj₁[pj₁-169, pj₁], Wj₂[pj₂-169, pj₂], Wj₃[pj₃-169, pj₃], Wj₄[pj₄-169, pj₄], Wj₅[pj₅-169, pj₅], Wj₆[pj₆-169, pj₆], Wj₇[pj₇-169, pj₇], Wj₈[pj₈-169, pj₈], Wj₉[pj₉-169, pj₉], Wj₁₀[pj₁₀-169, pj₁₀] и Wj₁₁[pj₁₁-169, pj₁₁] соответственно. Расстояние между pjx и точкой потенциального деления kj равно dx байтам. В частности, расстояние между pj₁ и kj равно 2 байтам, расстояние между pj₂ и kj равно 3 байтам, расстояние между pj₃ и kj равно 4 байтам, расстояние между pj₄ и kj равно 5 байтам, расстояние между pj₅ и kj равно 6 байтам, расстояние между pj₆ и kj равно 7 байтам, расстояние между pj₇ и kj равно 8 байтам, расстояние между pj₈ и kj равно 9 байтам, расстояние между pj₉ и kj равно 10 байтам, расстояние между pj₁₀ и kj равно 1 байту, расстояние между pj₁₁ и kj равно 0 байтов, и относительно точки потенциального деления kj, все pj₁, pj₂, pj₃, pj₄, pj₅, pj₆, pj₇, pj₈, pj₉ и pj₁₀ ориентированы в направлении, противоположном направлению поиска точки деления потока данных. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в W_j1[pj₁-169, pj₁] заранее заданному условию C₁, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₂[pj₂-169, pj₂] заранее заданному условию C₂, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₃[pj₃-169, pj₃] заранее заданному условию C₃, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₄[pj₄-169, pj₄] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₅[pj₅-169, pj₅] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₆[pj₆-169, pj₆] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₇[pj₇-169, pj₇] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₈[pj₈-169, pj₈] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₉[pj₉-169, pj₉] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₀[pj₁₀-169, pj₁₀] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₁[pj₁₁-169, pj₁₁] заранее заданному условию C₁₁. Конечно, в этом варианте осуществления настоящего изобретения, правило также выполняется, когда производится определение, является ли точка потенциального деления ka точкой деления потока данных, конкретная реализация повторно не описана, и можно обратиться к описанию определения точки потенциального деления ki. Когда определено, что, по меньшей мере, часть данных в окне Wj₁ удовлетворяет заранее заданному условию C₁, по меньшей мере, часть данных в окне Wj₂ удовлетворяет заранее заданному условию C₂, по меньшей мере, часть данных в окне Wj₃ удовлетворяет заранее заданному условию C₃, по меньшей мере, часть данных в окне Wj₄ удовлетворяет заранее заданному условию C₄, по меньшей мере, часть данных в окне Wj₅ удовлетворяет заранее заданному условию C₅, по меньшей мере, часть данных в окне Wj₆ удовлетворяет заранее заданному условию C₆, по меньшей мере, часть данных в окне Wj₇ удовлетворяет заранее заданному условию C₇, по меньшей мере, часть данных в окне Wj₈ удовлетворяет заранее заданному условию C₈, по меньшей мере, часть данных в окне Wj₉ удовлетворяет заранее заданному условию C₉, по меньшей мере, часть данных в окне Wj₁₀ удовлетворяет заранее заданному условию C₁₀, и, по меньшей мере, часть данных в окне Wj₁₁ удовлетворяет заранее заданному условию C₁₁, текущая точка потенциального деления kj является точкой деления потока данных, и данные между kj и ka образуют 1 фрагмент данных. При этом, минимальный фрагмент размером 4 кбайт пропускается таким же, образом как для ka для получения следующей точки потенциального деления, и производится определение, согласно правилу, заранее заданному на сервере 103 дедупликации, является ли следующая точка потенциального деления точкой деления потока данных. Когда определено, что точка потенциального деления kj не является точкой деления потока данных, 11 байтов пропускается таким же, образом как для ki для получения следующей точки потенциального деления, и производится определение, согласно правилу, заранее заданному на сервере 103 дедупликации, и вышеупомянутому способу, является ли следующая точка потенциального деления точкой деления потока данных. Когда не найдено ни одной точки деления потока данных по прохождении максимального фрагмента данных, концевая позиция максимального фрагмента данных служит точкой принудительного деления. Конечно, реализация способа ограничена длиной максимального фрагмента данных и размером файла, образующего поток данных, который здесь повторно не описан.

[0117] На основании поиска точки деления потока данных, показанного на фиг. 3, в варианте реализации, показанном на фиг. 9, правило заранее задается на сервере 103 дедупликации, причем правило предусматривает: для точки потенциального деления k, определение 11 точек px, окна Wx[px-Ax, px+Bx], соответствующего точке px, и заранее заданного условия Cx, соответствующего окну Wx[px-Ax, px+Bx], где A₁=A₂=A₃=A₄=A₅=A₆=A₇=A₈=A₉=A₁₀=A₁₁=169, B₁=B₂=B₃=B₄=B₅=B₆=B₇=B₈=B₉=B₁₀=B₁₁=0, и C₁=C₂=C₃=C₄=C₅=C₆=C₇=C₈=C₉=C₁₀=C₁₁. Расстояние между px и точкой потенциального деления k равно dx байтам. В частности, расстояние между p₁ и точкой потенциального деления k равно 3 байтам, расстояние между p₂ и k равно 2 байтам, расстояние между p₃ и k равно 1 байту, расстояние между p₄ и k равно 0 байтов, расстояние между p₅ и k равно 1 байту, расстояние между p₆ и k равно 2 байтам, расстояние между p₇ и k равно 3 байтам, расстояние между p₈ и k равно 4 байтам, расстояние между p₉ и k равно 5 байтам, расстояние между p₁₀ и k равно 6 байтам, расстояние между p₁₁ и k равно 7 байтам, все p₅, p₆, p₇, p₈, p₉, p₁₀, и p₁₁ ориентированы, относительно точки потенциального деления k, в направлении, противоположном направлению поиска точки деления потока данных, и все p₁, p₂ и p₃ ориентированы, относительно точки потенциального деления k, в направлении поиска точки деления потока данных. ka является точкой деления потока данных, и направление поиска точки деления потока данных, показанное на фиг. 9 является направлением слева направо. После пропуска минимального фрагмента данных размером 4 кбайт от точки деления потока данных ka, концевая позиция минимального фрагмента данных длиной 4 кбайт служит следующей точкой потенциального деления ki, и точка pix определяется для точки потенциального деления ki. В этом варианте осуществления, согласно правилу, заранее заданному на сервере 103 дедупликации, x указывает последовательные натуральные числа от 1 до 11 по отдельности. В варианте реализации, показанном на фиг. 9, 11 точек определяется для точки потенциального деления ki, и представляют собой pi₁, pi₂, pi₃, pi₄, pi₅, pi₆, pi₇, pi₈, pi₉, pi₁₀ и pi₁₁ по отдельности, и окна, соответствующие точкам pi₁, pi₂, pi₃, pi₄, pi₅, pi₆, pi₇, pi₈, pi₉, pi₁₀ и pi₁₁, являются Wi₁[pi₁-169, pi₁], Wi₂[pi₂-169, pi₂], Wi₃[pi₃-169, pi₃], Wi₄[pi₄-169, pi₄], Wi₅[pi₅-169, pi₅], Wi₆[pi₆-169, pi₆], Wi₇[pi₇-169, pi₇], Wi₈[pi₈-169, pi₈], Wi₉[pi₉-169, pi₉], Wi₁₀[pi₁₀-169, pi₁₀] и Wi₁₁[pi₁₁-169, pi₁₁] соответственно. Расстояние между pix и точкой потенциального деления ki равно dx байтам. В частности, расстояние между pi₁ и ki равно 3 байтам, расстояние между pi₂ и ki равно 2 байтам, расстояние между pi₃ и ki равно 1 байту, расстояние между pi₄ и ki равно 0 байтов, расстояние между pi₅ и ki равно 1 байту, расстояние между pi₆ и ki равно 2 байтам, расстояние между pi₇ и ki равно 3 байтам, расстояние между pi₈ и ki равно 4 байтам, расстояние между pi₉ и ki равно 5 байтам, расстояние между pi₁₀ и ki равно 6 байтам, расстояние между pi₁₁ и ki равно 7 байтам, все pi₅, pi₆, pi₇, pi₈, pi₉, pi₁₀ и pi₁₁ ориентированы, относительно точки потенциального деления ki, в направлении, противоположном направлению поиска точки деления потока данных, и все pi₁, pi₂ и pi₃ ориентированы, относительно точки потенциального деления ki, в направлении поиска точки деления потока данных. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] заранее заданному условию C₁, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₂[pi₂-169, pi₂] заранее заданному условию C₂, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₃[pi₃-169, pi₃] заранее заданному условию C₃, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₄[pi₄-169, pi₄] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₅[pi₅-169, pi₅] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₆[pi₆-169, pi₆] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₇[pi₇-169, pi₇] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₈[pi₈-169, pi₈] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₉[pi₉-169, pi₉] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁₀[pi₁₀-169, pi₁₀] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁₁[pi₁₁-169, pi₁₁] заранее заданному условию C₁₁. Когда определено, что, по меньшей мере, часть данных в окне Wi₁ удовлетворяет заранее заданному условию C₁, по меньшей мере, часть данных в окне Wi₂ удовлетворяет заранее заданному условию C₂, по меньшей мере, часть данных в окне Wi₃ удовлетворяет заранее заданному условию C₃, по меньшей мере, часть данных в окне Wi₄ удовлетворяет заранее заданному условию C₄, по меньшей мере, часть данных в окне Wi₅ удовлетворяет заранее заданному условию C₅, по меньшей мере, часть данных в окне Wi₆ удовлетворяет заранее заданному условию C₆, по меньшей мере, часть данных в окне Wi₇ удовлетворяет заранее заданному условию C₇, по меньшей мере, часть данных в окне Wi₈ удовлетворяет заранее заданному условию C₈, по меньшей мере, часть данных в окне Wi₉ удовлетворяет заранее заданному условию C₉, по меньшей мере, часть данных в окне Wi₁₀ удовлетворяет заранее заданному условию C₁₀, и, по меньшей мере, часть данных в окне Wi₁₁ удовлетворяет заранее заданному условию C₁₁, текущая точка потенциального деления ki является точкой деления потока данных. Когда, по меньшей мере, часть данных в любом окне из 11 окон не удовлетворяет соответствующему заранее заданному условию, например, как показано на фиг. 10, по меньшей мере, часть данных в Wi₇[pi₇-169, pi₇] не удовлетворяет соответствующему заранее заданному условию, N байтов пропускается от точки pi₇ в направлении поиска точки деления потока данных, где N байтов не больше ‖B₄‖+max_x(‖Ax‖+‖(ki-pix)‖). В варианте реализации, показанном на фиг. 10, число N пропущенных байтов, в частности, не превышает 179 байтов, и в этом варианте осуществления, в частности, N=8, для получения новой точки потенциального деления. Для отличения от точки потенциального деления ki, новая точка потенциального деления представлена здесь как kj. Согласно правилу, заранее заданному на сервере 103 дедупликации в варианте реализации, показанном на фиг. 9, 11 точек определяется для точки потенциального деления kj, и представляют собой pj₁, pj₂, pj₃, pj₄, pj₅, pj₆, pj₇, pj₈, pj₉, pj₁₀ и pj₁₁ по отдельности, и окна, соответствующие точкам pj₁, pj₂, pj₃, pj₄, pj₅, pj₆, pj₇, pj₈, pj₉, pj₁₀ и pj₁₁, определяются и являются Wj₁[pj₁-169, pj₁], Wj₂[pj₂-169, pj₂], Wj₃[pj₃-169, pj₃], Wj₄[pj₄-169, pj₄], Wj₅[pj₅-169, pj₅], Wj₆[pj₆-169, pj₆], Wj₇[pj₇-169, pj₇], Wj₈[pj₈-169, pj₈], Wj₉[pj₉-169, pj₉], Wj₁₀[pj₁₀-169, pj₁₀] и Wj₁₁[pj₁₁-169, pj₁₁] соответственно. Расстояние между pjx и точкой потенциального деления kj равно dx байтам. В частности, расстояние между pj₁ и kj равно 3 байтам, расстояние между pj₂ и kj равно 2 байтам, расстояние между pj₃ и kj равно 1 байту, расстояние между pj₄ и kj равно 0 байтов, расстояние между pj₅ и kj равно 1 байту, расстояние между pj₆ и kj равно 2 байтам, расстояние между pj₇ и kj равно 3 байтам, расстояние между pj₈ и kj равно 4 байтам, расстояние между pj₉ и kj равно 5 байтам, расстояние между pj₁₀ и kj равно 6 байтам, расстояние между pj₁₁ и kj равно 7 байтам, все pj₅, pj₆, pj₇, pj₈, pj₉, pj₁₀ и pj₁₁ ориентированы, относительно точки потенциального деления kj, в направлении, противоположном направлению поиска точки деления потока данных, и все pj₁, pj₂ и pj₃ ориентированы, относительно точки потенциального деления kj, в направлении поиска точки деления потока данных. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в W_j1[pj₁-169, pj₁] заранее заданному условию C₁, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₂[pj₂-169, pj₂] заранее заданному условию C₂, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₃[pj₃-169, pj₃] заранее заданному условию C₃, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₄[pj₄-169, pj₄] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₅[pj₅-169, pj₅] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₆[pj₆-169, pj₆] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₇[pj₇-169, pj₇] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₈[pj₈-169, pj₈] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₉[pj₉-169, pj₉] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₀[pj₁₀-169, pj₁₀] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₁[pj₁₁-169, pj₁₁] заранее заданному условию C₁₁. Конечно, в этом варианте осуществления настоящего изобретения, правило также выполняется, когда производится определение, является ли точка потенциального деления ka точкой деления потока данных, конкретная реализация повторно не описана, и можно обратиться к описанию определения точки потенциального деления ki. Когда определено, что, по меньшей мере, часть данных в окне Wj₁ удовлетворяет заранее заданному условию C₁, по меньшей мере, часть данных в окне Wj₂ удовлетворяет заранее заданному условию C₂, по меньшей мере, часть данных в окне Wj₃ удовлетворяет заранее заданному условию C₃, по меньшей мере, часть данных в окне Wj₄ удовлетворяет заранее заданному условию C₄, по меньшей мере, часть данных в окне Wj₅ удовлетворяет заранее заданному условию C₅, по меньшей мере, часть данных в окне Wj₆ удовлетворяет заранее заданному условию C₆, по меньшей мере, часть данных в окне Wj₇ удовлетворяет заранее заданному условию C₇, по меньшей мере, часть данных в окне Wj₈ удовлетворяет заранее заданному условию C₈, по меньшей мере, часть данных в окне Wj₉ удовлетворяет заранее заданному условию C₉, по меньшей мере, часть данных в окне Wj₁₀ удовлетворяет заранее заданному условию C₁₀, и, по меньшей мере, часть данных в окне Wj₁₁ удовлетворяет заранее заданному условию C₁₁, текущая точка потенциального деления kj является точкой деления потока данных, и данные между kj и ka образуют 1 фрагмент данных. При этом, минимальный фрагмент размером 4 кбайт пропускается таким же, образом как для ka для получения следующей точки потенциального деления, и производится определение, согласно правилу, заранее заданному на сервере 103 дедупликации, является ли следующая точка потенциального деления точкой деления потока данных. Когда определено, что точка потенциального деления kj не является точкой деления потока данных, 8 байтов пропускаются таким же, образом как для ki для получения следующей точки потенциального деления, и производится определение, согласно правилу, заранее заданному на сервере 103 дедупликации, и вышеупомянутому способу, является ли следующая точка потенциального деления точкой деления потока данных. Когда не найдено ни одной точки деления потока данных по прохождении максимального фрагмента данных, концевая позиция максимального фрагмента данных служит точкой принудительного деления.

[0118] На основании поиска точки деления потока данных, показанного на фиг. 3, в варианте реализации, показанном на фиг. 11, правило заранее задается на сервере 103 дедупликации, причем правило предусматривает: для точки потенциального деления k, определение 11 точек px, окна Wx[px-Ax, px+Bx], соответствующего точке px, и заранее заданного условия Cx, соответствующего окну Wx[px-Ax, px+Bx], где A₁=A₂=A₃=A₄=A₅=A₆=A₇=A₈=A₉=A₁₀=169, A₁₁=182, B₁=B₂=B₃=B₄=B₅=B₆=B₇=B₈=B₉=B₁₀=B₁₁=0, и C₁=C₂=C₃=C₄=C₅=C₆=C₇=C₈=C₉=C₁₀≠C₁₁. Расстояние между px и точкой потенциального деления k равно dx байтам. В частности, расстояние между p₁ и точкой потенциального деления k равно 0 байтов, расстояние между p₂ и k равно 1 байту, расстояние между p₃ и k равно 2 байтам, расстояние между p₄ и k равно 3 байтам, расстояние между p₅ и k равно 4 байтам, расстояние между p₆ и k равно 5 байтам, расстояние между p₇ и k равно 6 байтам, расстояние между p₈ и k равно 7 байтам, расстояние между p₉ и k равно 8 байтам, расстояние между p₁₀ и k равно 1 байту, расстояние между p₁₁ и k равно 3 байтам, все p₂, p₃, p₄, p₅, p₆, p₇, p₈ и p₉ ориентированы, относительно точки потенциального деления k, в направлении, противоположном направлению поиска точки деления потока данных, и обе p₁₀ и p₁₁ ориентированы, относительно точки потенциального деления k, в направлении поиска точки деления потока данных. ka является точкой деления потока данных, и направление поиска точки деления потока данных, показанное на фиг. 11, является направлением слева направо. После пропуска минимального фрагмента данных размером 4 кбайт от точки деления потока данных ka, концевая позиция минимального фрагмента данных длиной 4 кбайт служит следующей точкой потенциального деления ki, и точка pix определяется для точки потенциального деления ki. В этом варианте осуществления, согласно правилу, заранее заданному на сервере 103 дедупликации, x указывает последовательные натуральные числа от 1 до 11 по отдельности. В варианте реализации, показанном на фиг. 11, 11 точек определяется для точки потенциального деления ki, и представляют собой pi₁, pi₂, pi₃, pi₄, pi₅, pi₆, pi₇, pi₈, pi₉, pi₁₀ и pi₁₁ по отдельности, и окна, соответствующие точкам pi₁, pi₂, pi₃, pi₄, pi₅, pi₆, pi₇, pi₈, pi₉, pi₁₀ и pi₁₁, являются Wi₁[pi₁-169, pi₁], Wi₂[pi₂-169, pi₂], Wi₃[pi₃-169, pi₃], Wi₄[pi₄-169, pi₄], Wi₅[pi₅-169, pi₅], Wi₆[pi₆-169, pi₆], Wi₇[pi₇-169, pi₇], Wi₈[pi₈-169, pi₈], Wi₉[pi₉-169, pi₉], Wi₁₀[pi₁₀-169, pi₁₀] и Wi₁₁[pi₁₁-182, pi₁₁] соответственно. Расстояние между pix и точкой потенциального деления ki равно dx байтам. В частности, расстояние между pi₁ и ki равно 0 байтов, расстояние между pi₂ и ki равно 1 байту, расстояние между pi₃ и ki равно 2 байтам, расстояние между pi₄ и ki равно 3 байтам, расстояние между pi₅ и ki равно 4 байтам, расстояние между pi₆ и ki равно 5 байтам, расстояние между pi₇ и ki равно 6 байтам, расстояние между pi₈ и ki равно 7 байтам, расстояние между pi₉ и ki равно 8 байтам, расстояние между pi₁₀ и ki равно 1 байту, расстояние между pi₁₁ и ki равно 3 байтам, все pi₂, pi₃, pi₄, pi₅, pi₆, pi₇, pi₈ и pi₉ ориентированы относительно точки потенциального деления ki, в направлении, противоположном направлению поиска точки деления потока данных, и обе pi₁₀ и pi₁₁ ориентированы, относительно точки потенциального деления ki, в направлении поиска точки деления потока данных. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] заранее заданному условию C₁, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₂[pi₂-169, pi₂] заранее заданному условию C₂, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₃[pi₃-169, pi₃] заранее заданному условию C₃, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₄[pi₄-169, pi₄] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₅[pi₅-169, pi₅] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₆[pi₆-169, pi₆] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₇[pi₇-169, pi₇] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₈[pi₈-169, pi₈] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₉[pi₉-169, pi₉] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁₀[pi₁₀-169, pi₁₀] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁₁[pi₁₁-169, pi₁₁] заранее заданному условию C₁₁. Когда определено, что, по меньшей мере, часть данных в окне Wi₁ удовлетворяет заранее заданному условию C₁, по меньшей мере, часть данных в окне Wi₂ удовлетворяет заранее заданному условию C₂, по меньшей мере, часть данных в окне Wi₃ удовлетворяет заранее заданному условию C₃, по меньшей мере, часть данных в окне Wi₄ удовлетворяет заранее заданному условию C₄, по меньшей мере, часть данных в окне Wi₅ удовлетворяет заранее заданному условию C₅, по меньшей мере, часть данных в окне Wi₆ удовлетворяет заранее заданному условию C₆, по меньшей мере, часть данных в окне Wi₇ удовлетворяет заранее заданному условию C₇, по меньшей мере, часть данных в окне Wi₈ удовлетворяет заранее заданному условию C₈, по меньшей мере, часть данных в окне Wi₉ удовлетворяет заранее заданному условию C₉, по меньшей мере, часть данных в окне Wi₁₀ удовлетворяет заранее заданному условию C₁₀, и, по меньшей мере, часть данных в окне Wi₁₁ удовлетворяет заранее заданному условию C₁₁, текущая точка потенциального деления ki является точкой деления потока данных. Когда определено, что, по меньшей мере, часть данных в окне Wi₁₁ не удовлетворяет заранее заданному условию C₁₁, 1 байт пропускается от точки потенциального деления ki в направлении поиска точки деления потока данных, для получения новой точки потенциального деления. Для отличения от точки потенциального деления ki, новая точка потенциального деления представлена здесь как kj. Когда, по меньшей мере, часть данных в любом окне из 10 окон Wi₁, Wi₂, Wi₃, Wi₄, Wi₅, Wi₆, Wi₇, Wi₈, Wi₉ и Wi₁₀ не удовлетворяет соответствующему заранее заданному условию, например, Wi₄[pi₄-169, pi₄], показанном на фиг. 12, N байтов пропускается от точки pi₄ в направлении поиска точки деления потока данных, где N байтов не больше ‖B₄‖+max_x(‖Ax‖+‖(ki-pix)‖). В варианте реализации, показанном на фиг. 12, число N пропущенных байтов, в частности, не превышает 179, и в этом варианте осуществления, в частности, N=9, для получения новой точки потенциального деления. Для отличения от точки потенциального деления ki, новая точка потенциального деления представлена здесь как kj. Согласно правилу, заранее заданному на сервере 103 дедупликации в варианте реализации, показанном на фиг. 11, 11 точек определяется для точки потенциального деления kj, и представляют собой pj₁, pj₂, pj₃, pj₄, pj₅, pj₆, pj₇, pj₈, pj₉, pj₁₀ и pj₁₁ по отдельности, и окна, соответствующие точкам pj₁, pj₂, pj₃, pj₄, pj₅, pj₆, pj₇, pj₈, pj₉, pj₁₀ и pj₁₁, определяются и являются Wj₁[pj₁-169, pj₁], Wj₂[pj₂-169, pj₂], Wj₃[pj₃-169, pj₃], Wj₄[pj₄-169, pj₄], Wj₅[pj₅-169, pj₅], Wj₆[pj₆-169, pj₆], Wj₇[pj₇-169, pj₇], Wj₈[pj₈-169, pj₈], Wj₉[pj₉-169, pj₉], Wj₁₀[pj₁₀-169, pj₁₀] и Wj₁₁ [pj₈-182, pj₈] соответственно. Расстояние между pjx и точкой потенциального деления kj равно dx байтам. В частности, расстояние между pj₁ и kj равно 0 байтов, расстояние между pj₂ и kj равно 1 байту, расстояние между pj₃ и kj равно 2 байтам, расстояние между pj₄ и kj равно 3 байтам, расстояние между pj₅ и kj равно 4 байтам, расстояние между pj₆ и kj равно 5 байтам, расстояние между pj₇ и kj равно 6 байтам, расстояние между pj₈ и kj равно 7 байтам, расстояние между pj₉ и kj равно 8 байтам, расстояние между pj₁₀ и kj равно 1 байту, расстояние между pj₁₁ и kj равно 3 байтам, все pj₂, pj₃, pj₄, pj₅, pj₆, pj₇, pj₈ и pj₉ ориентированы, относительно точки потенциального деления kj, в направлении, противоположном направлению поиска точки деления потока данных, и обе pj₁₀ и pj₁₁ ориентированы, относительно точки потенциального деления kj, в направлении поиска точки деления потока данных. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в W_j1[pj₁-169, pj₁] заранее заданному условию C₁, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₂[pj₂-169, pj₂] заранее заданному условию C₂, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₃[pj₃-169, pj₃] заранее заданному условию C₃, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₄[pj₄-169, pj₄] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₅[pj₅-169, pj₅] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₆[pj₆-169, pj₆] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₇[pj₇-169, pj₇] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₈[pj₈-169, pj₈] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₉[pj₉-169, pj₉] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₀[pj₁₀-169, pj₁₀] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₁[pj₁₁-182, pj₁₁] заранее заданному условию C₁₁. Конечно, в этом варианте осуществления настоящего изобретения, правило также выполняется, когда производится определение, является ли точка потенциального деления ka точкой деления потока данных, конкретная реализация повторно не описана, и можно обратиться к описанию определения точки потенциального деления ki. Когда определено, что, по меньшей мере, часть данных в окне Wj₁ удовлетворяет заранее заданному условию C₁, по меньшей мере, часть данных в окне Wj₂ удовлетворяет заранее заданному условию C₂, по меньшей мере, часть данных в окне Wj₃ удовлетворяет заранее заданному условию C₃, по меньшей мере, часть данных в окне Wj₄ удовлетворяет заранее заданному условию C₄, по меньшей мере, часть данных в окне Wj₅ удовлетворяет заранее заданному условию C₅, по меньшей мере, часть данных в окне Wj₆ удовлетворяет заранее заданному условию C₆, по меньшей мере, часть данных в окне Wj₇ удовлетворяет заранее заданному условию C₇, по меньшей мере, часть данных в окне Wj₈ удовлетворяет заранее заданному условию C₈, по меньшей мере, часть данных в окне Wj₉ удовлетворяет заранее заданному условию C₉, по меньшей мере, часть данных в окне Wj₁₀ удовлетворяет заранее заданному условию C₁₀, и, по меньшей мере, часть данных в окне Wj₁₁ удовлетворяет заранее заданному условию C₁₁, текущая точка потенциального деления kj является точкой деления потока данных, и данные между kj и ka образуют 1 фрагмент данных. При этом, минимальный фрагмент размером 4 кбайт пропускается таким же, образом как для ka для получения следующей точки потенциального деления, и производится определение, согласно правилу, заранее заданному на сервере 103 дедупликации, является ли следующая точка потенциального деления точкой деления потока данных. Когда определено, что точка потенциального деления kj не является точкой деления потока данных, следующая точка потенциального деления получается таким же, образом как для ki, и производится определение, согласно правилу, заранее заданному на сервере 103 дедупликации, и вышеупомянутому способу, является ли следующая точка потенциального деления точкой деления потока данных. Когда не найдено ни одной точки деления потока данных по прохождении максимального фрагмента данных, концевая позиция максимального фрагмента данных служит точкой принудительного деления.

[0119] На основании поиска точки деления потока данных, показанного на фиг. 3, в варианте реализации, показанном на фиг. 13, правило, которое заранее задано на сервере 103 дедупликации, предусматривает: для точки потенциального деления k, определение 11 точек px, окна Wx[px-Ax, px+Bx], соответствующего точке px, и заранее заданного условия Cx, соответствующего окну Wx[px-Ax, px+Bx], где x указывает последовательные натуральные числа от 1 до 11 по отдельности, где вероятность того, что, по меньшей мере, часть данных в окне Wx[px-Ax, px+Bx], соответствующем точке px, удовлетворяет заранее заданному условию, равна 1/2, A₁=A₂=A₃=A₄=A₅=A₆=A₇=A₈=A₉=A₁₀=A₁₁=169, B₁=B₂=B₃=B₄=B₅=B₆=B₇=B₈=B₉=B₁₀=B₁₁=0, и C₁=C₂=C₃=C₄=C₅=C₆=C₇=C₈=C₉=C₁₀=C₁₁, где расстояние между px и точкой потенциального деления k равно dx байтам. В частности, расстояние между p₁ и точкой потенциального деления k равно 0 байтов, расстояние между p₂ и k равно 2 байтам, расстояние между p₃ и k равно 4 байтам, расстояние между p₄ и k равно 6 байтам, расстояние между p₅ и k равно 8 байтам, расстояние между p₆ и k равно 10 байтам, расстояние между p₇ и k равно 12 байтам, расстояние между p₈ и k равно 14 байтам, расстояние между p₉ и k равно 16 байтам, расстояние между p₁₀ и k равно 18 байтам, расстояние между p₁₁ и k равно 20 байтам, и относительно точки потенциального деления k, все p₂, p₃, p₄, p₅, p₆, p₇, p₈, p₉, p₁₀ и p₁₁ ориентированы в направлении, противоположном направлению поиска точки деления потока данных. ka является точкой деления потока данных, и направление поиска точки деления потока данных, показанное на фиг. 13, является направлением слева направо. После пропуска минимального фрагмента данных размером 4 кбайт от точки деления потока данных ka, концевая позиция минимального фрагмента данных длиной 4 кбайт служит следующей точкой потенциального деления ki, и точка pix определяется для точки потенциального деления ki. В этом варианте осуществления, согласно правилу, заранее заданному на сервере 103 дедупликации, x указывает последовательные натуральные числа от 1 до 11 по отдельности. В варианте реализации, показанном на фиг. 13, согласно заранее заданному правилу, 11 точек определяется для точки потенциального деления ki, и представляют собой pi₁, pi₂, pi₃, pi₄, pi₅, pi₆, pi₇, pi₈, pi₉, pi₁₀ и pi₁₁ по отдельности, и окна, соответствующие точкам pi₁, pi₂, pi₃, pi₄, pi₅, pi₆, pi₇, pi₈, pi₉, pi₁₀ и pi₁₁, являются Wi₁[pi₁-169, pi₁], Wi₂[pi₂-169, pi₂], Wi₃[pi₃-169, pi₃], Wi₄[pi₄-169, pi₄], Wi₅[pi₅-169, pi₅], Wi₆[pi₆-169, pi₆], Wi₇[pi₇-169, pi₇], Wi₈[pi₈-169, pi₈], Wi₉[pi₉-169, pi₉], Wi₁₀[pi₁₀-169, pi₁₀] и Wi₁₁[pi₁₁-169, pi₁₁] соответственно. Расстояние между pix и точкой потенциального деления ki равно dx байтам. В частности, расстояние между pi₁ и ki равно 0 байтов, расстояние между pi₂ и ki равно 2 байтам, расстояние между pi₃ и ki равно 4 байтам, расстояние между pi₄ и ki равно 6 байтам, расстояние между pi₅ и ki равно 8 байтам, расстояние между pi₆ и ki равно 10 байтам, расстояние между pi₇ и ki равно 12 байтам, расстояние между pi₈ и ki равно 14 байтам, расстояние между pi₉ и ki равно 16 байтам, расстояние между pi₁₀ и ki равно 18 байтам, расстояние между pi₁₁ и ki равно 20 байтам, и относительно точки потенциального деления ki, и pi₂, pi₃, pi₄, pi₅, pi₆, pi₇, pi₈, pi₉, pi₁₀ и pi₁₁ ориентированы в направлении, противоположном направлению поиска точки деления потока данных. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] заранее заданному условию C₁, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₂[pi₂-169, pi₂] заранее заданному условию C₂, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₃[pi₃-169, pi₃] заранее заданному условию C₃, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₄[pi₄-169, pi₄] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₅[pi₅-169, pi₅] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₆[pi₆-169, pi₆] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₇[pi₇-169, pi₇] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₈[pi₈-169, pi₈] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₉[pi₉-169, pi₉] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁₀[pi₁₀-169, pi₁₀] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁₁[pi₁₁-169, pi₁₁] заранее заданному условию C₁₁. Когда определено, что, по меньшей мере, часть данных в окне Wi₁ удовлетворяет заранее заданному условию C₁, по меньшей мере, часть данных в окне Wi₂ удовлетворяет заранее заданному условию C₂, по меньшей мере, часть данных в окне Wi₃ удовлетворяет заранее заданному условию C₃, по меньшей мере, часть данных в окне Wi₄ удовлетворяет заранее заданному условию C₄, по меньшей мере, часть данных в окне Wi₅ удовлетворяет заранее заданному условию C₅, по меньшей мере, часть данных в окне Wi₆ удовлетворяет заранее заданному условию C₆, по меньшей мере, часть данных в окне Wi₇ удовлетворяет заранее заданному условию C₇, по меньшей мере, часть данных в окне Wi₈ удовлетворяет заранее заданному условию C₈, по меньшей мере, часть данных в окне Wi₉ удовлетворяет заранее заданному условию C₉, по меньшей мере, часть данных в окне Wi₁₀ удовлетворяет заранее заданному условию C₁₀, и, по меньшей мере, часть данных в окне Wi₁₁ удовлетворяет заранее заданному условию C₁₁, текущая точка потенциального деления ki является точкой деления потока данных. Когда, по меньшей мере, часть данных в любом окне из 11 окон не удовлетворяет соответствующему заранее заданному условию, например, как показано на фиг. 14, по меньшей мере, часть данных в Wi₄[pi₄-169, pi₄] не удовлетворяет заранее заданному условию C₄, выбирается следующая точка потенциального деления. Для отличения от точки потенциального деления ki, следующая точка потенциального деления представлена здесь как kj, где kj располагается справа от ki, и расстояние между kj и ki равно 1 байту. Как показано на фиг. 14, согласно правилу, заранее заданному на сервере 103 дедупликации, 11 точек определяется для точки потенциального деления kj, и представляют собой pj₁, pj₂, pj₃, pj₄, pj₅, pj₆, pj₇, pj₈, pj₉, pj₁₀ и pj₁₁ по отдельности, и окна, соответствующие точкам pj₁, pj₂, pj₃, pj₄, pj₅, pj₆, pj₇, pj₈, pj₉, pj₁₀ и pj₁₁, определяются и являются Wj₁[pj₁-169, pj₁], Wj₂[pj₂-169, pj₂], Wj₃[pj₃-169, pj₃], Wj₄[pj₄-169, pj₄], Wj₅[pj₅-169, pj₅], Wj₆[pj₆-169, pj₆], Wj₇[pj₇-169, pj₇], Wj₈[pj₈-169, pj₈], Wj₉[pj₉-169, pj₉], Wj₁₀[pj₁₀-169, pj₁₀] и Wj₁₁[pj₁₁-169, pj₁₁] соответственно, где A₁=A₂=A₃=A₄=A₅=A₆=A₇=A₈=A₉=A₁₀=A₁₁=169, B₁=B₂=B₃=B₄=B₅=B₆=B₇=B₈=B₉=B₁₀=B₁₁=0, и C₁=C₂=C₃=C₄=C₅=C₆=C₇=C₈=C₉=C₁₀=C₁₁. Расстояние между pjx и точкой потенциального деления kj равно dx байтам. В частности, расстояние между pj₁ и kj равно 0 байтов, расстояние между pj₂ и kj равно 2 байтам, расстояние между pj₃ и kj равно 4 байтам, расстояние между pj₄ и kj равно 6 байтам, расстояние между pj₅ и kj равно 8 байтам, расстояние между pj₆ и kj равно 10 байтам, расстояние между pj₇ и kj равно 12 байтам, расстояние между pj₈ и kj равно 14 байтам, расстояние между pj₉ и kj равно 16 байтам, расстояние между pj₁₀ и kj равно 18 байтам, расстояние между pj₁₁ и kj равно 20 байтам, и относительно точки потенциального деления kj, все pj₂, pj₃, pj₄, pj₅, pj₆, pj₇, pj₈, pj₉, pj₁₀ и pj₁₁ ориентированы в направлении, противоположном направлению поиска точки деления потока данных. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в W_j1[pj₁-169, pj₁] заранее заданному условию C₁, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₂[pj₂-169, pj₂] заранее заданному условию C₂, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₃[pj₃-169, pj₃] заранее заданному условию C₃, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₄[pj₄-169, pj₄] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₅[pj₅-169, pj₅] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₆[pj₆-169, pj₆] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₇[pj₇-169, pj₇] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₈[pj₈-169, pj₈] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₉[pj₉-169, pj₉] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₀[pj₁₀-169, pj₁₀] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₁[pj₁₁-169, pj₁₁] заранее заданному условию C₁₁. Когда определено, что, по меньшей мере, часть данных в окне Wj₁ удовлетворяет заранее заданному условию C₁, по меньшей мере, часть данных в окне Wj₂ удовлетворяет заранее заданному условию C₂, по меньшей мере, часть данных в окне Wj₃ удовлетворяет заранее заданному условию C₃, по меньшей мере, часть данных в окне Wj₄ удовлетворяет заранее заданному условию C₄, по меньшей мере, часть данных в окне Wj₅ удовлетворяет заранее заданному условию C₅, по меньшей мере, часть данных в окне Wj₆ удовлетворяет заранее заданному условию C₆, по меньшей мере, часть данных в окне Wj₇ удовлетворяет заранее заданному условию C₇, по меньшей мере, часть данных в окне Wj₈ удовлетворяет заранее заданному условию C₈, по меньшей мере, часть данных в окне Wj₉ удовлетворяет заранее заданному условию C₉, по меньшей мере, часть данных в окне Wj₁₀ удовлетворяет заранее заданному условию C₁₀, и, по меньшей мере, часть данных в окне Wj₁₁ удовлетворяет заранее заданному условию C₁₁, текущая точка потенциального деления kj является точкой деления потока данных. Когда определено, что, по меньшей мере, часть данных в любом окне из окон Wj₁, Wj₂, Wj₃, Wj₄, Wj₅, Wj₆, Wj₇, Wj₈, Wj₉, Wj₁₀ и Wj₁₁ не удовлетворяет заранее заданному условию, например, как показано на фиг. 15, когда, по меньшей мере, часть данных в Wj₃[pj₃-169, pj₃] не удовлетворяет заранее заданному условию C₃, точка pi₄ располагается слева от точки pj₃ относительно направления поиска точки деления потока данных, и 21 байт пропускается от точки pi₄ в направлении поиска точки деления потока данных, для получения следующей точки потенциального деления. Для отличения от точек потенциального деления ki и kj, следующая точка потенциального деления представлена как kl. Согласно правилу, заранее заданному на сервере 103 дедупликации в варианте реализации, показанном на фиг. 13, 11 точек определяется для точки потенциального деления kl, и представляют собой pl₁, pl₂, pl₃, pl₄, pl₅, pl₆, pl₇, pl₈, pl₉, pl₁₀ и pl₁₁ по отдельности, окна, соответствующие точкам pl₁, pl₂, pl₃, pl₄, pl₅, pl₆, pl₇, pl₈, pl₉, pl₁₀ и pl₁₁, являются Wl₁[pl₁-169, pl₁], Wl₂[pl₂-169, pl₂], Wl₃[pl₃-169, pl₃], Wl₄[pl₄-169, pl₄], Wl₅[pl₅-169, pl₅], Wl₆[pl₆-169, pl₆], Wl₇[pl₇-169, pl₇], Wl₈[pl₈-169, pl₈], Wl₉[pl₉-169, pl₉], Wl₁₀[pl₁₀-169, pl₁₀] и Wl₁₁[pl₁₁-169, pl₁₁] соответственно, где расстояние между plx и точкой потенциального деления kl равно dx байтам. В частности, расстояние между pl₁ и точкой потенциального деления kl равно 0 байтов, расстояние между pl₂ и kl равно 2 байтам, расстояние между pl₃ и kl равно 4 байтам, расстояние между pl₄ и kl равно 6 байтам, расстояние между pl₅ и kl равно 8 байтам, расстояние между pl₆ и kl равно 10 байтам, расстояние между pl₇ и kl равно 12 байтам, расстояние между pl₈ и kl равно 14 байтам, расстояние между pl₉ и kl равно 16 байтам, расстояние между pl₁₀ и kl равно 18 байтам, расстояние между pl₁₁ и kl равно 20 байтам, и относительно точки потенциального деления kl, все pl₂, pl₃, pl₄, pl₅, pl₆, pl₇, pl₈, pl₉, pl₁₀ и pl₁₁ ориентированы в направлении, противоположном направлению поиска точки деления потока данных. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wl₁[pl₁-169, pl₁] заранее заданному условию C₁, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wl₂[pl₂-169, pl₂] заранее заданному условию C₂, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wl₃[pl₃-169, pl₃] заранее заданному условию C₃, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wl₄[pl₄-169, pl₄] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wl₅[pl₅-169, pl₅] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wl₆[pl₆-169, pl₆] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wl₇[pl₇-169, pl₇] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wl₈[pl₈-169, pl₈] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wl₉[pl₉-169, pl₉] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wl₁₀[pl₁₀-169, pl₁₀] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wl₁₁[pl₁₁-169, pl₁₁] заранее заданному условию C₁₁. Когда определено, что, по меньшей мере, часть данных в окне Wl₁ удовлетворяет заранее заданному условию C₁, по меньшей мере, часть данных в окне Wl₂ удовлетворяет заранее заданному условию C₂, по меньшей мере, часть данных в окне Wl₃ удовлетворяет заранее заданному условию C₃, по меньшей мере, часть данных в окне Wl₄ удовлетворяет заранее заданному условию C₄, по меньшей мере, часть данных в окне Wl₅ удовлетворяет заранее заданному условию C₅, по меньшей мере, часть данных в окне Wl₆ удовлетворяет заранее заданному условию C₆, по меньшей мере, часть данных в окне Wl₇ удовлетворяет заранее заданному условию C₇, по меньшей мере, часть данных в окне Wl₈ удовлетворяет заранее заданному условию C₈, по меньшей мере, часть данных в окне Wl₉ удовлетворяет заранее заданному условию C₉, по меньшей мере, часть данных в окне Wl₁₀ удовлетворяет заранее заданному условию C₁₀, и, по меньшей мере, часть данных в окне Wl₁₁ удовлетворяет заранее заданному условию C₁₁, текущая точка потенциального деления kl является точкой деления потока данных. Когда, по меньшей мере, часть данных в любом окне из окон Wl₁, Wl₂, Wl₃, Wl₄, Wl₅, Wl₆, Wl₇, Wl₈, Wl₉, Wl₁₀ и Wl₁₁ не удовлетворяет заранее заданному условию, выбирается следующая точка потенциального деления. Для отличения от точек потенциального деления ki, kj и kl, следующая точка потенциального деления представлена как km, где km располагается справа от kl, и расстояние между km и kl равно 1 байту. Согласно правилу, заранее заданному на сервере 103 дедупликации в варианте осуществления, показанном на фиг. 13, 11 точек определяется для точки потенциального деления km, и представляют собой pm₁, pm₂, pm₃, pm₄, pm₅, pm₆, pm₇, pm₈, pm₉, pm₁₀ и pm₁₁ по отдельности, и окна, соответствующие точкам pm₁, pm₂, pm₃, pm₄, pm₅, pm₆, pm₇, pm₈, pm₉, pm₁₀ и pm₁₁, являются Wm₁[pm₁-169, pm₁], Wm₂[pm₂-169, pm₂], Wm₃[pm₃-169, pm₃], Wm₄[pm₄-169, pm₄], Wm₅ [pm₅-169, pm₅], Wm₆[pm₆-169, pm₆], Wm₇[pm₇-169, pm₇], Wm₈[pm₈-169, pm₈], Wm₉[pm₉-169, pm₉], Wm₁₀[pm₁₀-169, pm₁₀] и Wm₁₁[pm₁₁-169, pm₁₁] соответственно, где расстояние между pmx и точкой потенциального деления km равно dx байтам. В частности, расстояние между pm₁ и точкой потенциального деления km равно 0 байтов, расстояние между pm₂ и km равно 2 байтам, расстояние между pm₃ и km равно 4 байтам, расстояние между pm₄ и km равно 6 байтам, расстояние между pm₅ и km равно 8 байтам, расстояние между pm₆ и km равно 10 байтам, расстояние между pm₇ и km равно 12 байтам, расстояние между pm₈ и km равно 14 байтам, расстояние между pm₉ и km равно 16 байтам, расстояние между pm₁₀ и km равно 18 байтам, расстояние между pm₁₁ и km равно 20 байтам, и относительно точки потенциального деления km, все pm₂, pm₃, pm₄, pm₅, pm₆, pm₇, pm₈, pm₉, pm₁₀ и pm₁₁ ориентированы в направлении, противоположном направлению поиска точки деления потока данных. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wm₁[pm₁-169, pm₁] заранее заданному условию C₁, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wm₂[pm₂-169, pm₂] заранее заданному условию C₂, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wm₃[pm₃-169, pm₃] заранее заданному условию C₃, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wm₄[pm₄-169, pm₄] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wm₅ [pm₅-169, pm₅] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wm₆[pm₆-169, pm₆] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wm₇[pm₇-169, pm₇] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wm₈[pm₈-169, pm₈] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wm₉[pm₉-169, pm₉] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wm₁₀[pm₁₀-169, pm₁₀] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wm₁₁[pm₁₁-169, pm₁₁] заранее заданному условию C₁₁. Когда определено, что, по меньшей мере, часть данных в окне Wm₁ удовлетворяет заранее заданному условию C₁, по меньшей мере, часть данных в окне Wm₂ удовлетворяет заранее заданному условию C₂, по меньшей мере, часть данных в окне Wm₃ удовлетворяет заранее заданному условию C₃, по меньшей мере, часть данных в окне Wm₄ удовлетворяет заранее заданному условию C₄, по меньшей мере, часть данных в окне Wm₅ удовлетворяет заранее заданному условию C₅, по меньшей мере, часть данных в окне Wm₆ удовлетворяет заранее заданному условию C₆, по меньшей мере, часть данных в окне Wm₇ удовлетворяет заранее заданному условию C₇, по меньшей мере, часть данных в окне Wm₈ удовлетворяет заранее заданному условию C₈, по меньшей мере, часть данных в окне Wm₉ удовлетворяет заранее заданному условию C₉, по меньшей мере, часть данных в окне Wm₁₀ удовлетворяет заранее заданному условию C₁₀, и, по меньшей мере, часть данных в окне Wm₁₁ удовлетворяет заранее заданному условию C₁₁, текущая точка потенциального деления km является точкой деления потока данных. Когда, по меньшей мере, часть данных в любом окне не удовлетворяет заранее заданному условию, пропуск выполняется согласно вышеописанному решению, для получения следующей точки потенциального деления, и следует определять, является ли следующая точка потенциального деления точкой деления потока данных.

[0120] Вариант осуществления настоящего изобретения предусматривает способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz. В этом варианте осуществления, производится определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz, и вариант реализации, показанный на фиг. 5, используется в порядке примера. Согласно правилу, заранее заданному на сервере 103 дедупликации, точка pi₁ и окно Wi₁[pi₁-169, pi₁], соответствующее точке pi₁, определяются для точки потенциального деления ki, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] заранее заданному условию C₁. Как показано на фиг. 16, Wi₁ представляет окно Wi₁[pi₁-169, pi₁], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] заранее заданному условию C₁. На фиг. 16, "" представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Выбранные 5 байтов данных повторно используются 51 раз для получения всего 255 байтов, для повышения случайности. Из них каждый байт образован 8 битами, которые обозначены как am_,1, ..., и am_,8, представляющими биты с 1-го по 8-й m-го байта в 255 байтах, и, таким образом, биты, соответствующие 255 байтам, можно представить как: , причем, когда am_,_n=1, Vam_,_n=1, и когда am_,_n =, Vam_,_n=-1, где am_,_n представляет любой из am_,1, ..., и am_,8, и матрица Va получается согласно соотношению преобразования между am_,_n и Vam_,_n из битов, соответствующих 255 байтам, и может быть представлена как: . Большое количество случайных чисел выбирается для формирования матрицы, и, будучи сформована, матрица, образованная случайными числами, остается неизменный. Например, 255*8 случайных чисел выбирается из случайных чисел, которые подчиняются конкретному распределению (здесь в порядке примера используется нормальное распределение) для формирования матрицы R: , где случайные числа m-й строки матрицы Va и m-й строки матрицы R перемножаются, и произведения суммируются для получения значения, которое, в частности, представляется как Sam=Vam_,1*hm_,1+Vam_,2*hm_,2+...+Vam_,8*hm_,8. Sa₁, Sa₂, ..., и Sa₂₅₅ получаются согласно способу, и подсчитывается количество k значений, удовлетворяющих конкретному условию (здесь в порядке примера используется превышение 0) среди Sa₁, Sa₂, ..., и Sa₂₅₅. Поскольку матрица R подчиняется нормальному распределению, Sam все еще подчиняется нормальному распределению, как и матрица R. Согласно теории вероятностей, вероятность того, что случайное число в нормальном распределении больше 0, равна 1/2; вероятность того, что каждое значение из Sa₁, Sa₂, ..., и Sa₂₅₅ больше 0, равна 1/2, и, таким образом, k подчиняется биномиальному распределению: . Согласно результату подсчета, производится определение, является ли количество k значений, больших 0, из Sa₁, Sa₂, ..., и Sa₂₅₅ четным числом; вероятность того, что случайное число в биномиальном распределении является четным числом, равна 1/2, и, таким образом, k удовлетворяет условию с вероятностью 1/2. Когда k является четным числом, это указывает, что, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] удовлетворяет заранее заданному условию C₁. Когда k является нечетным числом, это указывает, что, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] не удовлетворяет заранее заданному условию C₁. C₁ здесь означает, что полученное вышеупомянутым образом количество k значений, больших 0, из Sa₁, Sa₂, ..., и Sa₂₅₅, является четным числом. В варианте реализации, показанном на фиг. 5, для Wi₁[pi₁-169, pi₁], Wi₂[pi₂-169, pi₂], Wi₃[pi₃-169, pi₃], Wi₄[pi₄-169, pi₄], Wi₅[pi₅-169, pi₅], Wi₆[pi₆-169, pi₆], Wi₇[pi₇-169, pi₇], Wi₈[pi₈-169, pi₈], Wi₉[pi₉-169, pi₉], Wi₁₀[pi₁₀-169, pi₁₀] и Wi₁₁[pi₁₁-169, pi₁₁], окна одинаковы по размеру, то есть все окна имеют размер 169 байтов, и способы определения, удовлетворяет ли, по меньшей мере, часть данных в окне заранее заданному условию, также одинаковы. Подробности можно найти в вышеприведенном описании определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] заранее заданному условию C₁. Таким образом, как показано на фиг. 16, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₂[pi₂-169, pi₂] заранее заданному условию C₂, и между двумя соседними выбранными байтами существует 42 байта. Выбранные 5 байтов данных используются повторно 51 раз для получения всего 255 байтов, для повышения случайности. Из них каждый байт образован 8 битами, которые обозначены как bm_,1, ..., и bm_,8, представляющими биты с 1-го по 8-й m-го байта в 255 байтах, и, таким образом, биты, соответствующие 255 байтам, можно представить как: , где, когда bm_,_n=1, Vbm_,_n=1, и когда bm_,_n=0, Vbm_,_n=-1, где bm_,_n представляет любой из bm_,1, ..., и bm_,8, и матрица Vb получается согласно соотношению преобразования между bm_,_n и Vbm_,_n из битов, соответствующих 255 байтам, и может быть представлена как: . Способ определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] заранее заданному условию идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₂[pi₂-169, pi₂] заранее заданному условию; таким образом, используется матрица R: , и случайные числа m-й строки матрицы Vb и m-й строки матрицы R перемножаются, и произведения суммируются для получения значения, которое, в частности, представляется как Sbm =Vbm_,1*hm_,1+Vbm_,2*hm_,2+...+Vbm_,8*hm_,8. Sb₁, Sb₂, ..., и Sb₂₅₅ получаются согласно способу, и подсчитывается количество k значений, удовлетворяющих конкретному условию (здесь в порядке примера используется превышение 0) среди Sb₁, Sb₂, ..., и Sb₂₅₅. Поскольку матрица R подчиняется нормальному распределению, Sbm все еще подчиняется нормальному распределению, как и матрица R. Согласно теории вероятностей, вероятность того, что случайное число в нормальном распределении больше 0, равна 1/2; вероятность того, что каждое значение из Sb₁, Sb₂, ..., и Sb₂₅₅ больше 0, равна 1/2, и, таким образом, k подчиняется биномиальному распределению: . Согласно результату подсчета, производится определение, является ли количество k значений, больших 0, из Sb₁, Sb₂, ..., и Sb₂₅₅ четным числом; вероятность того, что случайное число в биномиальном распределении является четным числом, равна 1/2, и, таким образом, k удовлетворяет условию с вероятностью 1/2. Когда k является четным числом, это указывает, что, по меньшей мере, часть данных в Wi₂[pi₂-169, pi₂] удовлетворяет заранее заданному условию C₂. Когда k является нечетным числом, это указывает, что, по меньшей мере, часть данных в Wi₂[pi₂-169, pi₂] не удовлетворяет заранее заданному условию C₂. C₂ здесь означает, что полученное вышеупомянутым образом количество k значений, больших 0, из Sb₁, Sb₂, ..., и Sb₂₅₅ является четным числом. В варианте реализации, показанном на фиг. 3, по меньшей мере, часть данных в Wi₂[pi₂-169, pi₂] удовлетворяет заранее заданному условию C₂.

[0121] Таким образом, как показано на фиг. 16, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₃[pi₃-169, pi₃] заранее заданному условию C₃, и между двумя соседними выбранными байтами существует 42 байта. Выбранные 5 байтов данных используются повторно 51 раз для получения всего 255 байтов, для повышения случайности. Затем способ определения, удовлетворяет ли, по меньшей мере, часть данных в окнах Wi₁[pi₁-169, pi₁] и Wi₂[pi₂-169, pi₂] заранее заданному условию, используется для определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₃[pi₃-169, pi₃] заранее заданному условию C₃. В варианте реализации, показанном на фиг. 5, по меньшей мере, часть данных в Wi₃[pi₃-169, pi₃] удовлетворяет заранее заданному условию. Как показано на фиг. 16, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₄[pi₄-169, pi₄] заранее заданному условию C₄, и между двумя соседними выбранными байтами существует 42 байта. Выбранные 5 байтов данных используются повторно 51 раз для получения всего 255 байтов, для повышения случайности. Затем способ определения, удовлетворяет ли, по меньшей мере, часть данных в окнах Wi₁[pi₁-169, pi₁], Wi₂[pi₂-169, pi₂] и Wi₃[pi₃-169, pi₃] заранее заданному условию, используется для определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₄[pi₄-169, pi₄] заранее заданному условию C₄. В варианте реализации, показанном на фиг. 5, по меньшей мере, часть данных в Wi₄[pi₄-169, pi₄] удовлетворяет заранее заданному условию C₄. Как показано на фиг. 16, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₅[pi₅-169, pi₅] заранее заданному условию C₅, и между двумя соседними выбранными байтами существует 42 байта. Выбранные 5 байтов данных используются повторно 51 раз для получения всего 255 байтов, для повышения случайности. Затем способ определения, удовлетворяет ли, по меньшей мере, часть данных в окнах Wi₁[pi₁-169, pi₁], Wi₂[pi₂-169, pi₂], Wi₃[pi₃-169, pi₃] и Wi₄[pi₄-169, pi₄] заранее заданному условию, используется для определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₅[pi₅-169, pi₅] заранее заданному условию C₅. В варианте реализации, показанном на фиг. 5, по меньшей мере, часть данных в Wi₅[pi₅-169, pi₅] не удовлетворяет заранее заданному условию C₅.

[0122] Когда, по меньшей мере, часть данных в Wi₅[pi₅-169, pi₅] не удовлетворяет заранее заданному условию C₅, 11 байтов пропускается от точки pi₅ в направлении поиска точки деления потока данных, и следующая точка потенциального деления kj получается в концевой позиции 11-го байта. Как показано на фиг. 6, согласно правилу, заранее заданному на сервере 103 дедупликации, точка pj₁ и окно Wj₁[pj₁-169, pj₁], соответствующее точке pj₁, определяются для точки потенциального деления kj. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wj₁[pj₁-169, pj₁], заранее заданному условию C₁, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₁[pi₁-169, pi₁], заранее заданному условию C₁. Таким образом, как показано на фиг. 17, Wj₁представляет окно Wj₁[pj₁-169, pj₁], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в W_j1[pj₁-169, pj₁] заранее заданному условию C₁. На фиг. 17, "" представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Выбранные 5 байтов данных повторно используются 51 раз для получения всего 255 байтов, для повышения случайности. Из них каждый байт образован 8 битами, которые обозначены как am_,1', ..., и am_,8', представляющими биты с 1-го по 8-й m-го байта в 255 байтах, и, таким образом, биты, соответствующие 255 байтам, можно представить как: , где, когда am_,_n'=1, Vam_,_n'=1, и когда am_,_n'=0, Vam_,_n'=-1, где am_,_n' представляет любой из am_,1', ..., и am_,8', и матрица Va' получается согласно соотношению преобразования между am_,_n' и Vam_,_n' из битов, соответствующих 255 байтам, и может быть представлена как: . Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wj₁[pj₁-169, pj₁], заранее заданному условию идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₁[pi₁-169, pi₁], заранее заданному условию. Таким образом, используется матрица R: , и случайные числа m-й строки матрицы Va' и m-й строки матрицы R перемножаются, и произведения суммируются для получения значения, которое, в частности, представляется как Sam'=Vam_,1'*hm_,1+Vam_,2'*hm_,2+...+Vam_,8'*hm_,8. Sa₁', Sa₂', ..., и Sa₂₅₅' получаются согласно способу, и подсчитывается количество k значений, удовлетворяющих конкретному условию (здесь в порядке примера используется превышение 0) среди Sa₁', Sa₂', ..., и Sa₂₅₅'. Поскольку матрица R подчиняется нормальному распределению, Sam' все еще подчиняется нормальному распределению, как и матрица R. Согласно теории вероятностей, вероятность того, что случайное число в нормальном распределении больше 0, равна 1/2; вероятность того, что каждое значение из Sa₁', Sa₂', ..., и Sa₂₅₅' больше 0, равна 1/2, и, таким образом, k подчиняется биномиальному распределению: . Согласно результату подсчета, производится определение, является ли количество k значений, больших 0, из Sa₁', Sa₂', ..., и Sa₂₅₅' четным числом; вероятность того, что случайное число в биномиальном распределении является четным числом, равна 1/2, и, таким образом, k удовлетворяет условию с вероятностью 1/2. Когда k является четным числом, это указывает, что, по меньшей мере, часть данных в Wj₁[pj₁-169, pj₁] удовлетворяет заранее заданному условию C₁. Когда k является нечетным числом, это указывает, что, по меньшей мере, часть данных в Wj₁[pj₁-169, pj₁] не удовлетворяет заранее заданному условию C₁.

[0123] Способ определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₂[pi₂-169, pi₂] заранее заданному условию C₂, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в Wj₂[pj₂-169, pj₂] заранее заданному условию C₂. Таким образом, как показано на фиг. 17, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wj₂[pj₂-169, pj₂] заранее заданному условию C₂, и между двумя соседними выбранными байтами существует 42 байта. Выбранные 5 байтов данных используются повторно 51 раз для получения всего 255 байтов, для повышения случайности. Из них каждый байт образован 8 битами, которые обозначены как bm_,1', ..., и bm_,8', представляющими биты с 1-го по 8-й m-го байта в 255 байтах, и, таким образом, биты, соответствующие 255 байтам, можно представить как: , где, когда bm_,_n'=1, Vbm_,_n'=1, и когда bm_,_n'=0, Vbm_,_n'=-1, где bm_,_n' представляет любой из bm_,1', ..., и bm_,8', и матрица Vb' получается согласно соотношению преобразования между bm_,_n' и Vbm_,_n' из битов, соответствующих 255 байтам, и может быть представлена как: . Способы определения, удовлетворяет ли, по меньшей мере, часть данных в окнах W₂[p₂-169, p₂] и W₂[q₂-169, q₂] заранее заданному условию одинаковы, и, таким образом, по прежнему используется матрица R: . Случайные числа m-й строки матрицы Vb' и m-й строки матрицы R перемножаются, и произведения суммируются для получения значения, которое, в частности, представляется как Sbm'=Vbm_,1'*hm_,1+Vbm_,2'*hm_,2+...+Vbm_,8'*hm_,8. Sb₁', Sb₂', ..., и Sb₂₅₅' получаются согласно способу, и подсчитывается количество k значений, удовлетворяющих конкретному условию (здесь в порядке примера используется превышение 0) среди Sb₁', Sb₂', ..., и Sb₂₅₅'. Поскольку матрица R подчиняется нормальному распределению, Sbm' все еще подчиняется нормальному распределению, как и матрица R. Согласно теории вероятностей, вероятность того, что случайное число в нормальном распределении больше 0, равна 1/2; вероятность того, что каждое значение из Sb₁', Sb₂', ..., и Sb₂₅₅' больше 0, равна 1/2, и, таким образом, k подчиняется биномиальному распределению: . Согласно результату подсчета, производится определение, является ли количество k значений, больших 0, из Sb₁', Sb₂', ..., и Sb₂₅₅' четным числом; вероятность того, что случайное число в биномиальном распределении является четным числом, равна 1/2, и, таким образом, k удовлетворяет условию с вероятностью 1/2. Когда k является четным числом, это указывает, что, по меньшей мере, часть данных в Wj₂[pj₂-169, pj₂] удовлетворяет заранее заданному условию C₂. Когда k является нечетным числом, это указывает, что, по меньшей мере, часть данных в Wj₂[pj₂-169, pj₂] не удовлетворяет заранее заданному условию C₂. Аналогично, способ определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₃[pi₃-169, pi₃] заранее заданному условию C₃, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в Wj₃[pj₃-169, pj₃] заранее заданному условию C₃. Аналогично, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₄[pj₄-169, pj₄] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₅[pj₅-169, pj₅] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₆[pj₆-169, pj₆] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₇[pj₇-169, pj₇] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₈[pj₈-169, pj₈] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₉[pj₉-169, pj₉] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₀[pj₁₀-169, pj₁₀] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₁[pj₁₁-169, pj₁₁] заранее заданному условию C₁₁, которые здесь повторно не описаны.

[0124] Также используя вариант реализации, показанный на фиг. 5 в порядке примера, предусмотрен способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz. В этом варианте осуществления, производится определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz. Согласно правилу, заранее заданному на сервере 103 дедупликации, точка pi₁ и окно Wi₁[pi₁-169, pi₁], соответствующее pi₁, определяются для точки потенциального деления ki, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] заранее заданному условию C₁. Как показано на фиг. 16, Wi₁ представляет окно Wi₁[pi₁-169, pi₁], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] заранее заданному условию C₁. На фиг. 16, "" представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта "". В одном варианте реализации, хэш-функция используется для вычисления 5 выбранных байтов, и значения, полученные посредством вычисления с использованием хэш-функции, подчиняются фиксированному и равномерному распределению. Если значение, полученное посредством вычисления с использованием хэш-функции, является четным числом, принимается решение, что, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] удовлетворяет заранее заданному условию C₁, то есть C₁ представляет, что значение, полученное посредством вычисления с использованием хэш-функции и вышеупомянутым образом, является четным числом. Таким образом, вероятность того, что, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] удовлетворяет заранее заданному условию, равна 1/2. В варианте реализации, показанном на фиг. 5, производится определение, с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в Wi₂[pi₂-169, pi₂] заранее заданному условию C₂, удовлетворяет ли, по меньшей мере, часть данных в Wi₃[pi₃-169, pi₃] заранее заданному условию C₃, удовлетворяет ли, по меньшей мере, часть данных в Wi₄[pi₄-169, pi₄] заранее заданному условию C₄, и удовлетворяет ли, по меньшей мере, часть данных в Wi₅[pi₅-169, pi₅] заранее заданному условию C₅. Для конкретной реализации, можно обратиться к описанию способа определения, с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] заранее заданному условию C₁ в варианте реализации, показанном на фиг. 5, который здесь повторно не описан.

[0125] Когда, по меньшей мере, часть данных в Wi₅[pi₅-169, pi₅] не удовлетворяет заранее заданному условию C₅, 11 байтов пропускается от точки pi₅ в направлении поиска точки деления потока данных, и текущая точка потенциального деления kj получается в концевой позиции 11-го байта. Как показано на фиг. 6, согласно правилу, заранее заданному на сервере 103 дедупликации, точка pj₁ и окно Wj₁[pj₁-169, pj₁], соответствующее точке pj₁, определяются для точки потенциального деления kj. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wj₁[pj₁-169, pj₁], заранее заданному условию C₁, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₁[pi₁-169, pi₁], заранее заданному условию C₁. Таким образом, как показано на фиг. 17, Wj₁ представляет окно Wj₁[pj₁-169, pj₁], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в W_j1[pj₁-169, pj₁] заранее заданному условию C₁. На фиг. 17, "" представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта "". 5 байтов, выбранные из окна Wj₁[pj₁-169, pj₁], вычисляются с использованием хэш-функции. Если полученное значение является четным числом, по меньшей мере, часть данных в Wj₁[pj₁-169, pj₁] удовлетворяет заранее заданному условию C₁. На фиг. 17, способ определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₂[pi₂-169, pi₂] заранее заданному условию C₂, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в Wj₂[pj₂-169, pj₂] заранее заданному условию C₂. Таким образом, как показано на фиг. 17, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wj₂[pj₂-169, pj₂] заранее заданному условию C₂, и между двумя соседними выбранными байтами существует 42 байта "". Выбранные 5 байтов вычисляются с использованием хэш-функции. Если полученное значение является четным числом, по меньшей мере, часть данных в Wj₂[pj₂-169, pj₂] удовлетворяет заранее заданному условию C₂. На фиг. 17, способ определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₃[pi₃-169, pi₃] заранее заданному условию C₃, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в Wj₃[pj₃-169, pj₃] заранее заданному условию C₃. Таким образом, как показано на фиг. 17, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wj₃[pj₃-169, pj₃] заранее заданному условию C₃, и между двумя соседними выбранными байтами существует 42 байта "". Выбранные 5 байтов вычисляются с использованием хэш-функции. Если полученное значение является четным числом, по меньшей мере, часть данных в Wj₃[pj₃-169, pj₃] удовлетворяет заранее заданному условию C₃. На фиг. 17, способ определения, удовлетворяет ли, по меньшей мере, часть данных в Wj₄[pj₄-169, pj₄] заранее заданному условию C₄, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₄[pi₄-169, pi₄] заранее заданному условию C₄. Таким образом, как показано на фиг. 17, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wj₄[pj₄-169, pj₄] заранее заданному условию C₄, и между двумя соседними выбранными байтами существует 42 байта "". Выбранные 5 байтов вычисляются с использованием хэш-функции. Если полученное значение является четным числом, по меньшей мере, часть данных в Wj₄[pj₄-169, pj₄] удовлетворяет заранее заданному условию C₄. Согласно вышеупомянутому способу, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₅[pj₅-169, pj₅] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₆[pj₆-169, pj₆] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₇[pj₇-169, pj₇] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₈[pj₈-169, pj₈] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₉[pj₉-169, pj₉] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₀[pj₁₀-169, pj₁₀] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₁[pj₁₁-169, pj₁₁] заранее заданному условию C₁₁, которые здесь повторно не описаны.

[0126] С использованием варианта реализации, показанного на фиг. 5 в порядке примера, предусмотрен способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz. В этом варианте осуществления, производится определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz. Согласно правилу, заранее заданному на сервере 103 дедупликации, точка pi₁ и окно Wi₁[pi₁-169, pi₁], соответствующее pi₁, определяются для точки потенциального деления ki, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] заранее заданному условию C₁. Как показано на фиг. 16, Wi₁ представляет окно Wi₁[pi₁-169, pi₁], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] заранее заданному условию C₁. На фиг. 16, каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 169, 127, 85, 43 и 1 преобразуются в десятичные значения, которые представлены как a₁, a₂, a₃, a₄ и a₅ соответственно. Поскольку 1 байт образован 8 битами, каждый байт "" служит значением, и любое ar из a₁, a₂, a₃, a₄ и a₅ удовлетворяет условию 0≤ar≤255. a₁, a₂, a₃, a₄ и a₅ образуют матрицу 1*5. 256*5 случайных чисел выбираются из случайных чисел, которые подчиняются биномиальному распределению, для формирования матрицы R, которая представлена как: .

[0127] В матрице R осуществляется поиск соответствующего значения согласно значению a₁ и столбцу, в котором располагается a₁. Например, если a₁=36, и a₁ располагается в 1-м столбце, осуществляется поиск значения, соответствующего h_36,1. В матрице R осуществляется поиск соответствующего значения согласно значению a₂ и столбцу, в котором располагается a₂. Например, если a₂=48, и a₂ располагается во 2-м столбце, осуществляется поиск значения, соответствующего h_48,2. В матрице R осуществляется поиск соответствующего значения согласно значению a₃ и столбцу, в котором располагается a₃. Например, если a₃=26, и a₃ располагается в 3-м столбце, осуществляется поиск значения, соответствующего h_26,3. В матрице R осуществляется поиск соответствующего значения согласно значению a₄ и столбцу, в котором располагается a₄. Например, если a₄=26, и a₄ располагается в 4-м столбце, осуществляется поиск значения, соответствующего h_26,4. В матрице R осуществляется поиск соответствующего значения согласно значению a₅ и столбцу, в котором располагается a₅. Например, если a₅=88, и a₅ располагается в 5-м столбце, осуществляется поиск значения, соответствующего h_88,5. S₁=h_36,1+h_48,2+h_26,3+h_26,4+h_88,5, и поскольку матрица R подчиняется биномиальному распределению, S₁ также подчиняется биномиальному распределению. Когда S₁ является четным числом, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] удовлетворяет заранее заданному условию C₁; когда S₁ является нечетным числом, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] не удовлетворяет заранее заданному условию C₁. Вероятность того, что S₁ является четным числом, равна 1/2, и C₁ представляет, что S₁, которое получено посредством вычисления вышеупомянутым образом является четным числом. В варианте осуществления, показанном на фиг. 5, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] удовлетворяет заранее заданному условию C₁. Как показано на фиг. 16, "" представляет 1 байт, по отдельности выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₂[pi₂-169, pi₂] заранее заданному условию C₂. На фиг. 16, байты представлены как порядковые номера 170, 128, 86, 44 и 2 по отдельности, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 170, 128, 86, 44 и 2 преобразуются в десятичные значения, которые представлены как b₁, b₂, b₃, b₄ и b₅ соответственно. Поскольку 1 байт образован 8 битами, каждый байт "" служит значением, и любой br из b₁, b₂, b₃, b₄ и b₅ удовлетворяет условию 0≤br≤255. b₁, b₂, b₃, b₄ и b₅ образуют матрицу 1*5. В этом варианте реализации, способы определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₁ и Wi₂ заранее заданному условию, одинаковы, и, таким образом, по прежнему используется матрица R. В матрице R осуществляется поиск соответствующего значения согласно значению b₁ и столбцу, в котором располагается b₁. Например, если b₁=66, и b₁ располагается в 1-м столбце, осуществляется поиск значения, соответствующего h_66,1. В матрице R осуществляется поиск соответствующего значения согласно значению b₂ и столбцу, в котором располагается b₂. Например, если b₂=48, и b₂ располагается во 2-м столбце, осуществляется поиск значения, соответствующего h_48,2. В матрице R осуществляется поиск соответствующего значения согласно значению b₃ и столбцу, в котором располагается b₃. Например, если b₃=99, и b₃ располагается в 3-м столбце, осуществляется поиск значения, соответствующего h_99,3. В матрице R осуществляется поиск соответствующего значения согласно значению b₄ и столбцу, в котором располагается b₄. Например, если b₄=26, и b₄ располагается в 4-м столбце, осуществляется поиск значения, соответствующего h_26,4. В матрице R осуществляется поиск соответствующего значения согласно значению b₅ и столбцу, в котором располагается b₅. Например, если b₅=90, и b₅ располагается в 5-м столбце, осуществляется поиск значения, соответствующего h_90,5. S₂=h_66,1+h_48,2+h_99,3+h_26,4+h_90,5, и поскольку матрица R подчиняется биномиальному распределению, S₂также подчиняется биномиальному распределению. Когда S₂ является четным числом, по меньшей мере, часть данных в Wi₂[pi₂-169, pi₂] удовлетворяет заранее заданному условию C₂; когда S₂ является нечетным числом, по меньшей мере, часть данных в Wi₂[pi₂-169, pi₂] не удовлетворяет заранее заданному условию C₂. Вероятность того, что S₂ является четным числом, равна 1/2. В варианте осуществления, показанном на фиг. 5, по меньшей мере, часть данных в Wi₂[pi₂-169, pi₂] удовлетворяет заранее заданному условию C₂. С использованием того же правила, по отдельности, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₃[pi₃-169, pi₃] заранее заданному условию C₃, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₄[pi₄-169, pi₄] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₅[pi₅-169, pi₅] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₆[pi₆-169, pi₆] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₇[pi₇-169, pi₇] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₈[pi₈-169, pi₈] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₉[pi₉-169, pi₉] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁₀[pi₁₀-169, pi₁₀] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁₁[pi₁₁-169, pi₁₁] заранее заданному условию C₁₁. В варианте реализации, показанном на фиг. 5, по меньшей мере, часть данных в Wi₅[pi₅-169, pi₅] не удовлетворяет заранее заданному условию C₅, 11 байтов пропускается от точки pi₅ в направлении поиска точки деления потока данных, и текущая точка потенциального деления kj получается в концевой позиции 11-го байта. Как показано на фиг. 6, согласно правилу, заранее заданному на сервере 103 дедупликации, точка pj₁ и окно Wj₁[pj₁-169, pj₁], соответствующее точке pj₁, определяются для точки потенциального деления kj. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wj₁[pj₁-169, pj₁], заранее заданному условию C₁, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₁[pi₁-169, pi₁], заранее заданному условию C₁. Таким образом, как показано на фиг. 17, Wj₁ представляет окно Wj₁[pj₁-169, pj₁], и производится определение, удовлетворяет ли, по меньшей мере, часть данных в W_j1[pj₁-169, pj₁] заранее заданному условию C₁. На фиг. 17, каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 169, 127, 85, 43 и 1 преобразуются в десятичные значения, которые представлены как a₁', a₂', a₃', a₄' и a₅' соответственно. Поскольку 1 байт образован 8 битами, каждый байт "" служит значением, и любое ar' из a₁', a₂', a₃', a₄' и a₅' удовлетворяет условию 0≤ar'≤255. a₁', a₂', a₃', a₄' и a₅' образуют матрицу 1*5. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wj₁[pj₁-169, pj₁], заранее заданному условию C₁, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₁[pi₁-169, pi₁], заранее заданному условию C₁, и, таким образом, по прежнему используется матрица R, и представлена как: .

[0128] В матрице R осуществляется поиск соответствующего значения согласно значению a₁' и столбцу, в котором располагается a₁'. Например, если a₁'=16, и a₁' располагается в 1-м столбце, осуществляется поиск значения, соответствующего h_16,1. В матрице R осуществляется поиск соответствующего значения согласно значению a₂' и столбцу, в котором располагается a₂'. Например, если a₂'=98, и a₂' располагается во 2-м столбце, осуществляется поиск значения, соответствующего h_98,2. В матрице R осуществляется поиск соответствующего значения согласно значению a₃' и столбцу, в котором располагается a₃'. Например, если a₃'=56, и a₃' располагается в 3-м столбце, осуществляется поиск значения, соответствующего h_56,3. В матрице R осуществляется поиск соответствующего значения согласно значению a₄' и столбцу, в котором располагается a₄'. Например, если a₄'=36, и a₄' располагается в 4-м столбце, осуществляется поиск значения, соответствующего h_36,4. В матрице R осуществляется поиск соответствующего значения согласно значению a₅' и столбцу, в котором располагается a₅'. Например, если a₅'=99, и a₅' располагается в 5-м столбце, осуществляется поиск значения, соответствующего h_99,5. S₁'=h_16,1+h_98,2+h_56,3+h_36,4+h_99,5, и поскольку матрица R подчиняется биномиальному распределению, S₁' также подчиняется биномиальному распределению. Когда S₁' является четным числом, по меньшей мере, часть данных в Wj₁[pj₁-169, pj₁] удовлетворяет заранее заданному условию C₁; когда S₁' является нечетным числом, по меньшей мере, часть данных в Wj₁[pj₁-169, pj₁] не удовлетворяет заранее заданному условию C₁. Вероятность того, что S₁' является четным числом, равна 1/2.

[0129] Способ определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₂[pi₂-169, pi₂] заранее заданному условию C₂, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в Wj₂[pj₂-169, pj₂] заранее заданному условию C₂. Таким образом, как показано на фиг. 17, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wj₂[pj₂-169, pj₂] заранее заданному условию C₂, и между двумя соседними выбранными байтами существует 42 байта. Выбранные байты представлены как порядковые номера 170, 128, 86, 44 и 2 по отдельности, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 170, 128, 86, 44 и 2 преобразуются в десятичные значения, которые представлены как b₁', b₂', b₃', b₄' и b₅' соответственно. Поскольку 1 байт образован 8 битами, каждый байт "" служит значением, и любое br' из b₁', b₂', b₃', b₄' и b₅' удовлетворяет условию 0≤br'≤255. b₁', b₂', b₃', b₄' и b₅' образуют матрицу 1*5. Матрица R идентична используемой при осуществлении определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₂[pi₂-169, pi₂] заранее заданному условию C₂. В матрице R осуществляется поиск соответствующего значения согласно значению b₁' и столбцу, в котором располагается b₁'. Например, если b₁'=210, и b₁' располагается в 1-м столбце, осуществляется поиск значения, соответствующего h_210,1. В матрице R осуществляется поиск соответствующего значения согласно значению b₂' и столбцу, в котором располагается b₂'. Например, если b₂'=156, и b₂' располагается во 2-м столбце, осуществляется поиск значения, соответствующего h_156,2. В матрице R осуществляется поиск соответствующего значения согласно значению b₃' и столбцу, в котором располагается b₃'. Например, если b₃'=144, и b₃' располагается в 3-м столбце, осуществляется поиск значения, соответствующего h_144,3. В матрице R осуществляется поиск соответствующего значения согласно значению b₄' и столбцу, в котором располагается b₄'. Например, если b₄'=60, и b₄' располагается в 4-м столбце, осуществляется поиск значения, соответствующего h_60,4. В матрице R осуществляется поиск соответствующего значения согласно значению b₅' и столбцу, в котором располагается b₅'. Например, если b₅'=90, и b₅' располагается в 5-м столбце, осуществляется поиск значения, соответствующего h_90,5. S₂'=h_210,1+h_156,2+h_144,3+h_60,4+h_90,5. Идентично условию определения S₂, когда S₂' является четным числом, по меньшей мере, часть данных в Wj₂[pj₂-169, pj₂] удовлетворяет заранее заданному условию C₂, и когда S₂' является нечетным числом, по меньшей мере, часть данных в Wj₂[pj₂-169, pj₂] не удовлетворяет заранее заданному условию C₂. Вероятность того, что S₂' является четным числом, равна 1/2.

[0130] Аналогично, способ определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₃[pi₃-169, pi₃] заранее заданному условию C₃, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в Wj₃[pj₃-169, pj₃] заранее заданному условию C₃. Аналогично, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₄[pj₄-169, pj₄] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₅[pj₅-169, pj₅] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₆[pj₆-169, pj₆] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₇[pj₇-169, pj₇] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₈[pj₈-169, pj₈] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₉[pj₉-169, pj₉] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₀[pj₁₀-169, pj₁₀] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₁[pj₁₁-169, pj₁₁] заранее заданному условию C₁₁, которые здесь повторно не описаны.

[0131] С использованием варианта реализации, показанного на фиг. 5 в порядке примера, предусмотрен способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz. В этом варианте осуществления, производится определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz. Согласно правилу, заранее заданному на сервере 103 дедупликации, точка pi₁ и окно Wi₁[pi₁-169, pi₁], соответствующее pi₁, определяются для точки потенциального деления ki, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] заранее заданному условию C₁. Как показано на фиг. 16, Wi₁ представляет окно Wi₁[pi₁-169, pi₁], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] заранее заданному условию C₁. На фиг. 16, каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 169, 127, 85, 43 и 1 преобразуются в десятичные значения, которые представлены как a₁, a₂, a₃, a₄ и a₅ соответственно. Поскольку 1 байт образован 8 битами, каждый байт "" служит значением, и любой as из a₁, a₂, a₃, a₄ и a₅ удовлетворяет условию 0≤as≤255. a₁, a₂, a₃, a₄ и a₅ образуют матрицу 1*5. 256*5 случайных чисел выбираются из случайных чисел, которые подчиняются биномиальному распределению, для формирования матрицы R, которая представлена как: . 256*5 случайных чисел выбираются из случайных чисел, которые подчиняются биномиальному распределению, для формирования матрицы G, которая представлена как: .

[0132] Согласно значению a₁ и столбцу, в котором располагается a₁, например, a₁=36, и a₁ располагается в 1-м столбце, в матрице R осуществляется поиск значения, соответствующего h_36,1, и в матрице G осуществляется поиск значения, соответствующего g_36,1. Согласно значению a₂ и столбцу, в котором располагается a₂, например, a₂=48, и a₂ располагается во 2-м столбце, в матрице R осуществляется поиск значения, соответствующего h_48,2, и в матрице G осуществляется поиск значения, соответствующего g_48,2. Согласно значению a₃ и столбцу, в котором располагается a₃, например, a₃=26, и a₃ располагается в 3-м столбце, в матрице R осуществляется поиск значения, соответствующего h_26,3, и в матрице G осуществляется поиск значения, соответствующего g_26,3. Согласно значению a₄ и столбцу, в котором располагается a₄, например, a₄=26, и a₄ располагается в 4-м столбце, в матрице R осуществляется поиск значения, соответствующего h_26,4, и в матрице G осуществляется поиск значения, соответствующего g_26,4. Согласно значению a₅ и столбцу, в котором располагается a₅, например, a₅=88, и a₅ располагается в 5-м столбце, в матрице R осуществляется поиск значения, соответствующего h_88,5, и в матрице G осуществляется поиск значения, соответствующего g_88,5. S₁_h=h_36,1+h_48,2+h_26,3+h_26,4+h_88,5, и поскольку матрица R подчиняется биномиальному распределению, S₁_h также подчиняется биномиальному распределению. S₁g g_36,1+g_48,2+g_26,3+g_26,4+g_88,5, и поскольку матрица G подчиняется биномиальному распределению, S₁_g также подчиняется биномиальному распределению. Когда одно из S₁_h и S₁_g является четным числом, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] удовлетворяет заранее заданному условию C₁; когда оба S₁_h и S₁_g являются нечетными числами, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] не удовлетворяет заранее заданному условию C₁, и C₁ указывает, что одно из S₁_h и S₁_g, полученных согласно вышеупомянутому способу, является четным числом. Поскольку оба S₁_h и S₁_g подчиняются биномиальному распределению, вероятность того, что S₁_h является четным числом, равна 1/2, вероятность того, что S₁_g является четным числом, равна 1/2, и вероятность того, что одно из S₁_h и S₁_g является четным числом, равна 1-1/4=3/4. Таким образом, вероятность того, что, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] удовлетворяет заранее заданному условию C₁, равна 3/4. В варианте осуществления, показанном на фиг. 5, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] удовлетворяет заранее заданному условию C₁. В варианте реализации, показанном на фиг. 5, для Wi₁[pi₁-169, pi₁], Wi₂[pi₂-169, pi₂], Wi₃[pi₃-169, pi₃], Wi₄[pi₄-169, pi₄], Wi₅[pi₅-169, pi₅], Wi₆[pi₆-169, pi₆], Wi₇[pi₇-169, pi₇], Wi₈[pi₈-169, pi₈], Wi₉[pi₉-169, pi₉], Wi₁₀[pi₁₀-169, pi₁₀] и Wi₁₁[pi₁₁-169, pi₁₁], окна одинаковы по размеру, то есть все окна имеют размер 169 байтов, и при этом способы определения, удовлетворяет ли, по меньшей мере, часть данных в окне заранее заданному условию, также одинаковы. Подробности можно найти в вышеприведенном описании определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] заранее заданному условию C₁. Таким образом, как показано на фиг. 16, "" представляет 1 байт, по отдельности выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₂[pi₂-169, pi₂] заранее заданному условию C₂. На фиг. 16, выбранные байты представлены как порядковые номера 170, 128, 86, 44 и 2 по отдельности, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 170, 128, 86, 44 и 2 преобразуются в десятичные значения, которые представлены как b₁, b₂, b₃, b₄ и b₅ соответственно. Поскольку 1 байт образован 8 битами, каждый байт " " служит значением, и любой bs из b₁, b₂, b₃, b₄ и b₅ удовлетворяет условию 0≤bs≤255. b₁, b₂, b₃, b₄ и b₅ образуют матрицу 1*5. В этом варианте реализации, способы определения, удовлетворяет ли, по меньшей мере, часть данных в каждом окне заранее заданному условию, одинаковы, и, таким образом, по прежнему используются одни и те же матрицы R и G. Согласно значению b₁ и столбцу, в котором располагается b₁, например, b₁=66, и b₁ располагается в 1-м столбце, в матрице R осуществляется поиск значения, соответствующего h_66,1, и в матрице G осуществляется поиск значения, соответствующего g_66,1. Согласно значению b₂ и столбцу, в котором располагается b₂, например, b₂=48, и b₂ располагается во 2-м столбце, в матрице R осуществляется поиск значения, соответствующего h_48,2, и в матрице G осуществляется поиск значения, соответствующего g_48,2. Согласно значению b₃ и столбцу, в котором располагается b₃, например, b₃=99, и b₃ располагается в 3-м столбце, в матрице R осуществляется поиск значения, соответствующего h_99,3, и в матрице G осуществляется поиск значения, соответствующего g_99,3. Согласно значению b₄ и столбцу, в котором располагается b₄, например, b₄=26, и b₄ располагается в 4-м столбце, в матрице R осуществляется поиск значения, соответствующего h_26,4, и в матрице G осуществляется поиск значения, соответствующего g_26,4. Согласно значению b₅ и столбцу, в котором располагается b₅, например, b₅=90, и b₅ располагается в 5-м столбце, в матрице R осуществляется поиск значения, соответствующего h_90,5, и в матрице G осуществляется поиск значения, соответствующего g_90,5. S₂_h=h_66,1+h_48,2+h_99,3+h_26,4+h_90,5, и поскольку матрица R подчиняется биномиальному распределению, S₂_h также подчиняется биномиальному распределению. S₂_g=g_66,1+g_48,2+g_99,3+g_26,4+g_90,5, и поскольку матрица G подчиняется биномиальному распределению, S₂_g также подчиняется биномиальному распределению. Когда одно из S₂_h и S₂_g является четным числом, по меньшей мере, часть данных в Wi₂[pi₂-169, pi₂] удовлетворяет заранее заданному условию C₂; когда оба S₂_h и S₂_g являются нечетными числами, по меньшей мере, часть данных в Wi₂[pi₂-169, pi₂] не удовлетворяет заранее заданному условию C₂. Вероятность того, что одно из S₂_h и S₂_g является четным числом, равно 3/4. В варианте осуществления, показанном на фиг. 5, по меньшей мере, часть данных в Wi₂[pi₂-169, pi₂] удовлетворяет заранее заданному условию C₂. С использованием того же правила, по отдельности, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₃[pi₃-169, pi₃] заранее заданному условию C₃, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₄[pi₄-169, pi₄] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₅[pi₅-169, pi₅] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₆[pi₆-169, pi₆] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₇[pi₇-169, pi₇] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₈[pi₈-169, pi₈] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₉[pi₉-169, pi₉] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁₀[pi₁₀-169, pi₁₀] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁₁[pi₁₁-169, pi₁₁] заранее заданному условию C₁₁. В варианте реализации, показанном на фиг. 5, по меньшей мере, часть данных в Wi₅[pi₅-169, pi₅] не удовлетворяет заранее заданному условию C₅, 11 байтов пропускается от точки pi₅ в направлении поиска точки деления потока данных, и текущая точка потенциального деления kj получается в концевой позиции 11-го байта. Как показано на фиг. 6, согласно правилу, заранее заданному на сервере 103 дедупликации, точка pj₁ и окно Wj₁[pj₁-169, pj₁], соответствующее точке pj₁, определяются для точки потенциального деления kj. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wj₁[pj₁-169, pj₁], заранее заданному условию C₁, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₁[pi₁-169, pi₁], заранее заданному условию C₁. Таким образом, как показано на фиг. 17, Wj₁ представляет окно Wj₁[pj₁-169, pj₁], и производится определение, удовлетворяет ли, по меньшей мере, часть данных в W_j1[pj₁-169, pj₁] заранее заданному условию C₁. На фиг. 17, каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 169, 127, 85, 43 и 1 преобразуются в десятичные значения, которые представлены как a₁', a₂', a₃', a₄' и a₅' соответственно. Поскольку 1 байт образован 8 битами, каждый байт "" служит значением, и любое as' из a₁', a₂', a₃', a₄' и a₅' удовлетворяет условию 0≤as'≤255. a₁', a₂', a₃', a₄' и a₅' образуют матрицу 1*5. Используются матрицы R и G, идентичные используемым при осуществлении определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₁[pi₁-169, pi₁] заранее заданному условию C₁, и представлены как: и соответственно.

[0133] Согласно значению a₁' и столбцу, в котором располагается a₁', например, a₁'=16, и a₁' располагается в 1-м столбце, в матрице R осуществляется поиск значения, соответствующего h_16,1, и в матрице G осуществляется поиск значения, соответствующего g_16,1. Согласно значению a₂' и столбцу, в котором располагается a₂', например, a₂'=98, и a₂' располагается во 2-м столбце, в матрице R осуществляется поиск значения, соответствующего h_98,2, и в матрице G осуществляется поиск значения, соответствующего g_98,2. Согласно значению a₃' и столбцу, в котором располагается a₃', например, a₃'=56, и a₃' располагается в 3-м столбце, в матрице R осуществляется поиск значения, соответствующего h_56,3, и в матрице G осуществляется поиск значения, соответствующего g_56,3. Согласно значению a₄' и столбцу, в котором располагается a₄', например, a₄'=36, и a₄' располагается в 4-м столбце, в матрице R осуществляется поиск значения, соответствующего h_36,4, и в матрице G осуществляется поиск значения, соответствующего g_36,4. Согласно значению a₅' и столбцу, в котором располагается a₅', например, a₅'=99, и a₅' располагается в 5-м столбце, в матрице R осуществляется поиск значения, соответствующего h_99,5, и в матрице G осуществляется поиск значения, соответствующего g_99,5. S₁_h=h_16,1+h_98,2+h_56,3+h_36,4+h_99,5, и поскольку матрица R подчиняется биномиальному распределению, S₁_h' также подчиняется биномиальному распределению. S₁_g'=g_16,1+g_98,2+g_56,3+g_36,4+g_99,5, и поскольку матрица G подчиняется биномиальному распределению, S₁_g' также подчиняется биномиальному распределению. Когда одно из S₁_h' и S₁_g' является четным числом, по меньшей мере, часть данных в Wj₁[pj₁-169, pj₁] удовлетворяет заранее заданному условию C₁; когда оба S₁_h' и S₁_g' являются нечетными числами, по меньшей мере, часть данных в Wj₁[pj₁-169, pj₁] не удовлетворяет заранее заданному условию C₁. Вероятность того, что один из S₁_h' и S₁_g' является четным числом, равна 3/4.

[0134] Способ определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₂[pi₂-169, pi₂] заранее заданному условию C₂, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в Wj₂[pj₂-169, pj₂] заранее заданному условию C₂. Таким образом, как показано на фиг. 17, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wj₂[pj₂-169, pj₂] заранее заданному условию C₂, и между двумя соседними выбранными байтами существует 42 байта. На фиг. 17, выбранные байты представлены как порядковые номера 170, 128, 86, 44 и 2 по отдельности, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 170, 128, 86, 44 и 2 преобразуются в десятичные значения, которые представлены как b₁', b₂', b₃', b₄' и b₅' соответственно. Поскольку 1 байт образован 8 битами, каждый байт "" служит значением, и любое bs' из b₁', b₂', b₃', b₄' и b₅' удовлетворяет условию 0≤bs'≤255. b₁', b₂', b₃', b₄' и b₅' образуют матрицу 1*5. Используются матрицы R и G, идентичные используемым при осуществлении определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₂[pi₂-169, pi₂] заранее заданному условию C₂. Согласно значению b₁' и столбцу, в котором располагается b₁', например, b₁'=210, и b₁' располагается в 1-м столбце, в матрице R осуществляется поиск значения, соответствующего h_210,1, и в матрице G осуществляется поиск значения, соответствующего g_210,1. Согласно значению b₂' и столбцу, в котором располагается b₂', например, b₂'=156, и b₂' располагается во 2-м столбце, в матрице R осуществляется поиск значения, соответствующего h_156,2, и в матрице G осуществляется поиск значения, соответствующего g_156,2. Согласно значению b₃' и столбцу, в котором располагается b₃', например, b₃'=144, и b₃' располагается в 3-м столбце, в матрице R осуществляется поиск значения, соответствующего h_144,3, и в матрице G осуществляется поиск значения, соответствующего g_144,3. Согласно значению b₄' и столбцу, в котором располагается b₄', например, b₄'=60, и b₄' располагается в 4-м столбце, в матрице R осуществляется поиск значения, соответствующего h_60,4, и в матрице G осуществляется поиск значения, соответствующего g_60,4. Согласно значению b₅' и столбцу, в котором располагается b₅', например, b₅'=90, и b₅' располагается в 5-м столбце, в матрице R осуществляется поиск значения, соответствующего h_90,5, и в матрице G осуществляется поиск значения, соответствующего g_90,5. S₂_h'=h_210,1+h_156,2+h_144,3+h_60,4+h_90,5, S₂_g'=g_210,1+g_156,2+g_144,3+g_60,4+g_90,5. Когда одно из S₂_h' и S₂_g' является четным числом, по меньшей мере, часть данных в Wj₂[pj₂-169, pj₂] удовлетворяет заранее заданному условию C₂; когда оба S₂_h' и S₂_g' являются нечетными числами, по меньшей мере, часть данных в Wj₂[pj₂-169, pj₂] не удовлетворяет заранее заданному условию C₂. Вероятность того, что один из S₂_h' и S₂_g' является четным числом, равна 3/4.

[0135] Аналогично, способ определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₃[pi₃-169, pi₃] заранее заданному условию C₃, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в Wj₃[pj₃-169, pj₃] заранее заданному условию C₃. Аналогично, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₄[pj₄-169, pj₄] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₅[pj₅-169, pj₅] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₆[pj₆-169, pj₆] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₇[pj₇-169, pj₇] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₈[pj₈-169, pj₈] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₉[pj₉-169, pj₉] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₀[pj₁₀-169, pj₁₁] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₁[pj₁₁-169, pj₁₁] заранее заданному условию C₁₁, которые здесь повторно не описаны.

[0136] С использованием варианта реализации, показанного на фиг. 5 в порядке примера, предусмотрен способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz. В этом варианте осуществления, производится определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz. Согласно правилу, заранее заданному на сервере 103 дедупликации, точка pi₁ и окно Wi₁[pi₁-169, pi₁], соответствующее pi₁, определяются для точки потенциального деления ki, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] заранее заданному условию C₁. Как показано на фиг. 16, Wi₁ представляет окно Wi₁[pi₁-169, pi₁], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] заранее заданному условию C₁. На фиг. 16, каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 169, 127, 85, 43 и 1 рассматриваются как 40 последовательных битов, которые представлены как a₁, a₂, a₃, a₄, ..., и a₄₀ по отдельности. Для любого at из a₁, a₂, a₃, a₄, ..., и a₄₀, когда at=0, Vat=-1, и когда at=1, Vat=1. Согласно соответствию между at и генерируются Vat, Va₁, Va₂, Va₃, Va₄, ..., и Va₄₀. 40 случайных чисел выбирается из случайных чисел, которые подчиняются нормальному распределению, и представлены как: h₁, h₂, h₃, h₄, ..., и h₄₀ по отдельности. Sa=Va₁*h₁+Va₂*h₂+Va₃*h₃+Va₄*h₄+...+Va₄₀*h₄₀. Поскольку h₁, h₂, h₃, h₄, ..., и h₄₀ подчиняются нормальному распределению, Sa также подчиняется нормальному распределению. Когда Sa является положительным числом, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] удовлетворяет заранее заданному условию C₁; когда Sa является отрицательным числом или 0, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] не удовлетворяет заранее заданному условию C₁. Вероятность того, что Sa является положительным числом, равна 1/2. В варианте осуществления, показанном на фиг. 5, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] удовлетворяет заранее заданному условию C₁. Как показано на фиг. 16, "" представляет 1 байт, по отдельности выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₂[pi₂-169, pi₂] заранее заданному условию C₂. На фиг. 16, выбранные байты представлены как порядковые номера 170, 128, 86, 44 и 2 по отдельности, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 170, 128, 86, 44 и 2 рассматриваются как 40 последовательных битов, которые представлены как b₁, b₂, b₃, b₄, ..., и b₄₀ по отдельности. Для любого bt из b₁, b₂, b₃, b₄, ..., и b₄₀, когда bt=0, Vbt=-1, и когда bt=1, Vbt=1. Vb₁, Vb₂, Vb₃, Vb₄, ..., и Vb₄₀ генерируются согласно соответствию между bt и Vbt. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₁[pi₁-169, pi₁], заранее заданному условию C₁, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₂[pi₂-169, pi₂] заранее заданному условию C₂, и, таким образом, используются одни и те же случайные числа: h₁, h₂, h₃, h₄, ..., и h₄₀. Sb=Vb₁*h₁+Vb₂*h₂+Vb₃*h₃+Vb₄*h₄+...+Vb₄₀*h₄₀. Поскольку h₁, h₂, h₃, h₄, ..., и h₄₀ подчиняются нормальному распределению, Sb также подчиняется нормальному распределению. Когда Sb является положительным числом, по меньшей мере, часть данных в Wi₂[pi₂-169, pi₂] удовлетворяет заранее заданному условию C₂; когда Sb является отрицательным числом или 0, по меньшей мере, часть данных в Wi₂[pi₂-169, pi₂] не удовлетворяет заранее заданному условию C₂. Вероятность того, что Sb является положительным числом, равна 1/2. В варианте осуществления, показанном на фиг. 5, по меньшей мере, часть данных в Wi₂[pi₂-169, pi₂] удовлетворяет заранее заданному условию C₂. С использованием того же правила, по отдельности, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₃[pi₃-169, pi₃] заранее заданному условию C₃, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₄[pi₄-169, pi₄] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₅[pi₅-169, pi₅] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₆[pi₆-169, pi₆] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₇[pi₇-169, pi₇] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₈[pi₈-169, pi₈] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₉[pi₉-169, pi₉] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁₀[pi₁₀-169, pi₁₀] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁₁[pi₁₁-169, pi₁₁] заранее заданному условию C₁₁. В варианте реализации, показанном на фиг. 5, по меньшей мере, часть данных в Wi₅[pi₅-169, pi₅] не удовлетворяет заранее заданному условию C₅, 11 байтов пропускается от точки pi₅ в направлении поиска точки деления потока данных, и текущая точка потенциального деления kj получается в концевой позиции 11-го байта. Как показано на фиг. 6, согласно правилу, заранее заданному на сервере 103 дедупликации, точка pj₁ и окно Wj₁[pj₁-169, pj₁], соответствующее точке pj₁, определяются для точки потенциального деления kj. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wj₁[pj₁-169, pj₁], заранее заданному условию C₁, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₁[pi₁-169, pi₁], заранее заданному условию C₁. Таким образом, как показано на фиг. 17, Wj₁ представляет окно Wj₁[pj₁-169, pj₁], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в W_j1[pj₁-169, pj₁] заранее заданному условию C₁. На фиг. 17, каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 169, 127, 85, 43 и 1 рассматриваются как 40 последовательных битов, которые представлены как a₁', a₂', a₃', a₄', ..., и a₄₀' по отдельности. Для любого at' из a₁', a₂', a₃', a₄', ..., и a₄₀', когда at'=0, Vat'=-1, и когда at'=1, Vat'=1. Va₁', Va₂', Va₃', Va₄', ..., и Va₄₀' генерируются согласно соответствию между at' и Vat'. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wj₁[pj₁-169, pj₁], заранее заданному условию C₁, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₁[pi₁-169, pi₁], заранее заданному условию C₁, и, таким образом, используются одни и те же случайные числа: h₁, h₂, h₃, h₄, ..., и h₄₀. Sa'=Va₁'*h₁+Va₂'*h₂+Va₃'*h₃+Va₄'*h₄+...+Va₄₀'*h₄₀. Поскольку h₁, h₂, h₃, h₄, ..., и h₄₀ подчиняются нормальному распределению, Sa' также подчиняется нормальному распределению. Когда Sa' является положительным числом, по меньшей мере, часть данных в Wj₁[pj₁-169, pj₁] удовлетворяет заранее заданному условию C₁; когда Sa' является отрицательным числом или 0, по меньшей мере, часть данных в Wj₁[pj₁-169, pj₁] не удовлетворяет заранее заданному условию C₁. Вероятность того, что Sa' является положительным числом, равна 1/2.

[0137] Способ определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₂[pi₂-169, pi₂] заранее заданному условию C₂, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в Wj₂[pj₂-169, pj₂] заранее заданному условию C₂. Таким образом, как показано на фиг. 17, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wj₂[pj₂-169, pj₂] заранее заданному условию C₂, и между двумя соседними выбранными байтами существует 42 байта. На фиг. 17, выбранные байты представлены как порядковые номера 170, 128, 86, 44 и 2 по отдельности, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 170, 128, 86, 44 и 2 рассматриваются как 40 последовательных битов, которые представлены как b₁', b₂', b₃', b₄', ..., и b₄₀' по отдельности. Для любого bt' из b₁', b₂', b₃', b₄', ..., и b₄₀', когда bt'=0, Vbt'=-1, и когда bt'=1, Vbt'=1. Vb₁', Vb₂', Vb₃', Vb₄', ..., и Vb₄₀' генерируются согласно соответствию между bt' и Vbt'. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₂[pi₂-169, pi₂] заранее заданному условию C₂, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в Wj₂[pj₂-169, pj₂] заранее заданному условию C₂, и, таким образом, используются одни и те же случайные числа: h₁, h₂, h₃, h₄, ..., и h₄₀. Sb'=Vb₁'*h₁+Vb₂'*h₂+Vb₃'*h₃+Vb₄'*h₄+...+Vb₄₀'*h₄₀. Поскольку h₁, h₂, h₃, h₄, ..., и h₄₀ подчиняются нормальному распределению, Sb' также подчиняется нормальному распределению. Когда Sb' является положительным числом, по меньшей мере, часть данных в Wj₂[pj₂-169, pj₂] удовлетворяет заранее заданному условию C₂; когда Sb' является отрицательным числом или 0, по меньшей мере, часть данных в Wj₂[pj₂-169, pj₂] не удовлетворяет заранее заданному условию C₂. Вероятность того, что Sb' является положительным числом, равна 1/2.

[0138] Аналогично, способ определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₃[pi₃-169, pi₃] заранее заданному условию C₃, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в Wj₃[pj₃-169, pj₃] заранее заданному условию C₃. Аналогично, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₄[pj₄-169, pj₄] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₅[pj₅-169, pj₅] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₆[pj₆-169, pj₆] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₇[pj₇-169, pj₇] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₈[pj₈-169, pj₈] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₉[pj₉-169, pj₉] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₀[pj₁₀-169, pj₁₀] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₁[pj₁₁-169, pj₁₁] заранее заданному условию C₁₁, которые здесь повторно не описаны.

[0139] Также используя вариант реализации, показанный на фиг. 5 в порядке примера, предусмотрен способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz. В этом варианте осуществления, производится определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz. Согласно правилу, заранее заданному на сервере 103 дедупликации, точка pi₁ и окно Wi₁[pi₁-169, pi₁], соответствующее pi₁, определяются для точки потенциального деления ki, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] заранее заданному условию C₁. Как показано на фиг. 16, Wi₁ представляет окно Wi₁[pi₁-169, pi₁], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] заранее заданному условию C₁. На фиг. 16, каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 преобразуется в 1 десятичное число, диапазон которого составляет 0-(2^40-1). Генератор равномерного распределения случайных чисел используется для генерации 1 назначенного значения для каждого десятичного числа в 0-(2^40-1), и соответствие R между каждым десятичным числом в 0-(2^40-1) и назначенным значением записывается. Будучи назначенным, назначенное значение, соответствующее десятичному числу, остается неизменным, и назначенное значение подчиняется равномерному распределению. Если назначенное значение является четным числом, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] удовлетворяет заранее заданному условию C₁; если назначенное значение является нечетным числом, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] не удовлетворяет заранее заданному условию C₁. C₁ представляет, что назначенное значение, полученное согласно вышеупомянутому способу является четным числом. Поскольку вероятность того, что случайное число в равномерном распределении является четным числом, равна 1/2, вероятность того, что, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] удовлетворяет заранее заданному условию C₁, равна 1/2. В варианте реализации, показанном на фиг. 5, с использованием того же правила, по отдельности, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₂[pi₂-169, pi₂] заранее заданному условию C₂, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₃[pi₃-169, pi₃] заранее заданному условию C₃, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₄[pi₄-169, pi₄] заранее заданному условию C₄, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₅[pi₅-169, pi₅] заранее заданному условию C₅, которые здесь повторно не описаны.

[0140] Когда, по меньшей мере, часть данных в Wi₅[pi₅-169, pi₅] не удовлетворяет заранее заданному условию C₅, 11 байтов пропускается от точки pi₅ в направлении поиска точки деления потока данных, и текущая точка потенциального деления kj получается в концевой позиции 11-го байта. Как показано на фиг. 6, согласно правилу, заранее заданному на сервере 103 дедупликации, точка pj₁ и окно Wj₁[pj₁-169, pj₁], соответствующее точке pj₁, определяются для точки потенциального деления kj. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wj₁[pj₁-169, pj₁], заранее заданному условию C₁, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₁[pi₁-169, pi₁], заранее заданному условию C₁. Таким образом, используется одно и то же соответствие R между каждым десятичным числом в 0-(2^40-1) и назначенным значением. Как показано на фиг. 17, Wj₁ представляет окно Wj₁[pj₁-169, pj₁], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в W_j1[pj₁-169, pj₁] заранее заданному условию C₁. На фиг. 17, "" представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта "". Каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 преобразуется в 1 десятичное число, и в R осуществляется поиск назначенного значения, соответствующего десятичному числу. Если назначенное значение является четным числом, по меньшей мере, часть данных в Wj₁[pj₁-169, pj₁] удовлетворяет заранее заданному условию C₁; если назначенное значение является нечетным числом, по меньшей мере, часть данных в Wj₁[pj₁-169, pj₁] не удовлетворяет заранее заданному условию C₁. Поскольку вероятность того, что случайное число в равномерном распределении является четным числом, равна 1/2, вероятность того, что, по меньшей мере, часть данных в Wj₁[pj₁-169, pj₁] удовлетворяет заранее заданному условию C₁, равна 1/2. Аналогично, способ определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₂[pi₂-169, pi₂] заранее заданному условию C₂, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в Wj₂[pj₂-169, pj₂] заранее заданному условию C₂, и способ определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₃[pi₃-169, pi₃] заранее заданному условию C₃, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в Wj₃[pj₃-169, pj₃] заранее заданному условию C₃. Аналогично, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₄[pj₄-169, pj₄] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₅[pj₅-169, pj₅] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₆[pj₆-169, pj₆] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₇[pj₇-169, pj₇] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₈[pj₈-169, pj₈] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₉[pj₉-169, pj₉] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₀[pj₁₀-169, pj₁₀] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₁[pj₁₁-169, pj₁₁] заранее заданному условию C₁₁, которые здесь повторно не описаны.

[0141] Сервер 103 дедупликации согласно варианту осуществления настоящего изобретения, показанный на фиг. 1, представляет собой устройство, которое может реализовать техническое решение, описанное согласно варианту осуществления настоящего изобретения, и, как показано на фиг. 18, обычно включает в себя центральный процессор, первичную память и интерфейс ввода/вывода. Центральный процессор, первичная память и интерфейс ввода/вывода осуществляют связь друг с другом. В основной памяти хранится исполнимая инструкция, и центральный процессор выполняет исполнимую инструкцию, хранящуюся в первичной памяти, для осуществления конкретной функции, например, поиска точки деления потока данных, описанной на фиг. 4-17 в вариантах осуществления настоящего изобретения. Таким образом, как показано на фиг. 19, согласно вариантам осуществления настоящего изобретения, показанным на фиг. 4-17, для сервера 103 дедупликации, правило заранее задается на сервере 103 дедупликации, причем правило предусматривает: для точки потенциального деления k, определение M точек px, окна Wx[px-Ax, px+Bx], соответствующего точке px, и заранее заданного условия Cx, соответствующего окну Wx[px-Ax, px+Bx], где x указывает последовательные натуральные числа от 1 до M, M≥2, и Ax и Bx являются целыми числами. Сервер 103 дедупликации включает в себя блок 1901 определения и блок 1902 принятия решения и обработки. Блок 1901 определения выполнен с возможностью осуществления этапа (a): (a) определения точки piz и окна Wiz[piz-Az, piz+Bz], соответствующего точке piz, для текущей точки потенциального деления ki согласно правилу, где i и z являются целыми числами, и 1≤z≤M. Блок 1902 принятия решения и обработки выполнен с возможностью: определения удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz;

когда, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] не удовлетворяет заранее заданному условию Cz, пропуска N минимальных единиц U для поиска точки деления потока данных от точки piz в направлении поиска точки деления потока данных, где N*U не превышает ‖Bz‖+max_x(‖Ax‖+‖(ki-pix)‖), для получения новой точки потенциального деления, причем блок определения осуществляет этап (a) для новой точки потенциального деления; и когда, по меньшей мере, часть данных в каждом окне Wix[pix-Ax, pix+Bx] из M окон текущей точки потенциального деления ki удовлетворяет заранее заданному условию Cx, выбора текущей точки потенциального деления ki в качестве точки деления потока данных.

[0142] Кроме того, правило дополнительно предусматривает, что, по меньшей мере, две точки pe и pf удовлетворяют условиям Ae=Af, Be=Bf и Ce=Cf. Кроме того, правило дополнительно предусматривает, что: относительно точки потенциального деления k, по меньшей мере, две точки pe и pf ориентированы в направлении, противоположном направлению поиска точки деления потока данных.

[0143] Кроме того, правило дополнительно предусматривает, что расстояние между, по меньшей мере, двумя точками pe и pf равно 1 U.

[0144] Кроме того, блок 1902 принятия решения и обработки в частности, выполнен с возможностью определения, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz. В частности, блок 1902 принятия решения и обработки в частности, выполнен с возможностью определения, с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz. В частности, этот блок 1902 принятия решения и обработки в частности, выполнен с возможностью определения, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz, в частности, включает в себя:

[0145] Кроме того, блок 1902 принятия решения и обработки выполнен с возможностью: когда, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] не удовлетворяет заранее заданному условию Cz, пропуска N минимальных единиц U для поиска точки деления потока данных от точки piz в направлении поиска точки деления потока данных, для получения новой точки потенциального деления, и блок 1901 определения осуществляет этап (a) для новой точки потенциального деления, и, согласно правилу, левая граница окна Wic[pic-Ac, pic+Bc], соответствующая точке pic, которая определена для новой точки потенциального деления, совпадает с правой границей окна Wiz[piz-Az, piz+Bz], или левая граница окна Wic[pic-Ac, pic+Bc] попадает в диапазон окна Wiz[piz-Az, piz+Bz], где точка pic, определенная для новой точки потенциального деления, является точкой, занимающей первую позицию в последовательности, которая получена согласно направлению поиска точки деления потока данных, из M точек, которые определены для новой точки потенциального деления согласно правилу.

[0146] Согласно способу поиска точки деления потока данных на основе сервера в вариантах осуществления настоящего изобретения, показанных на фиг. 4-17, точка pix и окно Wix[pix-Ax, pix+Bx], соответствующее точке pix определяются для точки потенциального деления ki, где x указывает последовательные натуральные числа от 1 до M по отдельности, и M≥2. Параллельно можно определять, удовлетворяет ли, по меньшей мере, часть данных в каждом окне из M окон заранее заданному условию Cx, или можно последовательно определять, удовлетворяет ли, по меньшей мере, часть данных в окнах заранее заданному условию, или можно сначала определять, что, по меньшей мере, часть данных в окне Wi₁[pi₁-A₁, pi₁+B₁] удовлетворяет заранее заданному условию C₁, затем принимать решение, что, по меньшей мере, часть данных в Wi₂[pi₂-A₂, pi₂+B₂] удовлетворяет заранее заданному условию C₂, пока не будет принято решение, что, по меньшей мере, часть данных в Wim[pim-Am, pim+Bm] удовлетворяет заранее заданному условию Cm. Другие окна в этом варианте осуществления определяются таким же образом, как описано, что не описано повторно.

[0147] Кроме того, согласно вариантам осуществления настоящего изобретения, показанным на фиг. 4-17, в фактических применениях, правило заранее задается на сервере 103 дедупликации, причем правило предусматривает: для точки потенциального деления k, определение M точек px, окна Wx[px-Ax, px+Bx], соответствующего точке px, и заранее заданного условия Cx, соответствующего окну Wx[px-Ax, px+Bx], где x указывает последовательные натуральные числа от 1 до M по отдельности, и M≥2. Согласно заранее заданному правилу, A₁, A₂, A₃, ..., и Am могут не все быть равны, B₁, B₂, B₃, ..., и Bm могут не все быть равны, и C₁, C₂, C₃, ..., и CM также могут не все быть равны. В варианте реализации, показанном на фиг. 5, для окон Wi₁[pi₁-169, pi₁], Wi₂[pi₂-169, pi₂], Wi₃[pi₃-169, pi₃], Wi₄[pi₄-169, pi₄], Wi₅[pi₅-169, pi₅], Wi₆[pi₆-169, pi₆], Wi₇[pi₇-169, pi₇], Wi₈[pi₈-169, pi₈], Wi₉[pi₉-169, pi₉], Wi₁₀[pi₁₀-169, pi₁₀] и Wi₁₁[pi₁₁-169, pi₁₁], окна одинаковы по размеру, то есть все окна имеют размер 169 байтов, и при этом способы определения, удовлетворяет ли, по меньшей мере, часть данных в окне заранее заданному условию, также одинаковы. Подробности можно найти в вышеприведенном описании определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[pi₁-169, pi₁] заранее заданному условию C₁. Однако, в варианте реализации, показанном на фиг. 11, окна Wi₁[pi₁-169, pi₁], Wi₂[pi₂-169, pi₂], Wi₃[pi₃-169, pi₃], Wi₄[pi₄-169, pi₄], Wi₅[pi₅-169, pi₅], Wi₆[pi₆-169, pi₆], Wi₇[pi₇-169, pi₇], Wi₈[pi₈-169, pi₈], Wi₉[pi₉-169, pi₉], Wi₁₀[pi₁₀-169, pi₁₀] и Wi₁₁[pi₁₁-182, pi₁₁] могут отличаться размером, и при этом способы определения, удовлетворяет ли, по меньшей мере, часть данных в окне заранее заданному условию, также могут отличаться. Во всех вариантах осуществления, согласно правилу, заранее заданному на сервере 103 дедупликации, способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₁ заранее заданному условию C₁, конечно, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wj₁ заранее заданному условию C₁, способ определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₂ заранее заданному условию C₂, конечно, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в Wj₂ заранее заданному условию C₂, ..., и способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wim заранее заданному условию CM, конечно, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне WjM заранее заданному условию CM, которые здесь повторно не описаны. При этом, согласно вариантам осуществления настоящего изобретения, показанным на фиг. 4-17, хотя M=11 используется в порядке примера, значение M не ограничивается 11 согласно фактическому требованию, и специалист в данной области техники определяет значение M согласно описанию в вариантах осуществления настоящего изобретения.

[0148] Согласно вариантам осуществления настоящего изобретения, показанным на фиг. 4-17, правило заранее задается на сервере 103 дедупликации, ka, ki, kj, kl и km являются точками потенциального деления, полученными при поиске точки деления в направлении поиска точки деления потока данных, и все ka, ki, kj, kl и km подчиняются правилу. Окно Wx[px-Ax, px+Bx] в этом варианте осуществления настоящего изобретения представляет конкретный диапазон, и данные выбираются в конкретном диапазоне для определения, удовлетворяют ли данные заранее заданному условию Cx. В частности, в конкретном диапазоне можно выбирать, часть данных или можно выбирать все данные для определения, удовлетворяют ли данные заранее заданному условию Cx. Можно рассматривать окно Wx[px-Ax, px+Bx] в качестве примера понятия окна, в частности, используемого в этом варианте осуществления настоящего изобретения, который здесь повторно не описан.

[0149] Согласно вариантам осуществления настоящего изобретения, показанным на фиг. 4-17, в окне Wx[px-Ax, px+Bx], (px-Ax) и (px+Bx) представляют две границы окна Wx[px-Ax, px+Bx], где (px-Ax) представляет границу, которая ориентирована в направлении, противоположном направлению поиска точки деления потока данных относительно точки px, окна Wx[px-Ax, px+Bx], и (px+Bx) представляет границу, которая ориентирована в направлении поиска точки деления потока данных относительно точки px, окна Wx[px-Ax, px+Bx]. В частности, согласно варианту осуществления настоящего изобретения, направление поиска точки деления потока данных, показанное на фиг. 3-15, является направлением слева направо; таким образом, (px-Ax) представляет границу (то есть левую границу), которая ориентирована в направлении, противоположном направлению поиска точки деления потока данных относительно точки px, окна Wx[px-Ax, px+Bx], и (px+Bx) представляет границу (то есть правую границу), которая ориентирована в направлении поиска точки деления потока данных относительно точки px, окна Wx[px-Ax, px+Bx]. Если направление поиска точки деления потока данных, показанное на фиг. 3-15 ориентировано справа налево, (px-Ax) представляет границу (то есть правую границу), которая ориентирована в направлении, противоположном направлению поиска точки деления потока данных относительно точки px, окна Wx[px-Ax, px+Bx], и (px+Bx) представляет границу (то есть левую границу), которая ориентирована в направлении поиска точки деления потока данных относительно точки px, окна Wx[px-Ax, px+Bx].

[0150] Специалист в данной области техники может понять, что, совместно с различными иллюстративными блоками и этапами алгоритма, описанными в вариантах осуществления настоящего изобретения, ключевой признак в вариантах осуществления настоящего изобретения можно объединить с другими технологиями и представить в более сложной форме; однако ключевой признак настоящего изобретения по прежнему включен. Альтернативная точка деления может использоваться в реальном окружении. Например, в варианте реализации, согласно правилу, заранее заданному на сервере 103 дедупликации, 11 точек px определяются для точки потенциального деления ki, где x указывает последовательные натуральные числа от 1 до 11, и определяются окно Wx[px-Ax, px+Bx], соответствующее px, и заранее заданное условие Cx, соответствующее окну Wx[px-Ax, px+Bx]. Когда, по меньшей мере, часть данных в каждом окне Wx[px-Ax, px+Bx] из 11 окон удовлетворяет заранее заданному условию Cx, точка потенциального деления ki является точкой деления потока данных. Когда по прохождении заданного максимального фрагмента данных не найдено ни одной точки деления, в этом случае может использоваться заранее заданное правило для альтернативной точки. Заранее заданное правило для альтернативной точки аналогично правилу, заранее заданному на сервере 103 дедупликации, и заранее заданное правило для альтернативной точки предусматривает: например, для точки потенциального деления ki, определяется 10 точек px, где x указывает последовательные натуральные числа от 1 до 10, и определяются окно Wx[px-Ax, px+Bx], соответствующее px, и заранее заданное условие Cx, соответствующее окну Wx[px-Ax, px+Bx]. Когда, по меньшей мере, часть данных в каждом окне Wx[px-Ax, px+Bx] из 10 окон удовлетворяет заранее заданному условию Cx, точка потенциального деления ki является точкой деления потока данных; когда не найдено ни одной точки деления потока данных по прохождении заданного максимального фрагмента данных, концевая позиция максимального фрагмента данных служит точкой принудительного деления.

[0151] Правило заранее задается на сервере 103 дедупликации, и согласно правилу, M точек определяются для точки потенциального деления k. Не требуется, чтобы заранее существовала точка потенциального деления k, и точка потенциального деления k может определяться с использованием определенного M точек.

[0152] Вариант осуществления настоящего изобретения предусматривает способ поиска точки деления потока данных на основе сервера дедупликации, который, как показано на фиг. 20, включает в себя:

[0153] правило заранее задается на сервере 103 дедупликации, причем правило предусматривает: для точки потенциального деления k, определение M окон Wx[k-Ax, k+Bx] и заранее заданного условия Cx, соответствующего окну Wx[k-Ax, k+Bx], где x указывает последовательные натуральные числа от 1 до M, M≥2, и Ax и Bx являются целыми числами. В варианте реализации, показанном на фиг. 3, вблизи значения M, в одном варианте реализации, значение M*U не превышает заранее заданного максимального расстояния между двумя соседними точками деления потока данных, то есть заранее заданной максимальной длины фрагмента данных. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wz[k-Az, k+Bz] заранее заданному условию Cz, где z – целое число, 1≤z≤M, и (k-Az) и (k+Bz) по отдельности представляют две границы окна Wz. Когда определено, что, по меньшей мере, часть данных в любом одном окне Wz[k-Az, k+Bz] не удовлетворяет заранее заданному условию Cz, N байтов пропускается от точки потенциального деления k в направлении поиска точки деления потока данных, где N≤‖Bz‖+max_x(‖Ax‖). ‖Bz‖ представляет абсолютное значение Bz в Wz[k-Az, k+Bz], max_x(‖Ax‖)представляет максимальное значение абсолютного значения Ax в M окон, и принцип определения значения N, в частности, введен в нижеследующих вариантах осуществления. Когда определено, что, по меньшей мере, часть данных в каждом окне Wx[k-Ax, k+Bx] из M окон удовлетворяет заранее заданному условию Cx, точка потенциального деления k является точкой деления потока данных.

[0154] В частности, для текущей точки потенциального деления ki, следующие этапы осуществляются согласно правилу:

[0155] Этап 2001: определить соответствующее окно Wiz[ki-Az, ki+Bz] для текущей точки потенциального деления ki согласно правилу, где i и z являются целыми числами, и 1≤z≤M.

[0156] Этап 2002: определить, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz;

когда, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] не удовлетворяет заранее заданному условию Cz, пропустить N минимальных единиц U для поиска точки деления потока данных от текущей точки потенциального деления ki в направлении поиска точки деления потока данных, где N*U не превышает ‖Bz‖+max_x(‖Ax‖), для получения новой точки потенциального деления, и осуществить этап 2001; и

когда, по меньшей мере, часть данных в каждом окне Wix[ki-Ax, ki+Bx] из M окон текущей точки потенциального деления ki удовлетворяет заранее заданному условию Cx, выбрать текущую точку потенциального деления ki в качестве точки деления потока данных.

[0157] Кроме того, правило дополнительно предусматривает, что, по меньшей мере, два окна Wie[ki-Ae, ki+Be] и Wif[ki-Af, ki+Bf] удовлетворяют условиям |Ae+Be|=|Af+Bf|, и Ce=Cf. Кроме того, правило дополнительно предусматривает, что Ae и Af являются положительными целыми числами. Кроме того, правило дополнительно предусматривает, что Ae-1=Af и Be+1=Bf. |Ae+Be| представляет размер окна Wie, и |Af+Bf| представляет размер окна Wif.

[0158] Кроме того, определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz, в частности, включает в себя: определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz. Кроме того, определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz, в частности, содержит: определение, с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz.

[0159] Когда, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] не удовлетворяет заранее заданному условию Cz, N минимальных единиц U для поиска точки деления потока данных пропускается от текущей точки потенциального деления ki в направлении поиска точки деления потока данных, для получения новой точки потенциального деления. Согласно правилу, левая граница окна Wic[ki-Ac, ki+Bc], которая определена для новой точки потенциального деления, совпадает с правой границей окна Wiz[ki-Az, ki+Bz], или левая граница окна Wic[ki-Ac, ki+Bc], которая определена для новой точки потенциального деления, попадает в диапазон окна Wiz[ki-Az, ki+Bz], где окно Wic[ki-Ac, ki+Bc], определенное для новой точки потенциального деления является окном, занимающим первую позицию в последовательности, которая получена согласно направлению поиска точки деления потока данных, из M окон, которые определены для новой точки потенциального деления согласно правилу.

[0160] В этом варианте осуществления настоящего изобретения, поиск точки деления потока данных осуществляется путем определения, удовлетворяет ли, по меньшей мере, часть данных в окне из M окон заранее заданному условию, и когда, по меньшей мере, часть данных в окне не удовлетворяет заранее заданному условию, пропускается длина N*U, где N*U не превышает ‖Bz‖+max_x(‖Ax‖), для получения следующей точки потенциального деления, что повышает эффективность поиска точки деления потока данных.

[0161] В процессе устранения дублированных данных, чтобы гарантировать одномерный размер фрагмента данных, рассматривается средний размер фрагмента данных (также именуемый средним фрагментом). Таким образом, хотя ограничения на размер минимального фрагмента данных и размер максимального фрагмента данных удовлетворяются, размер среднего фрагменты данных определяется, чтобы гарантировать одномерный размер полученного фрагмента данных. Вероятность (представленная как P(n)) нахождения точки деления потока данных зависит от двух факторов, то есть количества M окон Wx[k-Ax, k+Bx] и вероятность того, что, по меньшей мере, часть данных в окне Wx[k-Ax, k+Bx] удовлетворяет заранее заданному условию, где первый влияет на длину пропуска, последний влияет на вероятность пропуска, и оба вместе влияют на размер среднего фрагмента. В общем случае, когда размер среднего фрагмента является фиксированным, с возрастанием количества Wx[k-Ax, k+Bx], вероятность того, что, по меньшей мере, часть данных в единичном окне Wx[k-Ax, k+Bx] удовлетворяет заранее заданному условию, также возрастает. Например, правило заранее задается на сервере 103 дедупликации, и правило предусматривает: для точки потенциального деления k, определение 11 окон Wx[k-Ax, k+Bx], где x указывает последовательные натуральные числа от 1 до 11 по отдельности, и вероятность того, что, по меньшей мере, часть данных в любом окне Wx[k-Ax, k+Bx] из 11 окон удовлетворяет заранее заданному условию, равна 1/2. Другая группа правил, заранее заданных на сервере 103 дедупликации, предусматривает: определение 24 окон Wx[k-Ax, k+Bx] для точки потенциального деления k, где x указывает последовательные натуральные числа от 1 до 24 по отдельности, и вероятность того, что, по меньшей мере, часть данных в любом окне Wx[k-Ax, k+Bx] из 24 окон удовлетворяет заранее заданному условию Cx, равна 3/4. Для задания вероятности того, что, по меньшей мере, часть данных в конкретном окне Wx[k-Ax, k+Bx] удовлетворяет заранее заданному условию, можно обратиться к описанию части определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wx[k-Ax, k+Bx] заранее заданному условию. P(n) зависит от двух факторов, то есть количества M окон Wx[k-Ax, k+Bx] и вероятности того, что, по меньшей мере, часть данных в окне Wx[k-Ax, k+Bx] удовлетворяет заранее заданному условию, и P(n) представляет: вероятность того, что не найдено ни одной точки деления потока данных после N минимальных единиц для поиска точки деления потока данных в поиске от начальной позиции или предыдущей точки деления потока данных потока данных. Процесс вычисления P(n), которая зависит от двух факторов, фактически является n-шаговой последовательностью Фибоначчи, которая подробно описана ниже. После получения P(n), 1-P(n) является функцией распределения точки деления потока данных, и (1-P(n))-(1-P(n-1))=P(n-1)-P(n) является вероятностью того, что точка деления потока данных найдена на расстоянии N минимальных единиц для поиска точки деления потока данных, то есть функцией плотности точки деления потока данных. Интегрирование можно осуществлять согласно функции плотности точки деления потока данных, для получения предполагаемой длины точки деления потока данных, то есть размера среднего фрагмента, где 4*1024 (байтов) представляет длину минимального фрагмента данных, и 12*1024 (байтов) представляет длину максимального фрагмента данных.

[0162] На основании поиска точки деления потока данных, показанного на фиг. 3, в варианте реализации, показанном на фиг. 21, правило заранее задается на сервере 103 дедупликации, причем правило предусматривает: для точки потенциального деления k, определение 11 окон Wx[k-Ax, k+Bx] и заранее заданного условия Cx, соответствующего окну Wx[k-Ax, k+Bx], где x указывает последовательные натуральные числа от 1 до 11, и Ax и Bx являются целыми числами. A₁=169, B₁=0; A₂=170, B₂=-1; A₃=171, B₃=-2; A₄=172, B₄=-3; A₅=173, B₅=-4; A₆=174, B₆=-5; A₇=175, B₇=-6; A₈=176, B₈=-7; A₉=177, B₉=-8; A₁₀=178, B₁₀=-9; A₁₁=179, B₁₁=-10. C₁=C₂=C₃=C₄=C₅=C₆=C₇=C₈=C₉=C₁₀=C₁₁. Таким образом, 11 окон представляют собой W₁[k-169, k], W₂[k-170, k-1], W₃[k-171, k-2], W₄[k-172, k-3], W₅[k-173, k-4], W₆[k-174, k-5], W₇[k-175, k-6], W₈[k-176, k-7], W₉[k-177, k-8], W₁₀[k-178, k-9] и W₁₁[k-179, k-10]. ka является точкой деления потока данных, и направление поиска точки деления потока данных, показанное на фиг. 21 является направлением слева направо. После пропуска минимального фрагмента данных размером 4 кбайт от точки деления потока данных ka, концевая позиция минимального фрагмента данных длиной 4 кбайт служит следующей точкой потенциального деления ki. Согласно правилу, заранее заданному на сервере 103 дедупликации, окно Wix[ki-Ax, ki+Bx] определяется для точки потенциального деления ki, и в этом варианте осуществления, x указывает последовательные натуральные числа от 1 до 11 по отдельности. В варианте реализации, показанном на фиг. 21, 11 окон определяются для точки потенциального деления ki, и представляют собой Wi₁[ki-169, ki], Wi₂[ki-170, ki-1], Wi₃[ki-171, ki-2], Wi₄[ki-172, ki-3], Wi₅[ki-173, ki-4], Wi₆[ki-174, ki-5], Wi₇[ki-175, ki-6], Wi₈[ki-176, ki-7], Wi₉[ki-177, ki-8], Wi₁₀[ki-178, ki-9] и Wi₁₁[ki-179, ki-10] по отдельности. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[ki-169, ki] заранее заданному условию C₁, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₂[ki-170, ki-1] заранее заданному условию C₂, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₃[ki-171, ki-2] заранее заданному условию C₃, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₄[ki-172, ki-3] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₅[ki-173, ki-4] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₆[ki-174, ki-5] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₇[ki-175, ki-6] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₈[ki-176, ki-7] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₉[ki-177, ki-8] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁₀[ki-178, ki-9] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁₁[ki-179, ki-10] заранее заданному условию C₁₁. Когда определено, что, по меньшей мере, часть данных в окне Wi₁ удовлетворяет заранее заданному условию C₁, по меньшей мере, часть данных в окне Wi₂ удовлетворяет заранее заданному условию C₂, по меньшей мере, часть данных в окне Wi₃ удовлетворяет заранее заданному условию C₃, по меньшей мере, часть данных в окне Wi₄ удовлетворяет заранее заданному условию C₄, по меньшей мере, часть данных в окне Wi₅ удовлетворяет заранее заданному условию C₅, по меньшей мере, часть данных в окне Wi₆ удовлетворяет заранее заданному условию C₆, по меньшей мере, часть данных в окне Wi₇ удовлетворяет заранее заданному условию C₇, по меньшей мере, часть данных в окне Wi₈ удовлетворяет заранее заданному условию C₈, по меньшей мере, часть данных в окне Wi₉ удовлетворяет заранее заданному условию C₉, по меньшей мере, часть данных в окне Wi₁₀ удовлетворяет заранее заданному условию C₁₀, и, по меньшей мере, часть данных в окне Wi₁₁ удовлетворяет заранее заданному условию C₁₁, текущая точка потенциального деления ki является точкой деления потока данных. Когда, по меньшей мере, часть данных в любом окне из 11 окон не удовлетворяет соответствующему заранее заданному условию, например, в Wi₅[ki-173, ki-4], показанном на фиг. 22, N байтов пропускается от точки потенциального деления ki в направлении поиска точки деления потока данных, где N байтов не больше ‖B₅‖+max_x(‖Ax‖). В варианте реализации, показанном на фиг. 22, число N пропущенных байтов не превышает 183 байтов, и в этом варианте осуществления, N=7, для получения новой точки потенциального деления. Для отличения от точки потенциального деления ki, новая точка потенциального деления представлена здесь как kj. Согласно варианту реализации, показанному на фиг. 21, правило заранее задается на сервере 103 дедупликации, причем правило предусматривает: определение окна Wjx[kj-Ax, kj+Bx] для точки потенциального деления kj, причем, в этом варианте осуществления, x указывает последовательные натуральные числа от 1 до 11 по отдельности. 11 окон определяются для точки потенциального деления kj, и представляют собой Wj₁[kj-169, kj], Wj₂[kj-170, kj-1], Wj₃[kj-171, kj-2], Wj₄[kj-172, kj-3], Wj₅[kj-173, kj-4], Wj₆[kj-174, kj-5], Wj₇[kj-175, kj-6], Wj₈[kj-176, kj-7], Wj₉[kj-177, kj-8], Wj₁₀[kj-178, kj-9] и Wj₁₁[kj-179, kj-10] по отдельности. Как показано на фиг. 22, когда 11-е окно Wj₁₁[kj-179, kj-10] определяется для точки потенциального деления, чтобы гарантировать, что диапазон между точкой потенциального деления ki и точкой потенциального деления kj полностью заключен в диапазоне определения, в этом варианте реализации можно гарантировать, что левая граница окна Wj₁₁[kj-179, kj-10] совпадает с правой границей (ki-4) окна Wi₅[ki-173, ki-4], или попадает в диапазон окна Wi₅[ki-173, ki-4], где окно Wj₁₁[kj-179, kj-10] является окном, занимающим первую позицию в последовательности, которая получена согласно направлению поиска точки деления потока данных, из 11 окон, которые определены для точки потенциального деления kj согласно правилу. Таким образом, при таком ограничении, когда, по меньшей мере, часть данных в окне Wi₅[ki-173, ki-4] не удовлетворяет заранее заданному условию C₅, расстояние для пропуска от точки потенциального деления ki в направлении поиска точки деления потока данных не превышает ‖B₅‖+max_x(‖Ax‖). Производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁[kj-169, kj] заранее заданному условию C₁, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₂[kj-170, kj-1] заранее заданному условию C₂, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₃[kj-171, kj-2] заранее заданному условию C₃, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₄[kj-172, kj-3] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₅[kj-173, kj-4] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₆[kj-174, kj-5] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₇[kj-175, kj-6] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₈[kj-176, kj-7] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₉[kj-177, kj-8] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₀[kj-178, kj-9] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₁[kj-179, kj-10] заранее заданному условию C₁₁. Когда определено, что, по меньшей мере, часть данных в окне Wj₁ удовлетворяет заранее заданному условию C₁, по меньшей мере, часть данных в окне Wj₂ удовлетворяет заранее заданному условию C₂, по меньшей мере, часть данных в окне Wj₃ удовлетворяет заранее заданному условию C₃, по меньшей мере, часть данных в окне Wj₄ удовлетворяет заранее заданному условию C₄, по меньшей мере, часть данных в окне Wj₅ удовлетворяет заранее заданному условию C₅, по меньшей мере, часть данных в окне Wj₆ удовлетворяет заранее заданному условию C₆, по меньшей мере, часть данных в окне Wj₇ удовлетворяет заранее заданному условию C₇, по меньшей мере, часть данных в окне Wj₈ удовлетворяет заранее заданному условию C₈, по меньшей мере, часть данных в окне Wj₉ удовлетворяет заранее заданному условию C₉, по меньшей мере, часть данных в окне Wj₁₀ удовлетворяет заранее заданному условию C₁₀, и, по меньшей мере, часть данных в окне Wj₁₁ удовлетворяет заранее заданному условию C₁₁, текущая точка потенциального деления A₁ является точкой деления потока данных, и данные между kj и ka образуют 1 фрагмент данных. При этом, минимальный фрагмент размером 4 кбайт пропускается таким же, образом как для ka для получения следующей точки потенциального деления, и, согласно правилу, заранее заданному на сервере 103 дедупликации, производится определение, является ли следующая точка потенциального деления точкой деления потока данных. Когда определено, что точка потенциального деления kj не является точкой деления потока данных, следующая точка потенциального деления получается таким же, образом как для ki, и производится определение, согласно правилу, заранее заданному на сервере 103 дедупликации, и вышеупомянутому способу, является ли следующая точка потенциального деления точкой деления потока данных. Когда не найдено ни одной точки деления потока данных по прохождении максимального фрагмента данных, концевая позиция максимального фрагмента данных служит точкой принудительного деления.

[0163] В варианте реализации, показанном на фиг. 21, согласно правилу, заранее заданному на сервере 103 дедупликации, начиная с определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[ki-169, ki] заранее заданному условию C₁, когда определено, что, по меньшей мере, часть данных в Wi₁[ki-169, ki], по меньшей мере, часть данных в Wi₂[ki-170, ki-1], по меньшей мере, часть данных в Wi₃[ki-171, ki-2] и, по меньшей мере, часть данных в Wi₄[ki-172, ki-3] удовлетворяют заранее заданным условиям C₁, C₂, C₃ и C₄ соответственно, и определено, что, по меньшей мере, часть данных в Wi₅[ki-173, ki-4] не удовлетворяет заранее заданному условию C₅, 6 байтов пропускается от точки потенциального деления ki в направлении поиска точки деления потока данных, и новая точка потенциального деления получается в концевой позиции 6-го байта. Для отличения от других точек потенциального деления, новая точка потенциального деления представлена здесь как kg. Согласно правилу, заранее заданному на сервере 103 дедупликации, 11 окон определяются для точки потенциального деления kg, и представляют собой Wg₁[kg-169, kg], Wg₂[kg-170, kg-1], Wg₃[kg-171, kg-2], Wg₄[kg-172, kg-3], Wg₅[kg-173, kg-4], Wg₆[kg-174, kg-5], Wg₇[kg-175, kg-6], Wg₈[kg-176, kg-7], Wg₉[kg-177, kg-8], Wg₁₀[kg-178, kg-9] и Wg₁₁[kg-179, kg-10] по отдельности. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wg₁[kg-169, kg] заранее заданному условию C₁, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wg₂[kg-170, kg-1] заранее заданному условию C₂, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wg₃[kg-171, kg-2] заранее заданному условию C₃, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wg₄[kg-172, kg-3] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wg₅[kg-173, kg-4] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wg₆[kg-174, kg-5] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wg₇[kg-175, kg-6] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wg₈[kg-176, kg-7] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wg₉[kg-177, kg-8] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wg₁₀[kg-178, kg-9] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wg₁₁[kg-179, kg-10] заранее заданному условию C₁₁. Окно Wg₁₁[kg-179, kg-10] совпадает с окном Wi₅[ki-173, ki-4], и C₅=C₁₁; таким образом, когда определено, что, по меньшей мере, часть данных в Wi₅[ki-173, ki-4] не удовлетворяет заранее заданному условию C₅, точка потенциального деления kg, полученная пропуском T байтов от точки потенциального деления ki в направлении поиска точки деления потока данных, по прежнему не удовлетворяет условию использования в качестве точки деления потока данных. Таким образом, при наличии повторных вычислений, когда 6 байтов пропускается от точки потенциального деления ki в направлении поиска точки деления потока данных, количество повторных вычислений может сокращаться, и эффективность повышаться, когда 7 байтов пропускаются от точки потенциального деления ki в направлении поиска точки деления потока данных. Таким образом, возрастает скорость поиска точки деления потока данных. Когда вероятность того, что, по меньшей мере, часть данных в окне Wx[k-Ax, k+Bx], которое определено согласно заранее заданному правилу, удовлетворяет заранее заданному условию Cx, равна 1/2, то есть вероятность выполнения пропуска равна 1/2, каждый раз можно пропускать, самое большее, ‖B₁₁‖+‖A₁₁‖=189 байтов.

[0164] В этом варианте реализации, заранее заданное правило предусматривает, что: 11 окон Wx[k-Ax, k+Bx] определяется для точки потенциального деления k и, по меньшей мере, часть данных в окне Wx[k-Ax, k+Bx] удовлетворяет заранее заданному условию Cx, где вероятность того, что, по меньшей мере, часть данных в Wx[k-Ax, k+Bx] удовлетворяет заранее заданному условию Cx, равна 1/2, где x указывает последовательные натуральные числа от 1 до 11 по отдельности, и Ax и Bx являются целыми числами. A₁=169, B₁=0; A₂=170, B₂=-1; A₃=171, B₃=-2; A₄=172, B₄=-3; A₅=173, B₅=-4; A₆=174, B₆=-5; A₇=175, B₇=-6; A₈=176, B₈=-7; A₉=177, B₉=-8; A₁₀=178, B₁₀=-9; A₁₁=179, B₁₁=-10. C₁=C₂=C₃=C₄=C₅=C₆=C₇=C₈=C₉=C₁₀=C₁₁. Таким образом, 11 окон выбирается для точки потенциального деления k, и 11 окон являются последовательными; P(n) можно вычислить с использованием двух факторов, то есть количества окон и вероятности того, что, по меньшей мере, часть данных в окне Wx[px-Ax, px+Bx] удовлетворяет заранее заданному условию Cx. Способ выбора 11 окон и определения, что по меньшей мере, часть данных в каждом окне из 11 окон удовлетворяет заранее заданному условию Cx, подчиняются правилу, заранее заданному на сервере 103 дедупликации, и, таким образом, является ли точка потенциального деления k точкой деления потока данных, зависит от того, существует ли то, что, по меньшей мере, часть данных в каждом окне из 11 последовательных окон удовлетворяет заранее заданному условию Cx. Промежуток между двумя байтами именуется одной точкой. P(n) представляет вероятность того, что 11 последовательных окон, удовлетворяющих условию, не существуют среди n последовательных окон, то есть вероятность того, что не существует ни одной точки деления потока данных. После пропуска минимальный фрагмента размером 4 кбайт от заголовка файла/ предыдущей точки деления, 4086-ая точка находится путем возвращения на 10 байтов в направлении, противоположном направлению поиска точки деления потока данных, и в точке не существует ни одной точки деления потока данных; таким образом, P(4086)=1, и P(4087)=1, ..., P(4095)=1, и т.д. В 4096-й точке, то есть, в точке, которая используется для получения минимального фрагмента, с вероятностью (1/2)^11, по меньшей мере, часть данных в каждом окне из 11 окон удовлетворяет заранее заданному условию Cx. Поэтому, с вероятностью (1/2)^11, существует точка деления потока данных; с вероятностью 1-(1/2)^11, не существует ни одной точки деления потока данных; таким образом P(4096)=1-(1/2)^11.

[0165] В n-м окне может существовать 12 случаев получения P(n) посредством рекурсии.

[0166] Случай 1: с вероятностью 1/2, по меньшей мере, часть данных в n-м окне не удовлетворяет заранее заданному условию; в этом случае, с вероятностью P(n-1), 11 последовательных окон не существует среди (n-1) окон до n-го окна, где, по меньшей мере, часть данных в каждом окне из 11 последовательных окон удовлетворяет заранее заданному условию. Таким образом, P(n) включает в себя 1/2*P(n-1). Случай, когда, по меньшей мере, часть данных в n-м окне не удовлетворяет заранее заданному условию, и 11 последовательных окон существует среди (n-1) окон до n-й точки, где, по меньшей мере, часть данных в каждом окне из 11 последовательных окон удовлетворяет заранее заданному условию, не связан с P(n).

[0167] Случай 2: с вероятностью 1/2, по меньшей мере, часть данных в n-м окне удовлетворяет заранее заданному условию, и с вероятностью 1/2, по меньшей мере, часть данных в (n-1)-м окне не удовлетворяет заранее заданному условию; в этом случае, с вероятностью P(n-2), 11 последовательных окон не существует среди (n-2) окон до (n-1)-го окна, где, по меньшей мере, часть данных в каждом окне из 11 последовательных окон удовлетворяет заранее заданному условию. Таким образом, P(n) включает в себя 1/2*1/2*P(n-2). Случай, когда, по меньшей мере, часть данных в n-м окне удовлетворяет заранее заданному условию, по меньшей мере, часть данных в (n-1)-м окне не удовлетворяет заранее заданному условию, и 11 последовательных окон существует среди (n-2) окон до (n-1)-го окна, где, по меньшей мере, часть данных в каждом окне из 11 последовательных окон удовлетворяет заранее заданному условию, не связан с P(n).

[0168] Согласно вышеупомянутому описанию, случай 11: с вероятностью (1/2)^10, по меньшей мере, часть данных в окнах с n-го по (n-9)-е удовлетворяет заранее заданному условию, и с вероятностью 1/2, по меньшей мере, часть данных в (n-10)-м окне не удовлетворяет заранее заданному условию; в этом случае, с вероятностью P(n-11), 11 последовательных окон не существует среди (n-11) окон до (n-10)-го окна, где, по меньшей мере, часть данных в каждом окне из 11 последовательных окон удовлетворяет заранее заданному условию. Таким образом, P(n) включает в себя (1/2)^10*1/2*P(n-11). Случай, когда, по меньшей мере, часть данных в окнах с n-го по (n-9)-е удовлетворяет заранее заданному условию, по меньшей мере, часть данных в (n-10)-м окне не удовлетворяет заранее заданному условию, и 11 последовательных окон существует среди (n-11) окон до (n-10)-го окна, где, по меньшей мере, часть данных в каждом окне из 11 последовательных окон удовлетворяет заранее заданному условию, не связан с P(n).

[0169] Случай 12: с вероятностью (1/2)^11, по меньшей мере, часть данных в окнах с n-го по (n-10)-е удовлетворяет заранее заданному условию, и этот случай не связан с P(n).

[0170] Таким образом, P(n)=1/2*P(n-1)+(1/2)^2*P(n-2)+...+(1/2)^11*P(n-11). Другое заранее заданное правило предусматривает: для точки потенциального деления k, определение 24 окон Wx[k-Ax, k+Bx] и заранее заданного условия Cx, соответствующего окну Wx[k-Ax, k+Bx], где x указывает последовательные натуральные числа от 1 до 11, A₁=169, B₁=0; A₂=170, B₂=-1; A₃=171, B₃=-2; A₄=172, B₄=-3; A₅=173, B₅=-4; A₆=174, B₆=-5; A₇=175, B₇=-6; A₈=176, B₈=-7; A₉=177, B₉=-8; A₁₀=178, B₁₀=-9; A₁₁=179, B₁₁=-10, ..., и A₂₄=192, B₂₄=-23. C₁=C₂=C₃=C₄=C₅=C₆=C₇=C₈=C₉=...=C₂₄. Вероятность того, что, по меньшей мере, часть данных в окне Wx[k-Ax, k+Bx] удовлетворяет заранее заданному условию Cx, равна 3/4, и P(n) можно вычислить с использованием двух факторов, то есть количества окон и вероятности того, что, по меньшей мере, часть данных в окне Wx[px-Ax, px+Bx] удовлетворяет заранее заданному условию Cx.

[0171] Таким образом, является ли точка потенциального деления k точкой деления потока данных, зависит от того, существует ли то, что, по меньшей мере, часть данных в каждом окне из 24 последовательных окон удовлетворяет заранее заданному условию Cx, и вычисление можно осуществлять с использованием нижеследующих формул:

P(1)=1, P(2), ..., P(23)=1, P(24)=1-(3/4)^24, и

P(n)=1/4*P(n-1)+1/4*(3/4)*P(n-2)+...+1/4*(3/4)^23*P(n-24).

[0172] После вычисления, P(5*1024)=0.78, P(11*1024)=0.17, и P(12*1024)=0.13. Таким образом, ни одна точка деления потока данных не находится с вероятностью 13% после перехода поиска к точке на расстоянии 12 кбайт от начальной позиции/ предыдущей точки деления потока данных потока данных, и осуществляется принудительное деление. Функция плотности точки деления потока данных получается с использованием этой вероятности, и, после интегрирования, получается, что в среднем, точка деления потока данных находится после перехода поиска к точке на расстоянии около 7.6 кбайт от начальной позиции/ предыдущей точки деления потока данных потока данных, то есть средняя длина фрагмента составляет около 7.6 кбайт. В отличие от случая, когда, по меньшей мере, часть данных в 11 последовательных окон удовлетворяет заранее заданному условию с вероятностью 1/2, традиционный алгоритм CDC может приводить к тому, что средняя длина фрагмента равна 7,6 кбайт, только, когда одно окно удовлетворяет условию с вероятностью 1/2^12.

[0173] На основании поиска точки деления потока данных, показанного на фиг. 3, в варианте реализации, показанном на фиг. 23, правило заранее задается на сервере 103 дедупликации, причем правило предусматривает: для точки потенциального деления k, определение 11 окон Wx[k-Ax, k+Bx] и заранее заданного условия Cx, соответствующего окну Wx[k-Ax, k+Bx], где x указывает последовательные натуральные числа от 1 до 11, и Ax и Bx являются целыми числами. Вероятность того, что, по меньшей мере, часть данных в окне Wx[k-Ax, k+Bx] удовлетворяет заранее заданному условию Cx, равна 1/2. A₁=171, B₁=-2; A₂=172, B₂=-3; A₃=173, B₃=-4; A₄=174, B₄=-5; A₅=175, B₅=-6; A₆=176, B₆=-7; A₇=177, B₇=-8; A₈=178, B₈=-9; A₉=179, B₉=-10; A₁₀=170, B₁₀=-1; A₁₁=169, B₁₁=0. C₁=C₂=C₃=C₄=C₅=C₆=C₇=C₈=C₉=C₁₀=C₁₁. ka является точкой деления потока данных, и направление поиска точки деления потока данных, показанное на фиг. 23 является направлением слева направо. После пропуска минимального фрагмента данных размером 4 кбайт от точки деления потока данных ka, концевая позиция минимального фрагмента данных длиной 4 кбайт служит следующей точкой потенциального деления ki. Согласно правилу, заранее заданному на сервере 103 дедупликации, для точки потенциального деления ki, определяются Wix[ki-Ax, ki+Bx] и заранее заданное условие Cx, соответствующее окну Wix[ki-Ax, ki+Bx], где x указывает последовательные натуральные числа от 1 до 11. Определенные 11 окон представляют собой Wi₁[ki-171, ki-2], Wi₂[ki-172, ki-3], Wi₃[ki-173, ki-4], Wi₄[ki-174, ki-5], Wi₅[ki-175, ki-6], Wi₆[ki-176, ki-7], Wi₇[ki-177, ki-8], Wi₈[ki-178, ki-9], Wi₉[ki-179, ki-10], Wi₁₀[ki-170, ki-1] и Wi₁₁[ki-169, ki] по отдельности. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[ki-171, ki-2] заранее заданному условию C₁, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₂[ki-172, ki-3] заранее заданному условию C₂, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₃[ki-173, ki-4] заранее заданному условию C₃, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₄[ki-174, ki-5] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₅[ki-175, ki-6] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₆[ki-176, ki-7] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₇[ki-177, ki-8] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₈[ki-178, ki-9] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₉[ki-179, ki-10] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁₀[ki-170, ki-1] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁₁[ki-169, ki] заранее заданному условию C₁₁. Когда определено, что, по меньшей мере, часть данных в окне Wi₁ удовлетворяет заранее заданному условию C₁, по меньшей мере, часть данных в окне Wi₂ удовлетворяет заранее заданному условию C₂, по меньшей мере, часть данных в окне Wi₃ удовлетворяет заранее заданному условию C₃, по меньшей мере, часть данных в окне Wi₄ удовлетворяет заранее заданному условию C₄, по меньшей мере, часть данных в окне Wi₅ удовлетворяет заранее заданному условию C₅, по меньшей мере, часть данных в окне Wi₆ удовлетворяет заранее заданному условию C₆, по меньшей мере, часть данных в окне Wi₇ удовлетворяет заранее заданному условию C₇, по меньшей мере, часть данных в окне Wi₈ удовлетворяет заранее заданному условию C₈, по меньшей мере, часть данных в окне Wi₉ удовлетворяет заранее заданному условию C₉, по меньшей мере, часть данных в окне Wi₁₀ удовлетворяет заранее заданному условию C₁₀, и, по меньшей мере, часть данных в окне Wi₁₁ удовлетворяет заранее заданному условию C₁₁, текущая точка потенциального деления ki является точкой деления потока данных. Когда, по меньшей мере, часть данных в любом окне из 11 окон не удовлетворяет соответствующему заранее заданному условию, как показано на фиг. 24, в порядке примера для описания используется тот факт, что по меньшей мере, часть данных в Wi₃[pi₃-169, pi₃] не удовлетворяет заранее заданному условию C₃, 11 байтов пропускается от точки pi₃ в направлении поиска точки деления потока данных. Как показано на фиг. 24, когда определено, что W₃ не удовлетворяет заранее заданному условию C₃, от ki, которая служит начальной точкой, N байтов пропускается в направлении поиска точки деления потока данных, где N байтов не больше ‖B₃‖+max_x(‖Ax‖). В этом варианте осуществления, N=7, и следующая точка потенциального деления получается в концевой позиции 7-го байта. Для отличения от точки потенциального деления ki, новая точка потенциального деления представлена здесь как kj. Согласно правилу, заранее заданному на сервере 103 дедупликации, для точки потенциального деления kj, 11 окон Wjx[kj-Ax, kj+Bx] определяются и являются Wj₁[kj-171, kj-2], Wj₂[kj-172, kj-3], Wj₃[kj-173, kj-4], Wj₄[kj-174, kj-5], Wj₅[kj-175, kj-6], Wj₆[kj-176, kj-7], Wj₇[kj-177, kj-8], Wj₈[kj-178, kj-9], Wj₉[kj-179, kj-10], Wj₁₀[kj-170, kj-1] и Wj₁₁[kj-169, kj] по отдельности. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁[kj-171, kj-2] заранее заданному условию C₁, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₂[kj-172, kj-3] заранее заданному условию C₂, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₃[kj-173, kj-4] заранее заданному условию C₃, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₄[kj-174, kj-5] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₅[kj-175, kj-6] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₆[kj-176, kj-7] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₇[kj-177, kj-8] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₈[kj-178, kj-9] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₉[kj-179, kj-10] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₀[kj-170, kj-1] заранее заданному условию C₁₀ и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₁[kj-169, kj] заранее заданному условию C₁₁. Конечно, в этом варианте осуществления настоящего изобретения, правило также выполняется, когда производится определение, является ли точка потенциального деления ka точкой деления потока данных, конкретная реализация повторно не описана, и можно обратиться к описанию определения точки потенциального деления ki. Когда определено, что, по меньшей мере, часть данных в окне Wj₁ удовлетворяет заранее заданному условию C₁, по меньшей мере, часть данных в окне Wj₂ удовлетворяет заранее заданному условию C₂, по меньшей мере, часть данных в окне Wj₃ удовлетворяет заранее заданному условию C₃, по меньшей мере, часть данных в окне Wj₄ удовлетворяет заранее заданному условию C₄, по меньшей мере, часть данных в окне Wj₅ удовлетворяет заранее заданному условию C₅, по меньшей мере, часть данных в окне Wj₆ удовлетворяет заранее заданному условию C₆, по меньшей мере, часть данных в окне Wj₇ удовлетворяет заранее заданному условию C₇, по меньшей мере, часть данных в окне Wj₈ удовлетворяет заранее заданному условию C₈, по меньшей мере, часть данных в окне Wj₉ удовлетворяет заранее заданному условию C₉, по меньшей мере, часть данных в окне Wj₁₀ удовлетворяет заранее заданному условию C₁₀, и, по меньшей мере, часть данных в окне Wj₁₁ удовлетворяет заранее заданному условию C₁₁, текущая точка потенциального деления kj является точкой деления потока данных, и данные между kj и ka образуют 1 фрагмент данных. При этом, минимальный фрагмент размером 4 кбайт пропускается таким же, образом как для ka для получения следующей точки потенциального деления, и, согласно правилу, заранее заданному на сервере 103 дедупликации, производится определение, является ли следующая точка потенциального деления точкой деления потока данных. Когда определено, что точка потенциального деления kj не является точкой деления потока данных, следующая точка потенциального деления получается таким же, образом как для ki, и производится определение, согласно правилу, заранее заданному на сервере 103 дедупликации, и вышеупомянутому способу, является ли следующая точка потенциального деления точкой деления потока данных. Когда не найдено ни одной точки деления потока данных по прохождении максимального фрагмента данных, концевая позиция максимального фрагмента данных служит точкой принудительного деления. Конечно, реализация способа ограничена длиной максимального фрагмента данных и размером файла, образующего поток данных, который здесь повторно не описан.

[0174] На основании поиска точки деления потока данных, показанного на фиг. 3, в варианте реализации, показанном на фиг. 25, правило заранее задается на сервере 103 дедупликации, причем правило предусматривает: для точки потенциального деления k, определение 11 окон Wx[k-Ax, k+Bx] и заранее заданного условия Cx, соответствующего окну Wx[k-Ax, k+Bx], где x указывает последовательные натуральные числа от 1 до 11. A₁=166, B₁=3; A₂=167, B₂=2; A₃=168, B₃=1; A₄=169, B₄=0; A₅=170, B₅=-1; A₆=171, B₆=-2; A₇=172, B₇=-3; A₈=173, B₈=-4; A₉=174, B₉=-5; A₁₀=175, B₁₀=-6; A₁₁=176, B₁₁=-7. C₁=C₂=C₃=C₄=C₅=C₆=C₇=C₈=C₉=C₁₀=C₁₁, и 11 окон представляют собой W₁[k-166, k+3], W₂[k-167, k+2], W₃[k-168, k+1], W₄[k-169, k], W₅[k-170, k-1], W₆[k-171, k-2], W₇[k-172, k-3], W₈[k-173, k-4], W₉[k-174, k-5], W₁₀[k-175, k-6] и W₁₁[k-176, k-7] по отдельности. ka является точкой деления потока данных, и направление поиска точки деления потока данных, показанное на фиг. 25 является направлением слева направо. После пропуска минимального фрагмента данных размером 4 кбайт от точки деления потока данных ka, концевая позиция минимального фрагмента данных длиной 4 кбайт служит следующей точкой потенциального деления ki. В этом варианте осуществления, согласно правилу, заранее заданному на сервере 103 дедупликации, для точки потенциального деления ki, определяются 11 окон Wix[k-Ax, k+Bx] и заранее заданное условие Cx, соответствующее окну Wix[k-Ax, k+Bx], где x указывает последовательные натуральные числа от 1 до 11 по отдельности. В варианте реализации, показанном на фиг. 25, для точки потенциального деления ki, 11 окон, которые определены, представляют собой Wi₁[ki-166, ki+3], Wi₂[ki-167, ki+2], Wi₃[ki-168, ki+1], Wi₄[ki-169, ki], Wi₅[ki-170, ki-1], Wi₆[ki-171, ki-2], Wi₇[ki-172, ki-3], Wi₈[ki-173, ki-4], Wi₉[ki-174, ki-5], Wi₁₀[ki-175, ki-6] и Wi₁₁[ki-176, ki-7] по отдельности. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[ki-166, ki+3] заранее заданному условию C₁, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₂[ki-167, ki+2] заранее заданному условию C₂, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₃[ki-168, ki+1] заранее заданному условию C₃, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₄[ki-169, ki] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₅[ki-170, ki-1] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₆[ki-171, ki-2] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₇[ki-172, ki-3] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₈[ki-173, ki-4] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₉[ki-174, ki-5] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁₀[ki-175, ki-6] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁₁[ki-176, ki-7] заранее заданному условию C₁₁. Когда определено, что, по меньшей мере, часть данных в окне Wi₁ удовлетворяет заранее заданному условию C₁, по меньшей мере, часть данных в окне Wi₂ удовлетворяет заранее заданному условию C₂, по меньшей мере, часть данных в окне Wi₃ удовлетворяет заранее заданному условию C₃, по меньшей мере, часть данных в окне Wi₄ удовлетворяет заранее заданному условию C₄, по меньшей мере, часть данных в окне Wi₅ удовлетворяет заранее заданному условию C₅, по меньшей мере, часть данных в окне Wi₆ удовлетворяет заранее заданному условию C₆, по меньшей мере, часть данных в окне Wi₇ удовлетворяет заранее заданному условию C₇, по меньшей мере, часть данных в окне Wi₈ удовлетворяет заранее заданному условию C₈, по меньшей мере, часть данных в окне Wi₉ удовлетворяет заранее заданному условию C₉, по меньшей мере, часть данных в окне Wi₁₀ удовлетворяет заранее заданному условию C₁₀, и, по меньшей мере, часть данных в окне Wi₁₁ удовлетворяет заранее заданному условию C₁₁, текущая точка потенциального деления ki является точкой деления потока данных. Когда, по меньшей мере, часть данных в любом окне из 11 окон не удовлетворяет соответствующему заранее заданному условию, например, Wi₇[ki-172, ki-3], показанное на фиг. 26, N байтов пропускается от точки потенциального деления ki в направлении поиска точки деления потока данных, где N байтов не больше ‖B₇‖+max_x(‖Ax‖). В варианте реализации, показанном на фиг. 26, количество N пропущенных байтов не превышает 185 байтов, и в этом варианте осуществления, N=5, для получения новой точки потенциального деления. Для отличения от точки потенциального деления ki, новая точка потенциального деления представлена здесь как kj. Согласно правилу, заранее заданному на сервере 103 дедупликации в варианте реализации, показанном на фиг. 25, для точки потенциального деления kj, 11 окон определяются и являются Wj₁[kj-166, kj+3], Wj₂[kj-167, kj+2], Wj₃[kj-168, kj+1], Wj₄[kj-169, kj], Wj₅[kj-170, kj-1], Wj₆[kj-171, kj-2], Wj₇[kj-172, kj-3], Wj₈[kj-173, kj-4], Wj₉[kj-174, kj-5], Wj₁₀[kj-175, kj-6] и Wj₁₁[kj-176, kj-7] по отдельности. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁[kj-166, kj+3] заранее заданному условию C₁, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₂[kj-167, kj+2] заранее заданному условию C₂, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₃[kj-168, kj+1] заранее заданному условию C₃, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₄[kj-169, kj] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₅[kj-170, kj-1] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₆[kj-171, kj-2] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₇[kj-172, kj-3] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₈[kj-173, kj-4] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₉[kj-174, kj-5] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₀[kj-175, kj-6] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₁[kj-176, kj-7] заранее заданному условию C₁₁. Конечно, в этом варианте осуществления настоящего изобретения, правило также выполняется, когда производится определение, является ли точка потенциального деления ka точкой деления потока данных, конкретная реализация повторно не описана, и можно обратиться к описанию определения точки потенциального деления ki. Когда определено, что, по меньшей мере, часть данных в окне Wj₁ удовлетворяет заранее заданному условию C₁, по меньшей мере, часть данных в окне Wj₂ удовлетворяет заранее заданному условию C₂, по меньшей мере, часть данных в окне Wj₃ удовлетворяет заранее заданному условию C₃, по меньшей мере, часть данных в окне Wj₄ удовлетворяет заранее заданному условию C₄, по меньшей мере, часть данных в окне Wj₅ удовлетворяет заранее заданному условию C₅, по меньшей мере, часть данных в окне Wj₆ удовлетворяет заранее заданному условию C₆, по меньшей мере, часть данных в окне Wj₇ удовлетворяет заранее заданному условию C₇, по меньшей мере, часть данных в окне Wj₈ удовлетворяет заранее заданному условию C₈, по меньшей мере, часть данных в окне Wj₉ удовлетворяет заранее заданному условию C₉, по меньшей мере, часть данных в окне Wj₁₀ удовлетворяет заранее заданному условию C₁₀, и, по меньшей мере, часть данных в окне Wj₁₁ удовлетворяет заранее заданному условию C₁₁, текущая точка потенциального деления kj является точкой деления потока данных, и данные между kj и ka образуют 1 фрагмент данных. При этом, минимальный фрагмент размером 4 кбайт пропускается таким же, образом как для ka для получения следующей точки потенциального деления, и, согласно правилу, заранее заданному на сервере 103 дедупликации, производится определение, является ли следующая точка потенциального деления точкой деления потока данных. Когда определено, что точка потенциального деления kj не является точкой деления потока данных, следующая точка потенциального деления получается таким же, образом как для ki, и производится определение, согласно правилу, заранее заданному на сервере 103 дедупликации, и вышеупомянутому способу, является ли следующая точка потенциального деления точкой деления потока данных. Когда не найдено ни одной точки деления потока данных по прохождении максимального фрагмента данных, концевая позиция максимального фрагмента данных служит точкой принудительного деления.

[0175] На основании поиска точки деления потока данных, показанного на фиг. 3, в варианте реализации, показанном на фиг. 27, правило заранее задается на сервере 103 дедупликации, причем правило предусматривает: для точки потенциального деления k, определение 11 окон Wx[k-Ax, k+Bx] и заранее заданного условия Cx, соответствующего окну Wx[k-Ax, k+Bx], где x указывает последовательные натуральные числа от 1 до 11. A₁=169, B₁=0; A₂=170, B₂=-1; A₃=171, B₃=-2; A₄=172, B₄=-3; A₅=173, B₅=-4; A₆=174, B₆=-5; A₇=175, B₇=-6; A₈=176, B₈=-7; A₉=177, B₉=-8; A₁₀=168, B₁₀=1; A₁₁=179, B₁₁=3. C₁=C₂=C₃=C₄=C₅=C₆=C₇=C₈=C₉=C₁₀≠C₁₁, и 11 окон представляют собой W₁[k-169, k], W₂[k-170, k-1], W₃[k-171, k-2], W₄[k-172, k-3], W₅[k-173, k-4], W₆[k-174, k-5], W₇[k-175, k-6], W₈[k-176, k-7], W₉[k-177, k-8], W₁₀[k-168, k+1] и W₁₁[k-179, k+3] по отдельности. ka является точкой деления потока данных, и направление поиска точки деления потока данных, показанное на фиг. 27 является направлением слева направо. После пропуска минимального фрагмента данных размером 4 кбайт от точки деления потока данных ka, концевая позиция минимального фрагмента данных длиной 4 кбайт служит следующей точкой потенциального деления ki. В этом варианте осуществления, согласно правилу, заранее заданному на сервере 103 дедупликации, для точки потенциального деления ki, определяется окно Wix[ki-Ax, ki+Bx], где x указывает последовательные натуральные числа от 1 до 11 по отдельности. В варианте реализации, показанном на фиг. 27, для точки потенциального деления ki, 11 окон, которые определены, представляют собой Wi₁[ki-169, ki], Wi₂[ki-170, ki-1], Wi₃[ki-171, ki-2], Wi₄[ki-172, ki-3], Wi₅[ki-173, ki-4], Wi₆[ki-174, ki-5], Wi₇[ki-175, ki-6], Wi₈[ki-176, ki-7], Wi₉[ki-177, ki-8], Wi₁₀[ki-168, ki+1] и Wi₁₁[ki-179, ki+3] по отдельности. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[ki-169, ki] заранее заданному условию C₁, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₂[ki-170, ki-1] заранее заданному условию C₂, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₃[ki-171, ki-2] заранее заданному условию C₃, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₄[ki-172, ki-3] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₅[ki-173, ki-4] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₆[ki-174, ki-5] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₇[ki-175, ki-6] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₈[ki-176, ki-7] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₉[ki-177, ki-8] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁₀[ki-168, ki+1] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁₁[ki-179, ki+3] заранее заданному условию C₁₁. Когда определено, что, по меньшей мере, часть данных в окне Wi₁ удовлетворяет заранее заданному условию C₁, по меньшей мере, часть данных в окне Wi₂ удовлетворяет заранее заданному условию C₂, по меньшей мере, часть данных в окне Wi₃ удовлетворяет заранее заданному условию C₃, по меньшей мере, часть данных в окне Wi₄ удовлетворяет заранее заданному условию C₄, по меньшей мере, часть данных в окне Wi₅ удовлетворяет заранее заданному условию C₅, по меньшей мере, часть данных в окне Wi₆ удовлетворяет заранее заданному условию C₆, по меньшей мере, часть данных в окне Wi₇ удовлетворяет заранее заданному условию C₇, по меньшей мере, часть данных в окне Wi₈ удовлетворяет заранее заданному условию C₈, по меньшей мере, часть данных в окне Wi₉ удовлетворяет заранее заданному условию C₉, по меньшей мере, часть данных в окне Wi₁₀ удовлетворяет заранее заданному условию C₁₀, и, по меньшей мере, часть данных в окне Wi₁₁ удовлетворяет заранее заданному условию C₁₁, текущая точка потенциального деления ki является точкой деления потока данных. Когда определено, что, по меньшей мере, часть данных в окне Wi₁₁ не удовлетворяет заранее заданному условию C₁₁, 1 байт пропускается от точки потенциального деления ki в направлении поиска точки деления потока данных, для получения новой точки потенциального деления. Для отличения от точки потенциального деления ki, новая точка потенциального деления представлена здесь как kj. Когда, по меньшей мере, часть данных в любом окне из 10 окон Wi₁, Wi₂, Wi₃, Wi₄, Wi₅, Wi₆, Wi₇, Wi₈, Wi₉ и Wi₁₀ не удовлетворяет соответствующему заранее заданному условию, например, Wi₄[ki-172, ki-3], показанное на фиг. 28, N байтов пропускается от точки ki в направлении поиска точки деления потока данных, где N байтов не больше ‖B₄‖+max_x(‖Ax‖). В варианте реализации, показанном на фиг. 28, число N пропущенных байтов не превышает 182 байтов, и в этом варианте осуществления, N=6, для получения новой точки потенциального деления. Для отличения от точки потенциального деления ki, новая точка потенциального деления представлена здесь как kj. Согласно правилу, заранее заданному на сервере 103 дедупликации в варианте реализации, показанном на фиг. 27, окна, определенные для точки потенциального деления kj, представляют собой Wj₁[kj-169, kj], Wj₂[kj-170, kj-1], Wj₃[kj-171, kj-2], Wj₄[kj-172, kj-3], Wj₅[kj-173, kj-4], Wj₆[kj-174, kj-5], Wj₇[kj-175, kj-6], Wj₈[kj-176, kj-7], Wj₉[kj-177, kj-8], Wj₁₀[kj-168, kj+1] и Wj₁₁[kj-179, kj+3] по отдельности. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁[kj-169, kj] заранее заданному условию C₁, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₂[kj-170, kj-1] заранее заданному условию C₂, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₃[kj-171, kj-2] заранее заданному условию C₃, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₄[kj-172, kj-3] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₅[kj-173, kj-4] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₆[kj-174, kj-5] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₇[kj-175, kj-6] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₈[kj-176, kj-7] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₉[kj-177, kj-8] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₀[kj-168, kj+1] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₁[kj-179, kj+3] заранее заданному условию C₁₁. Конечно, в этом варианте осуществления настоящего изобретения, правило также выполняется, когда производится определение, является ли точка потенциального деления ka точкой деления потока данных, конкретная реализация повторно не описана, и можно обратиться к описанию определения точки потенциального деления ki. Когда определено, что, по меньшей мере, часть данных в окне Wj₁ удовлетворяет заранее заданному условию C₁, по меньшей мере, часть данных в окне Wj₂ удовлетворяет заранее заданному условию C₂, по меньшей мере, часть данных в окне Wj₃ удовлетворяет заранее заданному условию C₃, по меньшей мере, часть данных в окне Wj₄ удовлетворяет заранее заданному условию C₄, по меньшей мере, часть данных в окне Wj₅ удовлетворяет заранее заданному условию C₅, по меньшей мере, часть данных в окне Wj₆ удовлетворяет заранее заданному условию C₆, по меньшей мере, часть данных в окне Wj₇ удовлетворяет заранее заданному условию C₇, по меньшей мере, часть данных в окне Wj₈ удовлетворяет заранее заданному условию C₈, по меньшей мере, часть данных в окне Wj₉ удовлетворяет заранее заданному условию C₉, по меньшей мере, часть данных в окне Wj₁₀ удовлетворяет заранее заданному условию C₁₀, и, по меньшей мере, часть данных в окне Wj₁₁ удовлетворяет заранее заданному условию C₁₁, текущая точка потенциального деления kj является точкой деления потока данных, и данные между kj и ka образуют 1 фрагмент данных. При этом, минимальный фрагмент размером 4 кбайт пропускается таким же, образом как для ka для получения следующей точки потенциального деления, и, согласно правилу, заранее заданному на сервере 103 дедупликации, производится определение, является ли следующая точка потенциального деления точкой деления потока данных. Когда определено, что точка потенциального деления kj не является точкой деления потока данных, следующая точка потенциального деления получается таким же, образом как для ki, и производится определение, согласно правилу, заранее заданному на сервере 103 дедупликации, и вышеупомянутому способу, является ли следующая точка потенциального деления точкой деления потока данных. Когда не найдено ни одной точки деления потока данных по прохождении максимального фрагмента данных, концевая позиция максимального фрагмента данных служит точкой принудительного деления.

[0176] На основании поиска точки деления потока данных, показанного на фиг. 3, в варианте реализации, показанном на фиг. 29, правило заранее задается на сервере 103 дедупликации, причем правило предусматривает: для точки потенциального деления k, определение 11 окон Wx[px-Ax, px+Bx] и заранее заданного условия Cx, соответствующего окну Wx[px-Ax, px+Bx], где x указывает последовательные натуральные числа от 1 до 11 по отдельности, где вероятность того, что, по меньшей мере, часть данных в окне Wx[px-Ax, px+Bx] удовлетворяет заранее заданному условию, равна 1/2. A₁=169, B₁=0; A₂=171, B₂=-2; A₃=173, B₃=-4; A₄=175, B₄=-6; A₅=177, B₅=-8; A₆=179, B₆=-10; A₇=181, B₇=-12; A₈=183, B₈=-14; A₉=185, B₉=-16; A₁₀=187, B₁₀=-18; A₁₁=189, B₁₁=-20. C₁=C₂=C₃=C₄=C₅=C₆=C₇=C₈=C₉=C₁₀=C₁₁, и 11 окон представляют собой W₁[k-169, k], W₂[k-171, k-2], W₃[k-173, k-4], W₄[k-175, k-6], W₅[k-177, k-8], W₆[k-179, k-10], W₇[k-181, k-12], W₈[k-183, k-14], W₉[k-185, k-16], W₁₀[k-187, k-18], и W₁₁[k-189, k-20] по отдельности. ka является точкой деления потока данных, и направление поиска точки деления потока данных, показанное на фиг. 29, является направлением слева направо. После пропуска минимального фрагмента данных размером 4 кбайт от точки деления потока данных ka, концевая позиция минимального фрагмента данных длиной 4 кбайт служит следующей точкой потенциального деления ki, и точка pix определяется для точки потенциального деления ki. В этом варианте осуществления, согласно правилу, заранее заданному на сервере 103 дедупликации, x указывает последовательные натуральные числа от 1 до 11 по отдельности. В варианте реализации, показанном на фиг. 29, согласно заранее заданному правилу, 11 окон, определенные для точки потенциального деления ki, представляют собой Wi₁[ki-169, ki], Wi₂[ki-171, ki-2], Wi₃[ki-173, ki-4], Wi₄[ki-175, ki-6], Wi₅[ki-177, ki-8], Wi₆[ki-179, ki-10], Wi₇[ki-181, ki-12], Wi₈[ki-183, ki-14], Wi₉[ki-185, ki-16], Wi₁₀[ki-187, ki-18] и Wi₁₁[ki-189, ki-20] по отдельности. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[ki-169, ki] заранее заданному условию C₁, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₂[ki-171, ki-2] заранее заданному условию C₂, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₃[ki-173, ki-4] заранее заданному условию C₃, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₄[ki-175, ki-6] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₅[ki-177, ki-8] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₆[ki-179, ki-10] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₇[ki-181, ki-12] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₈[ki-183, ki-14] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi9[ki-185, ki-16] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁₀[ki-187, ki-18] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁₁[ki-189, ki-20] заранее заданному условию C₁₁. Когда определено, что, по меньшей мере, часть данных в окне Wi₁ удовлетворяет заранее заданному условию C₁, по меньшей мере, часть данных в окне Wi₂ удовлетворяет заранее заданному условию C₂, по меньшей мере, часть данных в окне Wi₃ удовлетворяет заранее заданному условию C₃, по меньшей мере, часть данных в окне Wi₄ удовлетворяет заранее заданному условию C₄, по меньшей мере, часть данных в окне Wi₅ удовлетворяет заранее заданному условию C₅, по меньшей мере, часть данных в окне Wi₆ удовлетворяет заранее заданному условию C₆, по меньшей мере, часть данных в окне Wi₇ удовлетворяет заранее заданному условию C₇, по меньшей мере, часть данных в окне Wi₈ удовлетворяет заранее заданному условию C₈, по меньшей мере, часть данных в окне Wi₉ удовлетворяет заранее заданному условию C₉, по меньшей мере, часть данных в окне Wi₁₀ удовлетворяет заранее заданному условию C₁₀, и, по меньшей мере, часть данных в окне Wi₁₁ удовлетворяет заранее заданному условию C₁₁, текущая точка потенциального деления ki является точкой деления потока данных. Когда, по меньшей мере, часть данных в любом окне из 11 окон не удовлетворяет соответствующему заранее заданному условию, например, как показано на фиг. 30, по меньшей мере, часть данных в Wi₄[ki-175, ki-6] не удовлетворяет заранее заданному условию C₄, выбирается следующая точка потенциального деления. Для отличения от точки потенциального деления ki, следующая точка потенциального деления представлена здесь как kj, где kj располагается справа от ki, и расстояние между kj и ki равно 1 байту. Как показано на фиг. 30, согласно правилу, заранее заданному на сервере 103 дедупликации, для точки потенциального деления kj, 11 окон определяются и являются Wj₁[kj-169, kj], Wj₂[kj-171, kj-2], Wj₃[kj-173, kj-4], Wj₄[kj-175, kj-6], Wj₅[kj-177, kj-8], Wj₆[kj-179, kj-10], Wj₇[kj-181, kj-12], Wj₈[kj-183, kj-14], Wj₉[kj-185, kj-16], Wj₁₀[kj-187, kj-18] и Wj₁₁[kj-189, kj-20] по отдельности, где C₁=C₂=C₃=C₄=C₅=C₆=C₇=C₈=C₉=C₁₀=C₁₁. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁[kj-169, kj] заранее заданному условию C₁, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₂[kj-171, kj-2] заранее заданному условию C₂, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₃[kj-173, kj-4] заранее заданному условию C₃, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₄[kj-175, kj-6] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₅[kj-177, kj-8] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₆[kj-179, kj-10] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₇[kj-181, kj-12] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₈[kj-183, kj-14] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₉[kj-185, kj-16] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₀[kj-187, kj-18] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₁[kj-189, kj-20] заранее заданному условию C₁₁. Когда определено, что, по меньшей мере, часть данных в окне Wj₁ удовлетворяет заранее заданному условию C₁, по меньшей мере, часть данных в окне Wj₂ удовлетворяет заранее заданному условию C₂, по меньшей мере, часть данных в окне Wj₃ удовлетворяет заранее заданному условию C₃, по меньшей мере, часть данных в окне Wj₄ удовлетворяет заранее заданному условию C₄, по меньшей мере, часть данных в окне Wj₅ удовлетворяет заранее заданному условию C₅, по меньшей мере, часть данных в окне Wj₆ удовлетворяет заранее заданному условию C₆, по меньшей мере, часть данных в окне Wj₇ удовлетворяет заранее заданному условию C₇, по меньшей мере, часть данных в окне Wj₈ удовлетворяет заранее заданному условию C₈, по меньшей мере, часть данных в окне Wj₉ удовлетворяет заранее заданному условию C₉, по меньшей мере, часть данных в окне Wj₁₀ удовлетворяет заранее заданному условию C₁₀, и, по меньшей мере, часть данных в окне Wj₁₁ удовлетворяет заранее заданному условию C₁₁, текущая точка потенциального деления kj является точкой деления потока данных. Когда определено, что, по меньшей мере, часть данных в любом окне из окон Wj₁, Wj₂, Wj₃, Wj₄, Wj₅, Wj₆, Wj₇, Wj₈, Wj₉, Wj₁₀ и Wj₁₁ не удовлетворяет заранее заданному условию, например, как показано на фиг. 31, когда, по меньшей мере, часть данных в Wj₃[kj-173, kj-4] не удовлетворяет заранее заданному условию C₃, kj располагается справа от ki, и N байтов пропускается от ki в направлении поиска точки деления потока данных, где N байтов не больше ‖B₄‖+max_x(‖Ax‖). В варианте реализации, показанном на фиг. 28, количество N байтов не превышает 195 байтов, и в этом варианте осуществления, N=15, для получения следующей точки потенциального деления. Для отличения от точек потенциального деления ki и kj, следующая точка потенциального деления представлена как kl. Согласно правилу, заранее заданному для сервера 103 дедупликации в варианте реализации на фиг. 29, для точки потенциального деления kl, 11 окон определяются и являются Wl₁[kl-169, kl], Wl₂[kl-171, kl-2], Wl₃[kl-173, kl-4], Wl₄[kl-175, kl-6], Wl₅[kl-177, kl-8], Wl₆[kl-179, kl-10], Wl₇[kl-181, kl-12], Wl₈[kl-183, kl-14], Wl₉[kl-185, kl-16], Wl₁₀[kl-187, kl-18] и Wl₁₁[kl-189, kl-20] по отдельности. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wl₁[kl-169, kl] заранее заданному условию C₁, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wl₂[kl-171, kl-2] заранее заданному условию C₂, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wl₃[kl-173, kl-4] заранее заданному условию C₃, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wl₄[kl-175, kl-6] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wl₅[kl-177, kl-8] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wl₆[kl-179, kl-10] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wl₇[kl-181, kl-12] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wl₈[kl-183, kl-14] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wl₉[kl-185, kl-16] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wl₁₀[kl-187, kl-18] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wl₁₁[kl-189, kl-20] заранее заданному условию C₁₁. Когда определено, что, по меньшей мере, часть данных в окне Wl₁ удовлетворяет заранее заданному условию C₁, по меньшей мере, часть данных в окне Wl₂ удовлетворяет заранее заданному условию C₂, по меньшей мере, часть данных в окне Wl₃ удовлетворяет заранее заданному условию C₃, по меньшей мере, часть данных в окне Wl₄ удовлетворяет заранее заданному условию C₄, по меньшей мере, часть данных в окне Wl₅ удовлетворяет заранее заданному условию C₅, по меньшей мере, часть данных в окне Wl₆ удовлетворяет заранее заданному условию C₆, по меньшей мере, часть данных в окне Wl₇ удовлетворяет заранее заданному условию C₇, по меньшей мере, часть данных в окне Wl₈ удовлетворяет заранее заданному условию C₈, по меньшей мере, часть данных в окне Wl₉ удовлетворяет заранее заданному условию C₉, по меньшей мере, часть данных в окне Wl₁₀ удовлетворяет заранее заданному условию C₁₀, и, по меньшей мере, часть данных в окне Wl₁₁ удовлетворяет заранее заданному условию C₁₁, текущая точка потенциального деления kl является точкой деления потока данных. Когда, по меньшей мере, часть данных в любом окне из окон Wl₁, Wl₂, Wl₃, Wl₄, Wl₅, Wl₆, Wl₇, Wl₈, Wl₉, Wl₁₀ и Wl₁₁ не удовлетворяет заранее заданному условию, выбирается следующая точка потенциального деления. Для отличения от точек потенциального деления ki, kj и kl, следующая точка потенциального деления представлена как km, где km располагается справа от kl, и расстояние между km и kl равно 1 байту. Согласно правилу, заранее заданному на сервере 103 дедупликации в варианте осуществления, показанном на фиг. 29, 11 окон, определенные для точки потенциального деления km, представляют собой Wm₁[km-169, km], Wm₂[km-171, km-2], Wm₃[km-173, km-4], Wm₄[km-175, km-6], Wm₅[km-177, km-8], Wm₆[km-179, km-10], Wm₇[km-181, km-12], Wm₈[km-183, km-14], Wm₉[km-185, km-16], Wm₁₀[km-187, km-18], и Wm₁₁[km-189, km-20] по отдельности. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wm₁[km-169, km] заранее заданному условию C₁, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wm₂[km-171, km-2] заранее заданному условию C₂, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wm₃[km-173, km-4] заранее заданному условию C₃, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wm₄[km-175, km-6] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wm₅[km-177, km-8] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wm₆[km-179, km-10] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wm₇[km-181, km-12] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wm₈[km-183, km-14] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wm₉[km-185, km-16] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wm₁₀[km-187, km-18] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wm₁₁[km-189, km-20] заранее заданному условию C₁₁. Когда определено, что, по меньшей мере, часть данных в окне Wm₁ удовлетворяет заранее заданному условию C₁, по меньшей мере, часть данных в окне Wm₂ удовлетворяет заранее заданному условию C₂, по меньшей мере, часть данных в окне Wm₃ удовлетворяет заранее заданному условию C₃, по меньшей мере, часть данных в окне Wm₄ удовлетворяет заранее заданному условию C₄, по меньшей мере, часть данных в окне Wm₅ удовлетворяет заранее заданному условию C₅, по меньшей мере, часть данных в окне Wm₆ удовлетворяет заранее заданному условию C₆, по меньшей мере, часть данных в окне Wm₇ удовлетворяет заранее заданному условию C₇, по меньшей мере, часть данных в окне Wm₈ удовлетворяет заранее заданному условию C₈, по меньшей мере, часть данных в окне Wm₉ удовлетворяет заранее заданному условию C₉, по меньшей мере, часть данных в окне Wm₁₀ удовлетворяет заранее заданному условию C₁₀, и, по меньшей мере, часть данных в окне Wm₁₁ удовлетворяет заранее заданному условию C₁₁, текущая точка потенциального деления km является точкой деления потока данных. Когда, по меньшей мере, часть данных в любом окне не удовлетворяет заранее заданному условию, пропуск выполняется согласно вышеописанному решению для получения следующей точки потенциального деления, и производится определение, является ли следующая точка потенциального деления точкой деления потока данных.

[0177] Вариант осуществления настоящего изобретения предусматривает способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz. В этом варианте осуществления, производится определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz, и в порядке примера используется вариант реализации, показанный на фиг. 21. Согласно правилу, заранее заданному на сервере 103 дедупликации, окно Wi₁[ki-169, ki] определяется для точки потенциального деления ki, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[ki-169, ki] заранее заданному условию C₁. Как показано на фиг. 32, Wi₁ представляет окно Wi₁[ki-169, ki], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[ki-169, ki] заранее заданному условию C₁. На фиг. 32, "" представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Выбранные 5 байтов данных повторно используются 51 раз для получения всего 255 байтов, для повышения случайности. Из них каждый байт образован 8 битами, которые обозначены как am_,1, ..., и am_,8, представляющими биты с 1-го по 8-й m-го байта в 255 байтах, и, таким образом, биты, соответствующие 255 байтам, можно представить как: , причем, когда am_,_n=1, Vam_,_n=1, и когда am_,_n=0, Vam_,_n=-1, где am_,_n представляет любой из am_,1, ..., и am_,8, и матрица Va получается согласно соотношению преобразования между am_,_n и Vam_,_n из битов, соответствующих 255 байтам, и может быть представлена как: . Большое количество случайных чисел выбирается для формирования матрицы. Будучи сформована, матрица, образованная случайными числами, остается неизменный. Например, 255*8 случайных чисел выбирается из случайных чисел, которые подчиняются конкретному распределению (здесь в порядке примера используется нормальное распределение) для формирования матрицы R: , где случайные числа m-й строки матрицы Va и m-й строки матрицы R перемножаются, и произведения суммируются для получения значения, которое, в частности, представляется как Sam=Vam_,1*hm_,1+Vam_,2*hm_,2+...+Vam_,8*hm_,8. Sa₁, Sa₂, ..., и Sa₂₅₅ получаются согласно способу, и подсчитывается количество k значений, удовлетворяющих конкретному условию (здесь в порядке примера используется превышение 0) среди Sa₁, Sa₂, ..., и Sa₂₅₅. Поскольку матрица R подчиняется нормальному распределению, Sam все еще подчиняется нормальному распределению, как и матрица R. Согласно теории вероятностей, вероятность того, что случайное число в нормальном распределении больше 0, равна 1/2; вероятность того, что каждое значение из Sa₁, Sa₂, ..., и Sa₂₅₅ больше 0, равна 1/2, и, таким образом, k подчиняется биномиальному распределению: . Согласно результату подсчета, производится определение, является ли количество k значений, больших 0, из Sa₁, Sa₂, ..., и Sa₂₅₅ четным числом; вероятность того, что случайное число в биномиальном распределении является четным числом, равна 1/2, и, таким образом, k удовлетворяет условию с вероятностью 1/2. Когда k является четным числом, это указывает, что, по меньшей мере, часть данных в Wi₁[ki-169, ki] удовлетворяет заранее заданному условию C₁. Когда k является нечетным числом, это указывает, что, по меньшей мере, часть данных в W₁[ki-169, ki] не удовлетворяет заранее заданному условию C₁. C₁ здесь означает, что полученное вышеупомянутым образом количество k значений, больших 0, из Sa₁, Sa₂, ..., и Sa₂₅₅, является четным числом. В варианте реализации, показанном на фиг. 21, для Wi₁[ki-169, ki], Wi₂[ki-170, ki-1], Wi₃[ki-171, ki-2], Wi₄[ki-172, ki-3], Wi₅[ki-173, ki-4], Wi₆[ki-174, ki-5], Wi₇[ki-175, ki-6], Wi₈[ki-176, ki-7], Wi₉[ki-177, ki-8], Wi₁₀[ki-178, ki-9] и Wi₁₁[ki-179, ki-10], окна одинаковы по размеру, то есть все окна имеют размер 169 байтов, и при этом, способы определения, удовлетворяет ли, по меньшей мере, часть данных в окне заранее заданному условию, также одинаковы. Подробности можно найти в вышеприведенном описании определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[ki-169, ki] заранее заданному условию C₁. Таким образом, как показано на фиг. 32, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₂[ki-170, ki-1] заранее заданному условию C₂, и между двумя соседними выбранными байтами существует 42 байта. Выбранные 5 байтов данных используются повторно 51 раз для получения всего 255 байтов, для повышения случайности. Из них каждый байт образован 8 битами, которые обозначены как bm_,1, ..., и bm_,8, представляющими биты с 1-го по 8-й m-го байта в 255 байтах, и, таким образом, биты, соответствующие 255 байтам, можно представить как: , где, когда bm_,_n=1, Vbm_,_n=1, и когда bm_,_n=0, Vbm_,_n=-1, где bm_,_n представляет любой из bm_,1, ..., и bm_,8, и матрица Vb получается согласно соотношению преобразования между bm_,_n и Vbm_,_n из битов, соответствующих 255 байтам, и может быть представлена как: . Способ определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[ki-169, ki] заранее заданному условию идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₂[ki-170, ki-1] заранее заданному условию; таким образом, используется матрица R: , и случайные числа m-й строки матрицы Vb и m-й строки матрицы R перемножаются, и произведения суммируются для получения значения, которое, в частности, представляется как Sbm =Vbm_,1*hm_,1+Vbm_,2*hm_,2+...+Vbm_,8*hm_,8. Sb₁, Sb₂, ..., и Sb₂₅₅ получаются согласно способу, и подсчитывается количество k значений, удовлетворяющих конкретному условию (здесь в порядке примера используется превышение 0) среди Sb₁, Sb₂, ..., и Sb₂₅₅. Поскольку матрица R подчиняется нормальному распределению, Sbm все еще подчиняется нормальному распределению, как и матрица R. Согласно теории вероятностей, вероятность того, что случайное число в нормальном распределении больше 0, равна 1/2; вероятность того, что каждое значение из Sb₁, Sb₂, ..., и Sb₂₅₅ больше 0, равна 1/2, и, таким образом, k подчиняется биномиальному распределению: . Согласно результату подсчета, производится определение, является ли количество k значений, больших 0, из Sb₁, Sb₂, ..., и Sb₂₅₅ четным числом; вероятность того, что случайное число в биномиальном распределении является четным числом, равна 1/2, и, таким образом, k удовлетворяет условию с вероятностью 1/2. Когда k является четным числом, это указывает, что, по меньшей мере, часть данных в Wi₂[ki-170, ki-1] удовлетворяет заранее заданному условию C₂. Когда k является нечетным числом, это указывает, что, по меньшей мере, часть данных в Wi₂[ki-170, ki-1] не удовлетворяет заранее заданному условию C₂. C₂ здесь означает, что полученное вышеупомянутым образом количество k значений, больших 0, из Sb₁, Sb₂, ..., и Sb₂₅₅ является четным числом. В варианте реализации, показанном на фиг. 21, по меньшей мере, часть данных в Wi₂[ki-170, ki-1] удовлетворяет заранее заданному условию C₂.

[0178] Таким образом, как показано на фиг. 32, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₃[ki-171, ki-2] заранее заданному условию C₃, и между двумя соседними выбранными байтами существует 42 байта. Выбранные 5 байтов данных используются повторно 51 раз для получения всего 255 байтов, для повышения случайности. Затем способ определения, удовлетворяет ли, по меньшей мере, часть данных в окнах Wi₁[ki-169, ki] и Wi₂[ki-170, ki-1] заранее заданному условию, используется для определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₃[ki-171, ki-2] заранее заданному условию C₃. В варианте реализации, показанном на фиг. 21, по меньшей мере, часть данных в Wi₃[ki-171, ki-2] удовлетворяет заранее заданному условию. Как показано на фиг. 32, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₄[ki-172, ki-3] заранее заданному условию C₄, и между двумя соседними выбранными байтами существует 42 байта. Выбранные 5 байтов данных используются повторно 51 раз для получения всего 255 байтов, для повышения случайности. Затем способ определения, удовлетворяет ли, по меньшей мере, часть данных в окнах Wi₁[ki-169, ki], Wi₂[ki-170, ki-1] и Wi₃[ki-171, ki-2] заранее заданному условию, используется для определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₄[ki-172, ki-3] заранее заданному условию C₄. В варианте реализации, показанном на фиг. 21, по меньшей мере, часть данных в Wi₄[ki-172, ki-3] удовлетворяет заранее заданному условию C₄. Как показано на фиг. 32, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₅[ki-173, ki-4] заранее заданному условию C₅, и между двумя соседними выбранными байтами существует 42 байта. Выбранные 5 байтов данных используются повторно 51 раз для получения всего 255 байтов, для повышения случайности. Затем способ определения, удовлетворяет ли, по меньшей мере, часть данных в окнах Wi₁[ki-169, ki], Wi₂[ki-170, ki-1], Wi₃[ki-171, ki-2] и Wi₄[ki-172, ki-3] заранее заданному условию, используется для определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₅[ki-173, ki-4] заранее заданному условию C₅. В варианте реализации, показанном на фиг. 21, по меньшей мере, часть данных в Wi₅[ki-173, ki-4] не удовлетворяет заранее заданному условию C₅.

[0179] Когда, по меньшей мере, часть данных в Wi₅[ki-173, ki-4] не удовлетворяет заранее заданному условию C₅, 7 байтов пропускаются от точки pi₅ в направлении поиска точки деления потока данных, и следующая точка потенциального деления kj получается в концевой позиции 7-го байта. Как показано на фиг. 22, согласно правилу, заранее заданному на сервере 103 дедупликации, окно Wj₁[kj-169, kj] определяется для точки потенциального деления kj. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wj₁[kj-169, kj] заранее заданному условию C₁, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₁[ki-169, ki] заранее заданному условию C₁. Таким образом, как показано на фиг. 33, Wj₁ представляет окно, и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в окне заранее заданному условию C₁. На фиг. 33, "" представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Выбранные 5 байтов данных повторно используются 51 раз для получения всего 255 байтов, для повышения случайности. Из них каждый байт образован 8 битами, которые обозначены как am_,1', ..., и am_,8', представляющими биты с 1-го по 8-й m-го байта в 255 байтах, и, таким образом, биты, соответствующие 255 байтам, можно представить как: , где, когда am_,_n'=1, Vam_,_n'=1, и когда am_,_n'=0, Vam_,_n'=-1, где am_,_n' представляет любой из am_,1', ..., и am_,8', и матрица Va' получается согласно соотношению преобразования между am_,_n' и Vam_,_n' из битов, соответствующих 255 байтам, и может быть представлена как: . Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне заранее заданному условию идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₁[ki-169, ki] заранее заданному условию. Таким образом, используется матрица R: , и случайные числа m-й строки матрицы Va' и m-й строки матрицы R перемножаются, и произведения суммируются для получения значения, которое, в частности, представляется как Sam'=Vam_,1'*hm_,1+Vam_,2'*hm_,2+...+Vam_,8'*hm_,8. Sa₁', Sa₂', ..., и Sa₂₅₅' получаются согласно способу, и подсчитывается количество k значений, удовлетворяющих конкретному условию (здесь в порядке примера используется превышение 0) среди Sa₁', Sa₂', ..., и Sa₂₅₅'. Поскольку матрица R подчиняется нормальному распределению, Sam' по прежнему подчиняется нормальному распределению, как и матрица R. Согласно теории вероятностей, вероятность того, что случайное число в нормальном распределении больше 0, равна 1/2; вероятность того, что каждое значение из Sa₁', Sa₂', ..., и Sa₂₅₅' больше 0, равна 1/2, и, таким образом, k подчиняется биномиальному распределению: . Согласно результату подсчета, производится определение, является ли количество k значений, больших 0, из Sa₁', Sa₂', ..., и Sa₂₅₅' четным числом; вероятность того, что случайное число в биномиальном распределении является четным числом, равна 1/2, и, таким образом, k удовлетворяет условию с вероятностью 1/2. Когда k является четным числом, это указывает, что, по меньшей мере, часть данных в Wj₁[kj-169, kj] удовлетворяет заранее заданному условию C₁. Когда k является нечетным числом, это указывает, что, по меньшей мере, часть данных в Wj₁[kj-169, kj] не удовлетворяет заранее заданному условию C₁.

[0180] Способ определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₂[ki-170, ki-1] заранее заданному условию C₂, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в Wj₂[kj-170, kj-1] заранее заданному условию C₂. Таким образом, как показано на фиг. 33, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wj₂[kj-170, kj-1] заранее заданному условию C₂, и между двумя соседними выбранными байтами существует 42 байта. Выбранные 5 байтов данных используются повторно 51 раз для получения всего 255 байтов, для повышения случайности. Из них каждый байт образован 8 битами, которые обозначены как bm_,1', ..., и bm_,8', представляющими биты с 1-го по 8-й m-го байта в 255 байтах, и, таким образом, биты, соответствующие 255 байтам, можно представить как: , где, когда bm_,_n'=1, Vbm_,_n'=1, и когда bm_,_n'=0, Vbm_,_n'=-1, где bm_,_n' представляет любой из bm_,1', ..., и bm_,8', и матрица Vb' получается согласно соотношению преобразования между bm_,_n' и Vbm_,_n' из битов, соответствующих 255 байтам, и может быть представлена как: . Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₂[ki-170, ki-1] заранее заданному условию C₁, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в Wj₂[kj-170, kj-1] заранее заданному условию C₁, и, таким образом, по прежнему используется матрица R: . Случайные числа m-й строки матрицы Vb' и m-й строки матрицы R перемножаются, и произведения суммируются для получения значения, которое, в частности, представляется как Sbm'=Vbm_,1'*hm_,1+Vbm_,2'*hm_,2+...+Vbm_,8'*hm_,8. Sb₁', Sb₂', ..., и Sb₂₅₅' получаются согласно способу, и подсчитывается количество k значений, удовлетворяющих конкретному условию (здесь в порядке примера используется превышение 0) среди Sb₁', Sb₂', ..., и Sb₂₅₅'. Поскольку матрица R подчиняется нормальному распределению, Sbm' все еще подчиняется нормальному распределению, как и матрица R. Согласно теории вероятностей, вероятность того, что случайное число в нормальном распределении больше 0, равна 1/2; вероятность того, что каждое значение из Sb₁', Sb₂', ..., и Sb₂₅₅' больше 0, равна 1/2, и, таким образом, k подчиняется биномиальному распределению: . Согласно результату подсчета, производится определение, является ли количество k значений, больших 0, из Sb₁', Sb₂', ..., и Sb₂₅₅' четным числом; вероятность того, что случайное число в биномиальном распределении является четным числом, равна 1/2, и, таким образом, k удовлетворяет условию с вероятностью 1/2. Когда k является четным числом, это указывает, что, по меньшей мере, часть данных в Wj₂[kj-170, kj-1] удовлетворяет заранее заданному условию C₂. Когда k является нечетным числом, это указывает, что, по меньшей мере, часть данных в Wj₂[kj-170, kj-1] не удовлетворяет заранее заданному условию C₂. Аналогично, способ определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₃[ki-171, ki-2] заранее заданному условию C₃, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в Wj₃[kj-171, kj-2] заранее заданному условию C₃. Аналогично, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₄[kj-172, kj-3] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₅[kj-173, kj-4] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₆[kj-174, kj-5] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₇[kj-175, kj-6] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₈[kj-176, kj-7] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₉[kj-177, kj-8] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₀[kj-178, kj-9] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₁[kj-179, kj-10] заранее заданному условию C₁₁, которые здесь повторно не описаны.

[0181] В этом варианте осуществления, производится определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz. Вариант реализации, показанный на фиг. 21, по прежнему используется в порядке примера. Согласно правилу, заранее заданному на сервере 103 дедупликации, окно Wi₁[ki-169, ki] определяется для точки потенциального деления ki, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[ki-169, ki] заранее заданному условию C₁. Как показано на фиг. 32, Wi₁ представляет окно Wi₁[ki-169, ki], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[ki-169, ki] заранее заданному условию C₁. На фиг. 32, "" представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта "". В одном варианте реализации, хэш-функция используется для вычисления выбранных 5 байтов, и значения, полученные посредством вычисления с использованием хэш-функции, подчиняются фиксированному и равномерному распределению. Если значение, полученное посредством вычисления с использованием хэш-функции, является четным числом, принимается решение, что, по меньшей мере, часть данных в Wi₁[ki-169, ki] удовлетворяет заранее заданному условию C₁. Таким образом, C₁ представляет, что значение, полученное вышеупомянутым образом и посредством вычисления с использованием хэш-функции, является четным числом. Таким образом, вероятность того, что, по меньшей мере, часть данных в Wi₁[ki-169, ki] удовлетворяет заранее заданному условию, равна 1/2. В варианте реализации, показанном на фиг. 21, производится определение, с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в Wi₂[ki-170, ki-1] заранее заданному условию C₂, удовлетворяет ли, по меньшей мере, часть данных в Wi₃[ki-171, ki-2] заранее заданному условию C₃, удовлетворяет ли, по меньшей мере, часть данных в Wi₄[ki-172, ki-3] заранее заданному условию C₄, и удовлетворяет ли, по меньшей мере, часть данных в Wi₅[ki-173, ki-4] заранее заданному условию C₅. Для конкретной реализации, можно обратиться к описанию способа определения, с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[ki-169, ki] заранее заданному условию C₁ в варианте реализации, показанном на фиг. 21, который здесь повторно не описан.

[0182] Когда, по меньшей мере, часть данных в Wi₅[ki-173, ki-4] не удовлетворяет заранее заданному условию C₅, 7 байтов пропускаются от точки потенциального деления ki в направлении поиска точки деления потока данных, и текущая точка потенциального деления kj получается в концевой позиции 7-го байта. Как показано на фиг. 22, согласно правилу, заранее заданному на сервере 103 дедупликации, окно Wj₁[kj-169, kj] определяется для точки потенциального деления kj. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wj₁[kj-169, kj] заранее заданному условию C₁, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₁[ki-169, ki] заранее заданному условию C₁. Таким образом, как показано на фиг. 33, Wj₁ представляет окно Wj₁[kj-169, kj], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в Wj₁[kj-169, kj] заранее заданному условию C₁. На фиг. 33, "" представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта "". 5 байтов, выбранные из окна Wj₁[kj-169, kj], вычисляются с использованием хэш-функции. Если полученное значение является четным числом, по меньшей мере, часть данных в Wj₁[kj-169, kj] удовлетворяет заранее заданному условию C₁. На фиг. 33, способ определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₂[ki-170, ki-1] заранее заданному условию C₂, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в Wj₂[kj-170, kj-1] заранее заданному условию C₂. Таким образом, как показано на фиг. 33, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wj₂[kj-170, kj-1] заранее заданному условию C₂, и между двумя соседними выбранными байтами существует 42 байта "". Выбранные 5 байтов вычисляются с использованием хэш-функции. Если полученное значение является четным числом, по меньшей мере, часть данных в Wj₂[kj-170, kj-1] удовлетворяет заранее заданному условию C₂. На фиг. 33, способ определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₃[ki-171, ki-2] заранее заданному условию C₃, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в Wj₃[kj-171, kj-2] заранее заданному условию C₃. Таким образом, как показано на фиг. 33, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wj₃[kj-171, kj-2] заранее заданному условию C₃, и между двумя соседними выбранными байтами существует 42 байта "". Выбранные 5 байтов вычисляются с использованием хэш-функции. Если полученное значение является четным числом, по меньшей мере, часть данных в Wj₃[kj-171, kj-2] удовлетворяет заранее заданному условию C₃. На фиг. 33, способ определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₄[kj-172, kj-3] заранее заданному условию C₄, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₄[ki-172, ki-3] заранее заданному условию C₄. Таким образом, как показано на фиг. 33, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wj₄[kj-172, kj-3] заранее заданному условию C₄, и между двумя соседними выбранными байтами существует 42 байта "". Выбранные 5 байтов вычисляются с использованием хэш-функции. Если полученное значение является четным числом, по меньшей мере, часть данных в Wj₄[kj-172, kj-3] удовлетворяет заранее заданному условию C₄. Согласно вышеупомянутому способу, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₅[kj-173, kj-4] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₆[kj-174, kj-5] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₇[kj-175, kj-6] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₈[kj-176, kj-7] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₉[kj-177, kj-8] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₀[kj-178, kj-9] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₁[kj-179, kj-10] заранее заданному условию C₁₁, которые здесь повторно не описаны.

[0183] В этом варианте осуществления, производится определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz. Вариант реализации, показанный на фиг. 21, используется в порядке примера. Согласно правилу, заранее заданному на сервере 103 дедупликации, окно Wi₁[ki-169, ki] определяется для точки потенциального деления ki, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[ki-169, ki] заранее заданному условию C₁. Как показано на фиг. 32, Wi₁ представляет окно Wi₁[ki-169, ki], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[ki-169, ki] заранее заданному условию C₁. На фиг. 32, каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 169, 127, 85, 43 и 1 преобразуются в десятичные значения, которые представлены как a₁, a₂, a₃, a₄ и a₅ соответственно. Поскольку 1 байт образован 8 битами, каждый байт "" служит значением, и любое ar из a₁, a₂, a₃, a₄ и a₅ удовлетворяет условию 0≤ar≤255. a₁, a₂, a₃, a₄ и a₅ образуют матрицу 1*5. 256*5 случайных чисел выбираются из случайных чисел, которые подчиняются биномиальному распределению, для формирования матрицы R, которая представлена как: .

[0184] В матрице R осуществляется поиск соответствующего значения согласно значению a₁ и столбцу, в котором располагается a₁. Например, если a₁=36, и a₁ располагается в 1-м столбце, осуществляется поиск значения, соответствующего h_36,1. В матрице R осуществляется поиск соответствующего значения согласно значению a₂ и столбцу, в котором располагается a₂. Например, если a₂=48, и a₂ располагается во 2-м столбце, осуществляется поиск значения, соответствующего h_48,2. В матрице R осуществляется поиск соответствующего значения согласно значению a₃ и столбцу, в котором располагается a₃. Например, если a₃=26, и a₃ располагается в 3-м столбце, осуществляется поиск значения, соответствующего h_26,3. В матрице R осуществляется поиск соответствующего значения согласно значению a₄ и столбцу, в котором располагается a₄. Например, если a₄=26, и a₄ располагается в 4-м столбце, осуществляется поиск значения, соответствующего h_26,4. В матрице R осуществляется поиск соответствующего значения согласно значению a₅ и столбцу, в котором располагается a₅. Например, если a₅=88, и a₅ располагается в 5-м столбце, осуществляется поиск значения, соответствующего h_88,5. S₁=h_36,1+h_48,2+h_26,3+h_26,4+h_88,5, и поскольку матрица R подчиняется биномиальному распределению, S₁ также подчиняется биномиальному распределению. Когда S₁ является четным числом, по меньшей мере, часть данных в Wi₁[ki-169, ki] удовлетворяет заранее заданному условию C₁; Когда S₁ является нечетным числом, по меньшей мере, часть данных в Wi₁[ki-169, ki] не удовлетворяет заранее заданному условию C₁. Вероятность того, что S₁ является четным числом, равна 1/2, и C₁ представляет, что S₁, которое получено посредством вычисления вышеупомянутым образом является четным числом. В варианте осуществления, показанном на фиг. 21, по меньшей мере, часть данных в Wi₁[ki-169, ki] удовлетворяет заранее заданному условию C₁. Как показано на фиг. 32, "" представляет 1 байт, по отдельности выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₂[ki-170, ki-1] заранее заданному условию C₂. На фиг. 32, выбранные байты представлены как порядковые номера 170, 128, 86, 44 и 2 по отдельности, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 170, 128, 86, 44 и 2 преобразуются в десятичные значения, которые представлены как b₁, b₂, b₃, b₄ и b₅ соответственно. Поскольку 1 байт образован 8 битами, каждый байт "" служит значением, и любой br из b₁, b₂, b₃, b₄ и b₅ удовлетворяет условию 0≤br≤255. b₁, b₂, b₃, b₄ и b₅ образуют матрицу 1*5. В этом варианте реализации, способы определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₁ и Wi₂ заранее заданному условию, одинаковы, и, таким образом, по прежнему используется матрица R. В матрице R осуществляется поиск соответствующего значения согласно значению b₁ и столбцу, в котором располагается b₁. Например, если b₁=66, и b₁ располагается в 1-м столбце, осуществляется поиск значения, соответствующего h_66,1. В матрице R осуществляется поиск соответствующего значения согласно значению b₂ и столбцу, в котором располагается b₂. Например, если b₂=48, и b₂ располагается во 2-м столбце, осуществляется поиск значения, соответствующего h_48,2. В матрице R осуществляется поиск соответствующего значения согласно значению b₃ и столбцу, в котором располагается b₃. Например, если b₃=99, и b₃ располагается в 3-м столбце, осуществляется поиск значения, соответствующего h_99,3. В матрице R осуществляется поиск соответствующего значения согласно значению b₄ и столбцу, в котором располагается b₄. Например, если b₄=26, и b₄ располагается в 4-м столбце, осуществляется поиск значения, соответствующего h_26,4. В матрице R осуществляется поиск соответствующего значения согласно значению b₅ и столбцу, в котором располагается b₅. Например, если b₅=90, и b₅ располагается в 5-м столбце, осуществляется поиск значения, соответствующего h_90,5. S₂=h_66,1+h_48,2+h_99,3+h_26,4+h_90,5, и поскольку матрица R подчиняется биномиальному распределению, S₂также подчиняется биномиальному распределению. Когда S₂ является четным числом, по меньшей мере, часть данных в Wi₂[ki-170, ki-1] удовлетворяет заранее заданному условию C₂; Когда S₂ является нечетным числом, по меньшей мере, часть данных в Wi₂[ki-170, ki-1] не удовлетворяет заранее заданному условию C₂. Вероятность того, что S₂ является четным числом, равна 1/2. В варианте осуществления, показанном на фиг. 21, по меньшей мере, часть данных в Wi₂[ki-170, ki-1] удовлетворяет заранее заданному условию C₂. С использованием того же правила, по отдельности, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₃[ki-171, ki-2] заранее заданному условию C₃, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₄[ki-172, ki-3] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₅[ki-173, ki-4] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₆[ki-174, ki-5] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₇[ki-175, ki-6] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₈[ki-176, ki-7] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₉[ki-177, ki-8] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁₀[ki-178, ki-9] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁₁[ki-179, ki-10] заранее заданному условию C₁₁. В варианте реализации, показанном на фиг. 21, по меньшей мере, часть данных в Wi₅[ki-173, ki-4] не удовлетворяет заранее заданному условию C₅, 7 байтов пропускаются от точки потенциального деления ki в направлении поиска точки деления потока данных, и текущая точка потенциального деления kj получается в концевой позиции 7-го байта. Как показано на фиг. 22, согласно правилу, заранее заданному на сервере 103 дедупликации, окно Wj₁[kj-169, kj] определяется для точки потенциального деления kj. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wj₁[kj-169, kj] заранее заданному условию C₁, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₁[ki-169, ki] заранее заданному условию C₁. Таким образом, как показано на фиг. 33, Wj₁ представляет окно Wj₁[kj-169, kj], и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁[kj-169, kj] заранее заданному условию C₁. На фиг. 33, каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 169, 127, 85, 43 и 1 преобразуются в десятичные значения, которые представлены как a₁', a₂', a₃', a₄' и a₅' соответственно. Поскольку 1 байт образован 8 битами, каждый байт "" служит значением, и любое ar' из a₁', a₂', a₃', a₄' и a₅' удовлетворяет условию 0≤ar'≤255. a₁', a₂', a₃', a₄' и a₅' образуют матрицу 1*5. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wj₁[kj-169, kj] заранее заданному условию C₁, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₁[ki-169, ki] заранее заданному условию C₁. Таким образом, по прежнему используется матрица R, и представлена как: .

[0185] В матрице R осуществляется поиск соответствующего значения согласно значению a₁' и столбцу, в котором располагается a₁'. Например, если a₁'=16, и a₁' располагается в 1-м столбце, осуществляется поиск значения, соответствующего h_16,1. В матрице R осуществляется поиск соответствующего значения согласно значению a₂' и столбцу, в котором располагается a₂'. Например, если a₂'=98, и a₂' располагается во 2-м столбце, осуществляется поиск значения, соответствующего h_98,2. В матрице R осуществляется поиск соответствующего значения согласно значению a₃' и столбцу, в котором располагается a₃'. Например, если a₃'=56, и a₃' располагается в 3-м столбце, осуществляется поиск значения, соответствующего h_56,3. В матрице R осуществляется поиск соответствующего значения согласно значению a₄' и столбцу, в котором располагается a₄'. Например, если a₄'=36, и a₄' располагается в 4-м столбце, осуществляется поиск значения, соответствующего h_36,4. В матрице R осуществляется поиск соответствующего значения согласно значению a₅' и столбцу, в котором располагается a₅'. Например, если a₅'=99, и a₅' располагается в 5-м столбце, осуществляется поиск значения, соответствующего h_99,5. S₁'=h_16,1+h_98,2+h_56,3+h_36,4+h_99,5, и поскольку матрица R подчиняется биномиальному распределению, S₁' также подчиняется биномиальному распределению. Когда S₁' является четным числом, по меньшей мере, часть данных в Wj₁[kj-169, kj] удовлетворяет заранее заданному условию C₁; когда S₁' является нечетным числом, по меньшей мере, часть данных в Wj₁[kj-169, kj] не удовлетворяет заранее заданному условию C₁. Вероятность того, что S₁' является четным числом, равна 1/2.

[0186] Способ определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₂[ki-170, ki-1] заранее заданному условию C₂, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в Wj₂[kj-170, kj-1] заранее заданному условию C₂. Таким образом, как показано на фиг. 33, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wj₂[kj-170, kj-1] заранее заданному условию C₂, и между двумя соседними выбранными байтами существует 42 байта. Выбранные байты представлены как порядковые номера 170, 128, 86, 44 и 2 по отдельности, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 170, 128, 86, 44 и 2 преобразуются в десятичные значения, которые представлены как b₁', b₂', b₃', b₄' и b₅' соответственно. Поскольку 1 байт образован 8 битами, каждый байт "" служит значением, и любое br' из b₁', b₂', b₃', b₄' и b₅' удовлетворяет условию 0≤br'≤255. b₁', b₂', b₃', b₄' и b₅' образуют матрицу 1*5. Матрица R идентична используемой при осуществлении определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₂[ki-170, ki-1] заранее заданному условию C₂. В матрице R осуществляется поиск соответствующего значения согласно значению b₁' и столбцу, в котором располагается b₁'. Например, если b₁'=210, и b₁' располагается в 1-м столбце, осуществляется поиск значения, соответствующего h_210,1. В матрице R осуществляется поиск соответствующего значения согласно значению b₂' и столбцу, в котором располагается b₂'. Например, если b₂'=156, и b₂' располагается во 2-м столбце, осуществляется поиск значения, соответствующего h_156,2. В матрице R осуществляется поиск соответствующего значения согласно значению b₃' и столбцу, в котором располагается b₃'. Например, если b₃'=144, и b₃' располагается в 3-м столбце, осуществляется поиск значения, соответствующего h_144,3. В матрице R осуществляется поиск соответствующего значения согласно значению b₄' и столбцу, в котором располагается b₄'. Например, если b₄'=60, и b₄' располагается в 4-м столбце, осуществляется поиск значения, соответствующего h_60,4. В матрице R осуществляется поиск соответствующего значения согласно значению b₅' и столбцу, в котором располагается b₅'. Например, если b₅'=90, и b₅' располагается в 5-м столбце, осуществляется поиск значения, соответствующего h_90,5. S₂'=h_210,1+h_156,2+h_144,3+h_60,4+h_90,5. Идентично условию определения S₂, когда S₂' является четным числом, по меньшей мере, часть данных в Wj₂[kj-170, kj-1] удовлетворяет заранее заданному условию C₂, и когда S₂' является нечетным числом, по меньшей мере, часть данных в Wj₂[kj-170, kj-1] не удовлетворяет заранее заданному условию C₂. Вероятность того, что S₂' является четным числом, равна 1/2.

[0187] Аналогично, способ определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₃[ki-171, ki-2] заранее заданному условию C₃, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в Wj₃[kj-171, kj-2] заранее заданному условию C₃. Аналогично, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₄[kj-172, kj-3] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₅[kj-173, kj-4] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₆[kj-174, kj-5] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₇[kj-175, kj-6] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₈[kj-176, kj-7] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₉[kj-177, kj-8] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₀[kj-178, kj-9] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₁[kj-179, kj-10] заранее заданному условию C₁₁, которые здесь повторно не описаны.

[0188] В этом варианте осуществления, производится определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz. Вариант реализации, показанный на фиг. 21, используется в порядке примера. Согласно правилу, заранее заданному на сервере 103 дедупликации, окно Wi₁[ki-169, ki] определяется для точки потенциального деления ki, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[ki-169, ki] заранее заданному условию C₁. Как показано на фиг. 32, Wi₁ представляет окно Wi₁[ki-169, ki], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[ki-169, ki] заранее заданному условию C₁. На фиг. 32, каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 169, 127, 85, 43 и 1 преобразуются в десятичные значения, которые представлены как a₁, a₂, a₃, a₄ и a₅ соответственно. Поскольку 1 байт образован 8 битами, каждый байт "" служит значением, и любой as из a₁, a₂, a₃, a₄ и a₅ удовлетворяет условию 0≤as≤255. a₁, a₂, a₃, a₄ и a₅ образуют матрицу 1*5. 256*5 случайных чисел выбираются из случайных чисел, которые подчиняются биномиальному распределению, для формирования матрицы R, которая представлена как: . 256*5 случайных чисел выбираются из случайных чисел, которые подчиняются биномиальному распределению, для формирования матрицы G, которая представлена как: .

[0189] Согласно значению a₁ и столбцу, в котором располагается a₁, например, a₁=36, и a₁ располагается в 1-м столбце, в матрице R осуществляется поиск значения, соответствующего h_36,1, и в матрице G осуществляется поиск значения, соответствующего g_36,1. Согласно значению a₂ и столбцу, в котором располагается a₂, например, a₂=48, и a₂ располагается во 2-м столбце, в матрице R осуществляется поиск значения, соответствующего h_48,2, и в матрице G осуществляется поиск значения, соответствующего g_48,2. Согласно значению a₃ и столбцу, в котором располагается a₃, например, a₃=26, и a₃ располагается в 3-м столбце, в матрице R осуществляется поиск значения, соответствующего h_26,3, и в матрице G осуществляется поиск значения, соответствующего g_26,3. Согласно значению a₄ и столбцу, в котором располагается a₄, например, a₄=26, и a₄ располагается в 4-м столбце, в матрице R осуществляется поиск значения, соответствующего h_26,4, и в матрице G осуществляется поиск значения, соответствующего g_26,4. Согласно значению a₅ и столбцу, в котором располагается a₅, например, a₅=88, и a₅ располагается в 5-м столбце, в матрице R осуществляется поиск значения, соответствующего h_88,5, и в матрице G осуществляется поиск значения, соответствующего g_88,5. S₁_h=h_36,1+h_48,2+h_26,3+h_26,4+h_88,5, и поскольку матрица R подчиняется биномиальному распределению, S₁_h также подчиняется биномиальному распределению. S₁g g_36,1+g_48,2+g_26,3+g_26,4+g_88,5, и поскольку матрица G подчиняется биномиальному распределению, S₁_g также подчиняется биномиальному распределению. Когда одно из S₁_h и S₁_g является четным числом, по меньшей мере, часть данных в Wi₁[ki-169, ki] удовлетворяет заранее заданному условию C₁; когда оба S₁_h и S₁_g являются нечетными числами, по меньшей мере, часть данных в Wi₁[ki-169, ki] не удовлетворяет заранее заданному условию C₁, и C₁ указывает, что одно из S₁_h и S₁_g, полученных согласно вышеупомянутому способу, является четным числом. Поскольку оба S₁_h и S₁_g подчиняются биномиальному распределению, вероятность того, что S₁_h является четным числом, равна 1/2, вероятность того, что S₁_g является четным числом, равна 1/2, и вероятность того, что одно из S₁_h и S₁_g является четным числом, равна 1-1/4=3/4. Таким образом, вероятность того, что, по меньшей мере, часть данных в Wi₁[ki-169, ki] удовлетворяет заранее заданному условию C₁, равна 3/4. В варианте осуществления, показанном на фиг. 21, по меньшей мере, часть данных в Wi₁[ki-169, ki] удовлетворяет заранее заданному условию C₁. В варианте реализации, показанном на фиг. 21, для Wi₁[ki-169, ki], Wi₂[ki-170, ki-1], Wi₃[ki-171, ki-2], Wi₄[ki-172, ki-3], Wi₅[ki-173, ki-4], Wi₆[ki-174, ki-5], Wi₇[ki-175, ki-6], Wi₈[ki-176, ki-7], Wi₉[ki-177, ki-8], Wi₁₀[ki-178, ki-9] и Wi₁₁[ki-179, ki-10], окна одинаковы по размеру, то есть все окна имеют размер 169 байтов, и при этом способы определения, удовлетворяет ли, по меньшей мере, часть данных в окне заранее заданному условию, также одинаковы. Подробности можно найти в вышеприведенном описании определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[ki-169, ki] заранее заданному условию C₁. Таким образом, как показано на фиг. 32, "" представляет 1 байт, по отдельности выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₂[ki-170, ki-1] заранее заданному условию C₂. На фиг. 32, выбранные байты представлены как порядковые номера 170, 128, 86, 44 и 2 по отдельности, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 170, 128, 86, 44 и 2 преобразуются в десятичные значения, которые представлены как b₁, b₂, b₃, b₄ и b₅ соответственно. Поскольку 1 байт образован 8 битами, каждый байт "" служит значением, и любой bs из b₁, b₂, b₃, b₄ и b₅ удовлетворяет условию 0≤bs≤255. b₁, b₂, b₃, b₄ и b₅ образуют матрицу 1*5. В этом варианте реализации, способы определения, удовлетворяет ли, по меньшей мере, часть данных в каждом окне заранее заданному условию, одинаковы, и, таким образом, по прежнему используются одни и те же матрицы R и G. Согласно значению b₁ и столбцу, в котором располагается b₁, например, b₁=66, и b₁ располагается в 1-м столбце, в матрице R осуществляется поиск значения, соответствующего h_66,1, и в матрице G осуществляется поиск значения, соответствующего g_66,1. Согласно значению b₂ и столбцу, в котором располагается b₂, например, b₂=48, и b₂ располагается во 2-м столбце, в матрице R осуществляется поиск значения, соответствующего h_48,2, и в матрице G осуществляется поиск значения, соответствующего g_48,2. Согласно значению b₃ и столбцу, в котором располагается b₃, например, b₃=99, и b₃ располагается в 3-м столбце, в матрице R осуществляется поиск значения, соответствующего h_99,3, и в матрице G осуществляется поиск значения, соответствующего g_99,3. Согласно значению b₄ и столбцу, в котором располагается b₄, например, b₄=26, и b₄ располагается в 4-м столбце, в матрице R осуществляется поиск значения, соответствующего h_26,4, и в матрице G осуществляется поиск значения, соответствующего g_26,4. Согласно значению b₅ и столбцу, в котором располагается b₅, например, b₅=90, и b₅ располагается в 5-м столбце, в матрице R осуществляется поиск значения, соответствующего h_90,5, и в матрице G осуществляется поиск значения, соответствующего g_90,5. g_90,5=h_66,1+h_48,2+h_99,3+h_26,4+h_90,5, и поскольку матрица R подчиняется биномиальному распределению, S₂_h также подчиняется биномиальному распределению. S₂_g=g_66,1+g_48,2+g_99,3+g_26,4+g_90,5, и поскольку матрица G подчиняется биномиальному распределению, S₂_g также подчиняется биномиальному распределению. Когда одно из S₂_h и S₂_g является четным числом, по меньшей мере, часть данных в Wi₂[ki-170, ki-1] удовлетворяет заранее заданному условию C₂; когда оба S₂_h и S₂_g являются нечетными числами, по меньшей мере, часть данных в Wi₂[ki-170, ki-1] не удовлетворяет заранее заданному условию C₂. Вероятность того, что одно из S₂_h и S₂_g является четным числом, равно 3/4. В варианте осуществления, показанном на фиг. 21, по меньшей мере, часть данных в Wi₂[ki-170, ki-1] удовлетворяет заранее заданному условию C₂. С использованием того же правила, по отдельности, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₃[ki-171, ki-2] заранее заданному условию C₃, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₄[ki-172, ki-3] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₅[ki-173, ki-4] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₆[ki-174, ki-5] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₇[ki-175, ki-6] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₈[ki-176, ki-7] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₉[ki-177, ki-8] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁₀[ki-178, ki-9] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁₁[ki-179, ki-10] заранее заданному условию C₁₁. В варианте реализации, показанном на фиг. 21, по меньшей мере, часть данных в Wi₅[ki-173, ki-4] не удовлетворяет заранее заданному условию C₅, 7 байтов пропускаются от точки потенциального деления ki в направлении поиска точки деления потока данных, и текущая точка потенциального деления kj получается в концевой позиции 7-го байта. Как показано на фиг. 22, согласно правилу, заранее заданному на сервере 103 дедупликации, окно Wj₁[kj-169, kj] определяется для точки потенциального деления kj. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wj₁[kj-169, kj] заранее заданному условию C₁, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₁[ki-169, ki] заранее заданному условию C₁. Таким образом, как показано на фиг. 33, Wj₁ представляет окно Wj₁[kj-169, kj], и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁[kj-169, kj] заранее заданному условию C₁. На фиг. 33, каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 169, 127, 85, 43 и 1 преобразуются в десятичные значения, которые представлены как a₁', a₂', a₃', a₄' и a₅' соответственно. Поскольку 1 байт образован 8 битами, каждый байт "" служит значением, и любое as' из a₁', a₂', a₃', a₄' и a₅' удовлетворяет условию 0≤as'≤255. a₁', a₂', a₃', a₄' и a₅' образуют матрицу 1*5. Матрицы R и G, идентичные используемым при осуществлении определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₁[ki-169, ki] заранее заданному условию C₁ используются, и представлены как: и соответственно.

[0190] Согласно значению a₁' и столбцу, в котором располагается a₁', например, a₁'=16, и a₁' располагается в 1-м столбце, в матрице R осуществляется поиск значения, соответствующего h_16,1, и в матрице G осуществляется поиск значения, соответствующего g_16,1. Согласно значению a₂' и столбцу, в котором располагается a₂', например, a₂'=98, и a₂' располагается во 2-м столбце, в матрице R осуществляется поиск значения, соответствующего h_98,2, и в матрице G осуществляется поиск значения, соответствующего g_98,2. Согласно значению a₃' и столбцу, в котором располагается a₃', например, a₃'=56, и a₃' располагается в 3-м столбце, в матрице R осуществляется поиск значения, соответствующего h_56,3, и в матрице G осуществляется поиск значения, соответствующего g_56,3. Согласно значению a₄' и столбцу, в котором располагается a₄', например, a₄'=36, и a₄' располагается в 4-м столбце, в матрице R осуществляется поиск значения, соответствующего h_36,4, и в матрице G осуществляется поиск значения, соответствующего g_36,4. Согласно значению a₅' и столбцу, в котором располагается a₅', например, a₅'=99, и a₅' располагается в 5-м столбце, в матрице R осуществляется поиск значения, соответствующего h_99,5, и в матрице G осуществляется поиск значения, соответствующего g_99,5. S₁_h'=h_16,1+h_98,2+h_56,3+h_36,4+h_99,5, и поскольку матрица R подчиняется биномиальному распределению, S₁_h' также подчиняется биномиальному распределению. S₁_g'=g_16,1+g_98,2+g_56,3+g_36,4+g_99,5, и поскольку матрица G подчиняется биномиальному распределению, S₁_g' также подчиняется биномиальному распределению. Когда одно из S₁_h' и S₁_g' является четным числом, по меньшей мере, часть данных в Wj₁[kj-169, kj] удовлетворяет заранее заданному условию C₁; когда оба S₁_h' и S₁_g' являются нечетными числами, по меньшей мере, часть данных в Wj₁[kj-169, kj] не удовлетворяет заранее заданному условию C₁. Вероятность того, что один из S₁_h' и S₁_g' является четным числом, равна 3/4.

[0191] Способ определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₂[ki-170, ki-1] заранее заданному условию C₂, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в Wj₂[kj-170, kj-1] заранее заданному условию C₂. Таким образом, как показано на фиг. 33, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wj₂[kj-170, kj-1] заранее заданному условию C₂, и между двумя соседними выбранными байтами существует 42 байта. На фиг. 33, выбранные байты представлены как порядковые номера 170, 128, 86, 44 и 2 по отдельности, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 170, 128, 86, 44 и 2 преобразуются в десятичные значения, которые представлены как b₁', b₂', b₃', b₄' и b₅' соответственно. Поскольку 1 байт образован 8 битами, каждый байт "" служит значением, и любое bs' из b₁', b₂', b₃', b₄' и b₅' удовлетворяет условию 0≤bs'≤255. b₁', b₂', b₃', b₄' и b₅' образуют матрицу 1*5. Матрицы R и G, идентичные используемым при осуществлении определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₂[ki-170, ki-1] заранее заданному условию C₂ используются. Согласно значению b₁' и столбцу, в котором располагается b₁', например, b₁'=210, и b₁' располагается в 1-м столбце, в матрице R осуществляется поиск значения, соответствующего h_210,1, и в матрице G осуществляется поиск значения, соответствующего g_210,1. Согласно значению b₂' и столбцу, в котором располагается b₂', например, b₂'=156, и b₂' располагается во 2-м столбце, в матрице R осуществляется поиск значения, соответствующего h_156,2, и в матрице G осуществляется поиск значения, соответствующего g_156,2. Согласно значению b₃' и столбцу, в котором располагается b₃', например, b₃'=144, и b₃' располагается в 3-м столбце, в матрице R осуществляется поиск значения, соответствующего h_144,3, и в матрице G осуществляется поиск значения, соответствующего g_144,3. Согласно значению b₄' и столбцу, в котором располагается b₄', например, b₄'=60, и b₄' располагается в 4-м столбце, в матрице R осуществляется поиск значения, соответствующего h_60,4, и в матрице G осуществляется поиск значения, соответствующего g_60,4. Согласно значению b₅' и столбцу, в котором располагается b₅', например, b₅'=90, и b₅' располагается в 5-м столбце, в матрице R осуществляется поиск значения, соответствующего h_90,5, и в матрице G осуществляется поиск значения, соответствующего g_90,5. S₂_h'=h_210,1+h_156,2+h_144,3+h_60,4+h_90,5, и S₂_g'=g_210,1+g_156,2+g_144,3+g_60,4+g_90,5. Когда одно из S₂_h' и S₂_g' является четным числом, по меньшей мере, часть данных в Wj₂[kj-170, kj-1] удовлетворяет заранее заданному условию C₂; когда оба S₂_h' и S₂_g' являются нечетными числами, по меньшей мере, часть данных в Wj₂[kj-170, kj-1] не удовлетворяет заранее заданному условию C₂. Вероятность того, что один из S₂_h' и S₂_g' является четным числом, равна 3/4.

[0192] Аналогично, способ определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₃[ki-171, ki-2] заранее заданному условию C₃, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в Wj₃[kj-171, kj-2] заранее заданному условию C₃. Аналогично, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₄[kj-172, kj-3] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₅[kj-173, kj-4] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₆[kj-174, kj-5] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₇[kj-175, kj-6] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₈[kj-176, kj-7] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₉[kj-177, kj-8] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₀[kj-178, kj-9] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₁[kj-179, kj-10] заранее заданному условию C₁₁, которые здесь повторно не описаны.

[0193] В этом варианте осуществления, производится определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz. Вариант реализации, показанный на фиг. 21, используется в порядке примера. Согласно правилу, заранее заданному на сервере 103 дедупликации, окно Wi₁[ki-169, ki] определяется для точки потенциального деления ki, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[ki-169, ki] заранее заданному условию C₁. Как показано на фиг. 32, Wi₁ представляет окно Wi₁[ki-169, ki], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[ki-169, ki] заранее заданному условию C₁. На фиг. 32, каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 169, 127, 85, 43 и 1 рассматриваются как 40 последовательных битов, которые представлены как a₁, a₂, a₃, a₄, ..., и a₄₀ по отдельности. Для любого at из a₁, a₂, a₃, a₄, ..., и a₄₀, когда at=0, Vat=-1, и когда at=1, Vat=1. Согласно соответствию между at и Vat, генерируются Va₁, Va₂, Va₃, Va₄, ..., и Va₄₀. 40 случайных чисел выбирается из случайных чисел, которые подчиняются нормальному распределению, и представлены как: h₁, h₂, h₃, h₄, ..., и h₄₀ по отдельности. Sa=Va₁*h₁+Va₂*h₂+Va₃*h₃+Va₄*h₄+...+Va₄₀*h₄₀. Поскольку h₁, h₂, h₃, h₄, ..., и h₄₀ подчиняются нормальному распределению, Sa также подчиняется нормальному распределению. Когда Sa является положительным числом, по меньшей мере, часть данных в Wi₁[ki-169, ki] удовлетворяет заранее заданному условию C₁; когда Sa является отрицательным числом или 0, по меньшей мере, часть данных в Wi₁[ki-169, ki] не удовлетворяет заранее заданному условию C₁. Вероятность того, что Sa является положительным числом, равна 1/2. В варианте осуществления, показанном на фиг. 21, по меньшей мере, часть данных в Wi₁[ki-169, ki] удовлетворяет заранее заданному условию C₁. Как показано на фиг. 32, "" представляет 1 байт, по отдельности выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₂[ki-170, ki-1] заранее заданному условию C₂. На фиг. 32, выбранные байты представлены как порядковые номера 170, 128, 86, 44 и 2 по отдельности, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 170, 128, 86, 44 и 2 рассматриваются как 40 последовательных битов, которые представлены как b₁, b₂, b₃, b₄, ..., и b₄₀ по отдельности. Для любого bt из b₁, b₂, b₃, b₄, ..., и b₄₀, когда bt=0, Vbt=-1, и когда bt=1, Vbt=1. Согласно соответствию между bt и Vbt, генерируются Vb₁, Vb₂, Vb₃, Vb₄, ..., и Vb₄₀. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₁[ki-169, ki] заранее заданному условию C₁, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₂[ki-170, ki-1] заранее заданному условию C₂. Таким образом, используются одни и те же случайные числа: h₁, h₂, h₃, h₄, ..., и h₄₀, и Sb=Vb₁*h₁+Vb₂*h₂+Vb₃*h₃+Vb₄*h₄+...+Vb₄₀*h₄₀. Поскольку h₁, h₂, h₃, h₄, ..., и h₄₀ подчиняются нормальному распределению, Sb также подчиняется нормальному распределению. Когда Sb является положительным числом, по меньшей мере, часть данных в Wi₂[ki-170, ki-1] удовлетворяет заранее заданному условию C₂; когда Sb является отрицательным числом или 0, по меньшей мере, часть данных в Wi₂[ki-170, ki-1] не удовлетворяет заранее заданному условию C₂. Вероятность того, что Sb является положительным числом, равна 1/2. В варианте осуществления, показанном на фиг. 21, по меньшей мере, часть данных в Wi₂[ki-170, ki-1] удовлетворяет заранее заданному условию C₂. С использованием того же правила, по отдельности, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₃[ki-171, ki-2] заранее заданному условию C₃, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₄[ki-172, ki-3] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₅[ki-173, ki-4] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₆[ki-174, ki-5] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₇[ki-175, ki-6] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₈[ki-176, ki-7] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₉[ki-177, ki-8] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁₀[ki-178, ki-9] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁₁[ki-179, ki-10] заранее заданному условию C₁₁. В варианте реализации, показанном на фиг. 21, по меньшей мере, часть данных в Wi₅[ki-173, ki-4] не удовлетворяет заранее заданному условию C₅, 7 байтов пропускаются от точки потенциального деления ki в направлении поиска точки деления потока данных, и текущая точка потенциального деления kj получается в концевой позиции 7-го байта. Как показано на фиг. 22, согласно правилу, заранее заданному на сервере 103 дедупликации, окно Wj₁[kj-169, kj] определяется для точки потенциального деления kj. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wj₁[kj-169, kj] заранее заданному условию C₁, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₁[ki-169, ki] заранее заданному условию C₁. Таким образом, как показано на фиг. 33, Wj₁ представляет окно Wj₁[kj-169, kj], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в Wj₁[kj-169, kj] заранее заданному условию C₁. На фиг. 33, каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 на фиг. 33 представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 169, 127, 85, 43 и 1 рассматриваются как 40 последовательных битов, которые представлены как a₁', a₂', a₃', a₄', ..., и a₄₀' по отдельности. Для любого at' из a₁', a₂', a₃', a₄', ..., и a₄₀', когда at'=0, Vat'=-1, и когда at'=1, Vat'=1. Согласно соответствию между at' и Vat', генерируются Va₁', Va₂', Va₃', Va₄', ..., и Va₄₀'. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wj₁[kj-169, kj] заранее заданному условию C₁, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₁[ki-169, ki] заранее заданному условию C₁. Таким образом, используются одни и те же случайные числа: h₁, h₂, h₃, h₄, ..., и h₄₀. Sa'=Va₁'*h₁+Va₂'*h₂+Va₃'*h₃+Va₄'*h₄+...+Va₄₀'*h₄₀. Поскольку h₁, h₂, h₃, h₄, ..., и h₄₀ подчиняются нормальному распределению, Sa' также подчиняется нормальному распределению. Когда Sa' является положительным числом, по меньшей мере, часть данных в Wj₁[kj-169, kj] удовлетворяет заранее заданному условию C₁; когда Sa' является отрицательным числом или 0, по меньшей мере, часть данных в Wj₁[kj-169, kj] не удовлетворяет заранее заданному условию C₁. Вероятность того, что Sa' является положительным числом, равна 1/2.

[0194] Способ определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₂[ki-170, ki-1] заранее заданному условию C₂, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в Wj₂[kj-170, kj-1] заранее заданному условию C₂. Таким образом, как показано на фиг. 33, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wj₂[kj-170, kj-1] заранее заданному условию C₂, и между двумя соседними выбранными байтами существует 42 байта. На фиг. 33, выбранные байты представлены как порядковые номера 170, 128, 86, 44 и 2 по отдельности, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 170, 128, 86, 44 и 2 рассматриваются как 40 последовательных битов, которые представлены как b₁', b₂', b₃', b₄', ..., и b₄₀' по отдельности. Для любого bt' из b₁', b₂', b₃', b₄', ..., и b₄₀', когда bt'=0, Vbt'=-1, и когда bt'=1, Vbt'=1. Согласно соответствию между bt' и Vbt', генерируются Vb₁', Vb₂', Vb₃', Vb₄', ..., и Vb₄₀'. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₂[ki-170, ki-1] заранее заданному условию C₂, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в Wj₂[kj-170, kj-1] заранее заданному условию C₂. Таким образом, используются одни и те же случайные числа: h₁, h₂, h₃, h₄, ..., и h₄₀, и Sb'=Vb₁'*h₁+Vb₂'*h₂+Vb₃'*h₃+Vb₄'*h₄+...+Vb₄₀'*h₄₀. Поскольку h₁, h₂, h₃, h₄, ..., и h₄₀ подчиняются нормальному распределению, Sb' также подчиняется нормальному распределению. Когда Sb' является положительным числом, по меньшей мере, часть данных в Wj₂[kj-170, kj-1] удовлетворяет заранее заданному условию C₂; когда Sb' является отрицательным числом или 0, по меньшей мере, часть данных в Wj₂[kj-170, kj-1] не удовлетворяет заранее заданному условию C₂. Вероятность того, что Sb' является положительным числом, равна 1/2.

[0195] Аналогично, способ определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₃[ki-171, ki-2] заранее заданному условию C₃, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в Wj₃[kj-171, kj-2] заранее заданному условию C₃. Аналогично, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₄[kj-172, kj-3] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₅[kj-173, kj-4] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₆[kj-174, kj-5] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₇[kj-175, kj-6] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₈[kj-176, kj-7] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₉[kj-177, kj-8] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₀[kj-178, kj-9] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₁[kj-179, kj-10] заранее заданному условию C₁₁, которые здесь повторно не описаны.

[0196] В этом варианте осуществления, производится определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz. Вариант реализации, показанный на фиг. 21, по прежнему используется в порядке примера. Согласно правилу, заранее заданному на сервере 103 дедупликации, для точки потенциального деления ki, окно Wi₁[ki-169, ki] определяется для точки потенциального деления ki, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[ki-169, ki] заранее заданному условию C₁. Как показано на фиг. 32, Wi₁ представляет окно Wi₁[ki-169, ki], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[ki-169, ki] заранее заданному условию C₁. На фиг. 32, каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 преобразуется в 1 десятичное число, диапазон которого составляет 0-(2^40-1). Генератор равномерного распределения случайных чисел используется для генерации 1 назначенного значения для каждого десятичного числа в 0-(2^40-1), и соответствие R между каждым десятичным числом в 0-(2^40-1) и назначенным значением записывается. Будучи назначенным, назначенное значение, соответствующее десятичному числу, остается неизменным, и назначенное значение подчиняется равномерному распределению. Если назначенное значение является четным числом, по меньшей мере, часть данных в Wi₁[ki-169, ki] удовлетворяет заранее заданному условию C₁; если назначенное значение является нечетным числом, по меньшей мере, часть данных в Wi₁[ki-169, ki] не удовлетворяет заранее заданному условию C₁. C₁ представляет, что назначенное значение, полученное согласно вышеупомянутому способу является четным числом. Поскольку вероятность того, что случайное число в равномерном распределении является четным числом, равна 1/2, вероятность того, что, по меньшей мере, часть данных в Wi₁[ki-169, ki] удовлетворяет заранее заданному условию C₁, равна 1/2. В варианте реализации, показанном на фиг. 21, с использованием того же правила, по отдельности, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₂[ki-170, ki-1] заранее заданному условию C₂, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₃[ki-171, ki-2] заранее заданному условию C₃, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₄[ki-172, ki-3] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi₅[ki-173, ki-4] заранее заданному условию C₅, которые здесь повторно не описаны.

[0197] Когда, по меньшей мере, часть данных в Wi₅[ki-173, ki-4] не удовлетворяет заранее заданному условию C₅, 7 байтов пропускаются от точки потенциального деления ki в направлении поиска точки деления потока данных, и текущая точка потенциального деления kj получается в концевой позиции 7-го байта. Как показано на фиг. 22, согласно правилу, заранее заданному на сервере 103 дедупликации, окно Wj₁[kj-169, kj] определяется для точки потенциального деления kj. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wj₁[kj-169, kj] заранее заданному условию C₁, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₁[ki-169, ki] заранее заданному условию C₁. Таким образом, одно и то же соответствие R между каждым десятичным числом в 0-(2^40-1), и используется назначенное значение. Как показано на фиг. 33, Wj₁ представляет окно, и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в Wj₁[kj-169, kj] заранее заданному условию C₁. На фиг. 33, "" представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта "". Каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 преобразуется в 1 десятичное число, и в R осуществляется поиск назначенного значения, соответствующего десятичному числу. Если назначенное значение является четным числом, по меньшей мере, часть данных в Wj₁[kj-169, kj] удовлетворяет заранее заданному условию C₁; если назначенное значение является нечетным числом, по меньшей мере, часть данных в Wj₁[kj-169, kj] не удовлетворяет заранее заданному условию C₁. Поскольку вероятность того, что случайное число в равномерном распределении является четным числом, равна 1/2, вероятность того, что, по меньшей мере, часть данных в Wj₁[kj-169, kj] удовлетворяет заранее заданному условию C₁, равна 1/2. Аналогично, способ определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₂[ki-170, ki-1] заранее заданному условию C₂, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в Wj₂[kj-170, kj-1] заранее заданному условию C₂, и способ определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₃[ki-171, ki-2] заранее заданному условию C₃, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в Wj₃[kj-171, kj-2] заранее заданному условию C₃. Аналогично, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₄[kj-172, kj-3] заранее заданному условию C₄, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₅[kj-173, kj-4] заранее заданному условию C₅, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₆[kj-174, kj-5] заранее заданному условию C₆, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₇[kj-175, kj-6] заранее заданному условию C₇, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₈[kj-176, kj-7] заранее заданному условию C₈, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₉[kj-177, kj-8] заранее заданному условию C₉, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₀[kj-178, kj-9] заранее заданному условию C₁₀, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wj₁₁[kj-179, kj-10] заранее заданному условию C₁₁, которые здесь повторно не описаны.

[0198] Сервер 103 дедупликации согласно варианту осуществления настоящего изобретения, показанный на фиг. 1, представляет собой устройство, которое может реализовать техническое решение, описанное согласно варианту осуществления настоящего изобретения, и, как показано на фиг. 18, обычно включает в себя центральный процессор, первичную память и интерфейс ввода/вывода. Центральный процессор, первичная память и интерфейс ввода/вывода осуществляют связь друг с другом. В основной памяти хранится исполнимая инструкция, и центральный процессор выполняет исполнимую инструкцию, хранящуюся в основной памяти для осуществления конкретной функции, благодаря чему, сервер 103 дедупликации имеет конкретную функцию, например, поиска точки деления потока данных, описанной на фиг. 20-33 в вариантах осуществления настоящего изобретения. Таким образом, как показано на фиг. 19, согласно вариантам осуществления настоящего изобретения, показанным на фиг. 20-33, для сервера 103 дедупликации, правило заранее задается на сервере 103 дедупликации, причем правило предусматривает: для точки потенциального деления k, определение M окон Wx[k-Ax, k+Bx] и заранее заданного условия Cx, соответствующего окну Wx[k-Ax, k+Bx], где x указывает последовательные натуральные числа от 1 до M, M≥2, и Ax и Bx являются целыми числами.

[0199] Сервер 103 дедупликации включает в себя блок 1901 определения и блок 1902 принятия решения и обработки. Блок 1901 определения выполнен с возможностью осуществления этапа (a):

(a) определения соответствующего окна Wiz[ki-Az, ki+Bz] для текущей точки потенциального деления ki согласно правилу, где i и z являются целыми числами, и 1≤z≤M.

[0200] Блок 1902 принятия решения и обработки выполнен с возможностью: определять, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz;

[0201] Кроме того, правило дополнительно предусматривает, что, по меньшей мере, два окна Wie[ki-Ae, ki+Be] и Wif[ki-Af, ki+Bf] удовлетворяют условиям | Ae+Be|=|Af+Bf| и Ce=Cf. Кроме того, правило дополнительно предусматривает, что Ae и Af являются положительными целыми числами. Кроме того, правило дополнительно предусматривает, что Ae-1=Af и Be+1=Bf.

[0202] Кроме того, блок 1902 принятия решения и обработки в частности, выполнен с возможностью определения, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz. Кроме того, блок 1902 принятия решения и обработки, в частности, определяет, с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz.

[0203] Кроме того, блок 1902 принятия решения и обработки выполнен с возможностью: когда, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] не удовлетворяет заранее заданному условию Cz, пропуска N минимальных единиц U для поиска точки деления потока данных от текущей точки потенциального деления ki в направлении поиска точки деления потока данных, для получения новой точки потенциального деления, и блок 1901 определения осуществляет этап (a) для новой точки потенциального деления, где, согласно правилу, левая граница окна Wic[ki-Ac, ki+Bc], которая определена для новой точки потенциального деления, совпадает с правой границей окна Wiz[ki-Az, ki+Bz], или левая граница окна Wic[ki-Ac, ki+Bc], которая определена для новой точки потенциального деления, попадает в диапазон окна Wiz[ki-Az, ki+Bz], где окно Wic[ki-Ac, ki+Bc], определенное для новой точки потенциального деления является окном, занимающим первую позицию в последовательности, которая получена согласно направлению поиска точки деления потока данных, из M окон, которые определены для новой точки потенциального деления согласно правилу.

[0204] Кроме того, блок 1902 принятия решения и обработки определяет, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz, в частности, и это определение включает в себя:

[0205] Согласно способу поиска точки деления потока данных на основе сервера в вариантах осуществления настоящего изобретения, показанных на фиг. 20-33, определяется окно Wix[ki-Ax, ki+Bx] для точки потенциального деления ki, где x указывает последовательные натуральные числа от 1 до M по отдельности, и M≥2. Параллельно можно определять, удовлетворяет ли, по меньшей мере, часть данных в каждом окне из M окон заранее заданному условию Cx, или можно последовательно определять, удовлетворяет ли, по меньшей мере, часть данных в окнах заранее заданному условию, или можно сначала определять, что, по меньшей мере, часть данных в окне Wi₁[pi₁-A₁, pi₁+B₁] удовлетворяет заранее заданному условию C₁, затем принимать решение, что, по меньшей мере, часть данных в Wi₂[pi₂-A₂, pi₂+B₂] удовлетворяет заранее заданному условию C₂, пока не будет принято решение, что, по меньшей мере, часть данных в Wim[pim-Am, pim+Bm] удовлетворяет заранее заданному условию Cm. Другие окна в этом варианте осуществления определяются таким же образом, как описано, что не описано повторно.

[0206] Кроме того, согласно вариантам осуществления настоящего изобретения, показанным на фиг. 20-33, правило заранее задается на сервере 103 дедупликации, причем правило предусматривает: определение M окон Wx[k-Ax, k+Bx] для точки потенциального деления k и заранее заданного условия Cx, соответствующего окну Wx[k-Ax, k+Bx], где x указывает последовательные натуральные числа от 1 до M по отдельности, и M≥2. Согласно заранее заданному правилу, A₁, A₂, A₃, ..., и Am могут не все быть равны, B₁, B₂, B₃, ..., и Bm могут не все быть равны, и C₁, C₂, C₃, ..., и CM также могут не все быть равны. В варианте реализации, показанном на фиг. 21, для Wi₁[ki-169, ki], Wi₂[ki-170, ki-1], Wi₃[ki-171, ki-2], Wi₄[ki-172, ki-3], Wi₅[ki-173, ki-4], Wi₆[ki-174, ki-5], Wi₇[ki-175, ki-6], Wi₈[ki-176, ki-7], Wi₉[ki-177, ki-8], Wi₁₀[ki-178, ki-9] и Wi₁₁[ki-179, ki-10], окна одинаковы по размеру, то есть все окна имеют размер 169 байтов, и при этом способы определения, удовлетворяет ли, по меньшей мере, часть данных в окне заранее заданному условию, также одинаковы. Подробности можно найти в вышеприведенном описании определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₁[ki-169, ki] заранее заданному условию C₁. Однако, в варианте реализации, показанном на фиг. 11, окна Wi₁[ki-169, ki], Wi₂[ki-170, ki-1], Wi₃[ki-171, ki-2], Wi₄[ki-172, ki-3], Wi₅[ki-173, ki-4], Wi₆[ki-174, ki-5], Wi₇[ki-175, ki-6], Wi₈[ki-176, ki-7], Wi₉[ki-177, ki-8], Wi₁₀[ki-168, ki+1] и Wi₁₁[ki-179, ki+3] могут отличаться размером, и при этом способы определения, удовлетворяет ли, по меньшей мере, часть данных в окне заранее заданному условию, также могут отличаться. Во всех вариантах осуществления, согласно правилу, заранее заданному на сервере 103 дедупликации, способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wi₁ заранее заданному условию C₁, конечно, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wj₁ заранее заданному условию C₁, способ определения, удовлетворяет ли, по меньшей мере, часть данных в Wi₂ заранее заданному условию C₂, конечно, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в Wj₂ заранее заданному условию C₂, ..., и способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне Wim заранее заданному условию CM, конечно, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне WjM заранее заданному условию CM, которые здесь повторно не описаны.

[0207] Согласно вариантам осуществления настоящего изобретения, показанным на фиг. 20-33, правило заранее задается на сервере 103 дедупликации, ka, ki, kj, kl и km являются точками потенциального деления, полученными при поиске точки деления в направлении поиска точки деления потока данных, и все ka, ki, kj, kl и km подчиняются правилу. В этом варианте осуществления настоящего изобретения, окно Wx[k-Ax, k+Bx] представляет конкретный диапазон, и данные выбираются в конкретном диапазоне для определения, удовлетворяют ли данные заранее заданному условию Cx. В частности, в конкретном диапазоне можно выбирать, часть данных или можно выбирать все данные для определения, удовлетворяют ли данные заранее заданному условию Cx. Можно рассматривать окно Wx[k-Ax, k+Bx] в качестве примера понятия окна, в частности, используемого в этом варианте осуществления настоящего изобретения, который здесь повторно не описан.

[0208] В окне Wx[k-Ax, k+Bx], (k-Ax) и (k+Bx) представляют две границы окна Wx[k-Ax, k+Bx], где (k-Ax) представляет границу, которая ориентирована в направлении, противоположном направлению поиска точки деления потока данных относительно точки потенциального деления k, окна Wx[k-Ax, k+Bx], и (k+Bx) представляет границу, которая ориентирована в направлении поиска точки деления потока данных относительно точки потенциального деления k, окна Wx[k-Ax, k+Bx]. В частности, согласно варианту осуществления настоящего изобретения, направление поиска точки деления потока данных, показанное на фиг. 20-33, является направлением слева направо; таким образом, (k-Ax) представляет границу (то есть левую границу), которая ориентирована в направлении, противоположном направлению поиска точки деления потока данных относительно точки потенциального деления k, окна Wx[k-Ax, k+Bx], и (k+Bx) представляет границу (то есть правую границу), которая ориентирована в направлении поиска точки деления потока данных относительно точки потенциального деления k, окна Wx[k-Ax, k+Bx]. Если направление поиска точки деления потока данных, показанное на фиг. 20-33, ориентировано справа налево, (k-Ax) представляет границу (то есть правую границу), которая ориентирована в направлении, противоположном направлению поиска точки деления потока данных относительно точки потенциального деления k, окна Wx[k-Ax, k+Bx], и (k+Bx) представляет границу (то есть левую границу), которая ориентирована в направлении поиска точки деления потока данных относительно точки потенциального деления k, окна Wx[k-Ax, k+Bx].

[0209] Специалист в данной области техники может понять, что, совместно с различными иллюстративными блоками и этапами алгоритма, описанными на фиг. 20-33 вариантов осуществления настоящего изобретения, ключевой признак в вариантах осуществления настоящего изобретения можно объединить с другими технологиями и представить в более сложной форме; однако ключевой признак настоящего изобретения по прежнему включен. Альтернативная точка деления может использоваться в реальном окружении. Например, в варианте реализации, согласно правилу, заранее заданному на сервере 103 дедупликации, для точки потенциального деления ki, 11 окон Wx[k-Ax, k+Bx] и заранее заданного условия Cx, соответствующего окну Wx[k-Ax, k+Bx] определяются, где x указывает последовательные натуральные числа от 1 до 11. Когда, по меньшей мере, часть данных в каждом окне Wx[k-Ax, k+Bx] из 11 окон удовлетворяет заранее заданному условию Cx, точка потенциального деления ki является точкой деления потока данных. Когда ни одной точки деления не найдено по прохождении максимального фрагмента данных, для альтернативной точки может использоваться заранее заданное правило. Заранее заданное правило для альтернативной точки аналогично правилу, заранее заданному на сервере 103 дедупликации, и заранее заданное правило для альтернативной точки предусматривает: например, для точки потенциального деления ki, определение 10 окон Wx[k-Ax, k+Bx] и заранее заданного условия Cx, соответствующего окну Wx[k-Ax, k+Bx], где x указывает последовательные натуральные числа от 1 до 10. Когда определено, что, по меньшей мере, часть данных в каждом окне Wx[k-Ax, k+Bx] из 10 окон удовлетворяет заранее заданному условию Cx, точка потенциального деления ki является точкой деления потока данных. Когда не найдено ни одной точки деления потока данных по прохождении максимального фрагмента данных, концевая позиция максимального фрагмента данных служит точкой принудительного деления.

[0210] Согласно вариантам осуществления настоящего изобретения, показанным на фиг. 20-33, Правило заранее задается на сервере 103 дедупликации, и согласно правилу, M окон определяются для точки потенциального деления k. Не требуется, чтобы заранее существовала точка потенциального деления k, и точка потенциального деления k может определяться с использованием определенного M окон.

[0211] Специалист в данной области техники может понять, что, наряду с примерами, приведенными в вариантах осуществления, раскрытый в этом описании изобретения, блоки и этапы алгоритма могут быть реализованы посредством электронного оборудования или комбинации компьютерного программного обеспечения и электронного оборудования. Осуществляются ли функции посредством оборудования или программного обеспечения, зависит от конкретных применений и условий ограничения конструкции технических решений. Специалист в данной области техники может использовать разные способы реализации описанных функций для каждого конкретного применения, но не следует предполагать, что реализация выходит за пределы объема настоящего изобретения.

[0212] Специалисту в данной области техники совершенно понятно, что, в целях удобства и краткости описания процесса работы вышеупомянутой системы, устройства и блока, можно обратиться к соответствующему процессу в вышеупомянутых вариантах осуществления способа, и подробности здесь повторно не описаны.

[0213] В нескольких обеспеченных вариантах осуществления, следует понимать, что раскрытые система и способ можно реализовать иначе. Например, описанный вариант осуществления устройства является только иллюстративным. Например, деление на блоки является только делением на логические функции, и в фактической реализации может существовать другое деление. Например, несколько блоков или компонентов может быть объединено или встроено в другую систему, или некоторые признаки можно игнорировать или не осуществлять. Кроме того, изображенные или рассмотренные взаимные соединения или прямые соединения или соединения с возможностью связи могут быть реализованы через некоторые интерфейсы. Непрямые соединения или соединения с возможностью связи между устройствами или блоками могут быть реализованы в электронной, механической или других формах.

[0214] Блоки, описанные как отдельные части, могут быть или не быть физически отдельными, и части, изображенные как блоки, могут быть или не быть физическими блоками, могут располагаться в одной позиции, или могут распределяться по нескольким сетевым блокам. Некоторые или все из блоков можно выбирать согласно фактическим потребностям для достижения целей решений вариантов осуществления.

[0215] Кроме того, функциональные блоки в вариантах осуществления настоящего изобретения могут быть встроены в один блок обработки, или каждый из блоков может существовать физически отдельно, или два или более блоков встроены в один блок.

[0216] Когда функции реализованы в форме программного функционального блока и продаются или используются как независимый продукт, функции могут храниться на компьютерно-считываемом энергонезависимом носителе данных. На основании такого понимания, технические решения настоящего изобретения по существу, или часть, образующая уровень техники, или некоторые из технических решений могут быть реализованы в форме программного продукта. Программный продукт хранится на энергонезависимом носителе данных и включает в себя несколько инструкций, предписывающих компьютерному устройству (которое может представлять собой персональный компьютер, сервер или сетевое устройство) осуществлять все или некоторые из этапов способов, описанных в вариантах осуществления настоящего изобретения. Вышеупомянутый энергонезависимый носитель данных включает в себя: любой носитель, где может храниться программный код, например, флэш-носитель на основе USB, сменный жесткий диск, постоянную память (Read-Only Memory, ROM), магнитный диск или оптический диск.

[0217] Выше приведены описания только конкретной реализации способов настоящего изобретения, но не призваны ограничивать объем защиты настоящего изобретения. Любые изменения или замены, которые может предложить специалист в данной области техники в техническом объеме, раскрытом в настоящем изобретении, попадают в объем защиты настоящего изобретения. Таким образом, объем защиты настоящего изобретения определяется объемом защиты формулы изобретения.

1. Способ поиска точки деления потока данных, осуществляемый сервером, содержащий этапы, на которых:

правило, заранее заданное на сервере, предусматривает: для точки потенциального деления k, определение M точек px, окна Wx[px-Ax, px+Bx], соответствующего точке px, и заранее заданного условия Cx, соответствующего окну Wx[px-Ax, px+Bx], причем x указывает последовательные натуральные числа от 1 до M, M≥2, и Ax и Bx являются целыми числами; и

причем способ содержит этапы, на которых:

(a) определяют точку piz и окно Wiz[piz-Az, piz+Bz], соответствующее точке piz, для текущей точки потенциального деления ki согласно правилу, причем i и z являются целыми числами, и 1≤z≤M;

(b) определяют, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz; и

когда, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] не удовлетворяет заранее заданному условию Cz, пропускают N минимальных единиц U для поиска точки деления потока данных от точки piz в направлении поиска точки деления потока данных, причем N*U не превышает ‖Bz‖+max_x(‖Ax‖+‖(ki-pix)‖), для получения новой точки потенциального деления, и осуществляют этап (a); и

(c) когда, по меньшей мере, часть данных в каждом окне Wix[pix-Ax, pix+Bx] из M окон текущей точки потенциального деления ki удовлетворяет заранее заданному условию Cx, выбирают текущую точку потенциального деления ki в качестве точки деления потока данных.

2. Способ по п. 1, в котором правило дополнительно предусматривает, что, по меньшей мере, две точки pe и pf удовлетворяют условиям Ae=Af, Be=Bf и Ce=Cf.

3. Способ по п. 2, в котором правило дополнительно содержит: относительно точки потенциального деления k, по меньшей мере, две точки pe и pf ориентированы в направлении, противоположном направлению поиска точки деления потока данных.

4. Способ по п. 2 или 3, в котором правило дополнительно предусматривает, что расстояние между, по меньшей мере, двумя точками pe и pf равно 1 U.

5. Способ по любому из пп. 1-3, в котором определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz, в частности, содержит этап, на котором:

определяют, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz.

6. Способ по п. 5, в котором определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz, в частности, содержит этап, на котором: определяют, с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz.

7. Способ по любому из пп. 1-3, в котором, когда, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] не удовлетворяет заранее заданному условию Cz, N минимальных единиц U для поиска точки деления потока данных пропускается от точки piz в направлении поиска точки деления потока данных, для получения новой точки потенциального деления, и, согласно правилу, левая граница окна Wic[pic-Ac, pic+Bc], соответствующая точке pic, которая определена для новой точки потенциального деления, совпадает с правой границей окна Wiz[piz-Az, piz+Bz], или левая граница окна Wic[pic-Ac, pic+Bc], соответствующая точке pic, которая определена для новой точки потенциального деления, попадает в диапазон окна Wiz[piz-Az, piz+Bz], причем точка pic, определенная для новой точки потенциального деления, является точкой, занимающей первую позицию в последовательности, которая получена согласно направлению поиска точки деления потока данных, из M точек, которые определены для новой точки потенциального деления согласно правилу.

8. Способ по п. 5, в котором определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz, в частности, содержит этапы, на которых:

выбирают F байтов в окне Wiz[piz-Az, piz+Bz] и повторно используют F байтов H раз для получения всего F*H байтов, причем F≥1, каждый байт образован 8 битами, которые обозначены как am_,1, ..., и am_,8, представляющими биты с 1-го по 8-й m-го байта в F*H байтов, биты, соответствующие F*H байтам можно представить как: , причем, когда am_,_n=1, Vam_,_n=1, и когда am_,_n=0, Vam_,_n=-1, причем am_,_n представляет любой из am_,1, ..., и am_,8, матрица Va получается согласно соотношению преобразования между am_,_n и Vam_,_n из битов, соответствующих F*H байтам, причем матрица Va представлена как: , F*H*8 случайных чисел выбирается из случайных чисел, подчиняющихся нормальному распределению, для формирования матрицы R, причем матрица R представлена как: , случайные числа в m-й строке матрицы Va и m-й строке матрицы R перемножаются, и произведения суммируются для получения значения, которое, в частности, представляется как Sam=Vam_,1*hm_,1+Vam_,2*hm_,2+...+Vam_,8*hm_,8, Sa₁, Sa₂, ..., и SaF_*_H получаются таким же образом, подсчитывается количество k значений, больших 0, из Sa₁, Sa₂, ..., и SaF_*_H, и когда k является четным числом, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] удовлетворяет заранее заданному условию Cz.

9. Способ поиска точки деления потока данных, осуществляемый сервером, содержащий этапы, на которых:

правило, заранее заданное на сервере, предусматривает: для точки потенциального деления k, определение M окон Wx[k-Ax, k+Bx] и заранее заданного условия Cx, соответствующего окну Wx[k-Ax, k+Bx], причем x указывает последовательные натуральные числа от 1 до M, M≥2, и Ax и Bx являются целыми числами; и

причем способ содержит этапы, на которых:

(a) определяют соответствующее окно Wiz[ki-Az, ki+Bz] для текущей точки потенциального деления ki согласно правилу, причем i и z являются целыми числами, и 1≤z≤M;

(b) определяют, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz; и

когда, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] не удовлетворяет заранее заданному условию Cz, пропускают N минимальных единиц U для поиска точки деления потока данных от текущей точки потенциального деления ki в направлении поиска точки деления потока данных, причем N*U не превышает ‖Bz‖+max_x(‖Ax ‖), для получения новой точки потенциального деления, и осуществляют этап (a); и

(c) когда, по меньшей мере, часть данных в каждом окне Wix[ki-Ax, ki+Bx] из M окон текущей точки потенциального деления ki удовлетворяет заранее заданному условию Cx, выбирают текущую точку потенциального деления ki в качестве точки деления потока данных.

10. Способ по п. 9, в котором правило дополнительно предусматривает, что, по меньшей мере, два окна Wie[ki-Ae, ki+Be] и Wif[ki-Af, ki+Bf] удовлетворяют условиям | Ae+Be|=|Af+Bf| и Ce=Cf.

11. Способ по п. 10, в котором правило дополнительно предусматривает, что Ae и Af являются положительными целыми числами.

12. Способ по п. 10 или 11, в котором правило дополнительно содержит Ae-1=Af и Be+1=Bf.

13. Способ по любому из пп. 9-11, в котором определение, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz, в частности, содержит этап, на котором:

определяют, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz.

14. Способ по п. 13, в котором определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в Wiz[ki-Az, ki+Bz] заранее заданному условию Cz, содержит, в частности, этап, на котором: определяют, с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в Wiz[ki-Az, ki+Bz] заранее заданному условию Cz.

15. Способ по любому из пп. 9-11, в котором, когда, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] не удовлетворяет заранее заданному условию Cz, N минимальных единиц U для поиска точки деления потока данных пропускается от текущей точки потенциального деления ki в направлении поиска точки деления потока данных, для получения новой точки потенциального деления, и, согласно правилу, левая граница окна Wic[ki-Ac, ki+Bc], которая определена для новой точки потенциального деления, совпадает с правой границей окна Wiz[ki-Az, ki+Bz], или левая граница окна Wic[ki-Ac, ki+Bc], которая определена для новой точки потенциального деления, попадает в диапазон окна Wiz[ki-Az, ki+Bz], причем окно Wic[ki-Ac, ki+Bc], определенное для новой точки потенциального деления является окном, занимающим первую позицию в последовательности, которая получена согласно направлению поиска точки деления потока данных, из M окон, которые определены для новой точки потенциального деления согласно правилу.

16. Способ по п. 13, в котором определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz, в частности, содержит этапы, на которых:

выбирают F байтов в окне Wiz[ki-Az, ki+Bz] и повторно используют F байтов H раз для получения всего F*H байтов, причем F≥1, каждый байт образован 8 битами, которые обозначены как am_,1, ..., и am_,8, представляющими биты с 1-го по 8-й m-го байта в F*H байтов, биты, соответствующие F*H байтам можно представить как: , причем, когда am_,_n=1, Vam_,_n=1, и когда am_,_n=0, Vam_,_n=-1, причем am_,_n представляет любой из am_,1, ..., и am_,8, матрица Va получается согласно соотношению преобразования между am_,_n и Vam_,_n из битов, соответствующих F*H байтам, причем матрица Va представлена как: , F*H*8 случайных чисел выбирается из случайных чисел, подчиняющихся нормальному распределению, для формирования матрицы R, причем матрица R представлена как: , случайные числа в m-й строке матрицы Va и m-й строке матрицы R перемножаются, и произведения суммируются для получения значения, которое, в частности, представляется как Sam=Vam_,1*hm_,1+Vam_,2*hm_,2+...+Vam_,8*hm_,8, Sa₁, Sa₂, ..., и SaF_*_H получаются таким же образом, подсчитывается количество k значений, больших 0, из Sa₁, Sa₂, ..., и SaF_*_H, и когда k является четным числом, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] удовлетворяет заранее заданному условию Cz.

17. Сервер для поиска точки деления потока данных, причем сервер содержит центральный процессор и первичную память, центральный процессор осуществляет связь с первичной памятью, и правило заранее задается на сервере, причем правило, заранее заданное на сервере, предусматривает: для точки потенциального деления k, определение M точек px, окна Wx[px-Ax, px+Bx], соответствующего точке px, и заранее заданного условия Cx, соответствующего окну Wx[px-Ax, px+Bx], причем x указывает последовательные натуральные числа от 1 до M, M≥2, и Ax и Bx являются целыми числами; и

(a) определения точки piz и окна Wiz[piz-Az, piz+Bz], соответствующего точке piz, для текущей точки потенциального деления ki согласно правилу, причем i и z являются целыми числами, и 1≤z≤M;

(c) когда, по меньшей мере, часть данных в каждом окне Wix[pix-Ax, pix+Bx] из M окон текущей точки потенциального деления ki удовлетворяет заранее заданному условию Cx, выбора текущей точки потенциального деления ki в качестве точки деления потока данных.

18. Сервер по п. 17, в котором правило дополнительно предусматривает, что, по меньшей мере, две точки pe и pf удовлетворяют условиям Ae=Af, Be=Bf и Ce=Cf.

19. Сервер по п. 18, в котором правило дополнительно содержит: относительно точки потенциального деления k, по меньшей мере, две точки pe и pf ориентированы в направлении, противоположном направлению поиска точки деления потока данных.

20. Сервер по п. 18 или 19, в котором правило дополнительно предусматривает, что расстояние между, по меньшей мере, двумя точками pe и pf равно 1 U.

21. Сервер по любому из пп. 17-19, в котором центральный процессор, в частности, выполнен с возможностью определения, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz.

22. Сервер по п. 21, в котором центральный процессор, в частности, выполнен с возможностью определения, с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz.

23. Сервер по любому из пп. 17-19, в котором, когда, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] не удовлетворяет заранее заданному условию Cz, N минимальных единиц U для поиска точки деления потока данных пропускается от точки piz в направлении поиска точки деления потока данных, для получения новой точки потенциального деления, и, согласно правилу, левая граница окна Wic[pic-Ac, pic+Bc], соответствующая точке pic, которая определена для новой точки потенциального деления, совпадает с правой границей окна Wiz[piz-Az, piz+Bz], или левая граница окна Wic[pic-Ac, pic+Bc], соответствующая точке pic, которая определена для новой точки потенциального деления, попадает в диапазон окна Wiz[piz-Az, piz+Bz], причем точка pic, определенная для новой точки потенциального деления, является точкой, занимающей первую позицию в последовательности, которая получена согласно направлению поиска точки деления потока данных, из M точек, которые определены для новой точки потенциального деления согласно правилу.

24. Сервер по п. 21, в котором определение, посредством центрального процессора с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz, в частности, содержит:

выбор F байтов в окне Wiz[piz-Az, piz+Bz], и повторное использование F байтов H раз для получения всего F*H байтов, причем F≥1, каждый байт образован 8 битами, которые обозначены как am_,1, ..., и am_,8, представляющими биты с 1-го по 8-й m-го байта в F*H байтов, биты, соответствующие F*H байтам можно представить как: , причем, когда am_,_n=1, Vam_,_n=1, и когда am_,_n=0, Vam_,_n=-1, причем am_,_n представляет любой из am_,1, ..., и am_,8, матрица Va получается согласно соотношению преобразования между am_,_n и Vam_,_n из битов, соответствующих F*H байтам, причем матрица Va представлена как: , F*H*8 случайных чисел выбирается из случайных чисел, подчиняющихся нормальному распределению, для формирования матрицы R, причем матрица R представлена как: , случайные числа в m-й строке матрицы Va и m-й строке матрицы R перемножаются, и произведения суммируются для получения значения, которое, в частности, представляется как Sam=Vam_,1*hm_,1+Vam_,2*hm_,2+...+Vam_,8*hm_,8, Sa₁, Sa₂, ..., и SaF_*_H получаются таким же образом, подсчитывается количество k значений, больших 0, из Sa₁, Sa₂, ..., и SaF_*_H, и когда k является четным числом, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] удовлетворяет заранее заданному условию Cz.

25. Сервер для поиска точки деления потока данных, причем сервер содержит центральный процессор и первичную память, центральный процессор осуществляет связь с первичной памятью, и правило, заранее заданное на сервере, предусматривает: для точки потенциального деления k, определение M окон Wx[k-Ax, k+Bx] и заранее заданного условия Cx, соответствующего окну Wx[k-Ax, k+Bx], причем x указывает последовательные натуральные числа от 1 до M, M≥2, и Ax и Bx являются целыми числами; и

(a) определения соответствующего окна Wiz[ki-Az, ki+Bz] для текущей точки потенциального деления ki согласно правилу, причем i и z являются целыми числами, и 1≤z≤M;

когда, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] не удовлетворяет заранее заданному условию Cz, пропуска N минимальных единиц U для поиска точки деления потока данных от текущей точки потенциального деления ki в направлении поиска точки деления потока данных, причем N*U не превышает ‖Bz‖+max_x(‖Ax‖), для получения новой точки потенциального деления, и осуществления этапа (a); и

26. Сервер по п. 25, в котором правило дополнительно предусматривает, что, по меньшей мере, два окна Wie[ki-Ae, ki+Be] и Wif[ki-Af, ki+Bf] удовлетворяют условиям | Ae+Be|=|Af+Bf| и Ce=Cf.

27. Сервер по п. 26, в котором правило дополнительно предусматривает, что Ae и Af являются положительными целыми числами.

28. Сервер по п. 26 или 27, в котором правило дополнительно содержит Ae-1=Af и Be+1=Bf.

29. Сервер по любому из пп. 25-27, в котором центральный процессор, в частности, выполнен с возможностью определения, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz.

30. Сервер по п. 29, в котором центральный процессор, в частности, выполнен с возможностью определения, с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz.

31. Сервер по любому из пп. 25-27, в котором, когда, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] не удовлетворяет заранее заданному условию Cz, N минимальных единиц U для поиска точки деления потока данных пропускается от текущей точки потенциального деления ki в направлении поиска точки деления потока данных, для получения новой точки потенциального деления, и, согласно правилу, левая граница окна Wic[ki-Ac, ki+Bc], которая определена для новой точки потенциального деления, совпадает с правой границей окна Wiz[ki-Az, ki+Bz], или левая граница окна Wic[ki-Ac, ki+Bc], которая определена для новой точки потенциального деления, попадает в диапазон окна Wiz[ki-Az, ki+Bz], причем окно Wic[ki-Ac, ki+Bc], определенное для новой точки потенциального деления является окном, занимающим первую позицию в последовательности, которая получена согласно направлению поиска точки деления потока данных, из M окон, которые определены для новой точки потенциального деления согласно правилу.

32. Сервер по п. 29, в котором определение, посредством центрального процессора с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz, в частности, содержит:

выбор F байтов в окне Wiz[ki-Az, ki+Bz], и повторное использование F байтов H раз для получения всего F*H байтов, причем F≥1, каждый байт образован 8 битами, которые обозначены как am_,1, ..., и am_,8, представляющими биты с 1-го по 8-й m-го байта в F*H байтов, биты, соответствующие F*H байтам можно представить как: , причем, когда am_,_n=1, Vam_,_n=1, и когда am_,_n=0, Vam_,_n=-1, причем am_,_n представляет любой из am_,1, ..., и am_,8, матрица Va получается согласно соотношению преобразования между am_,_n и Vam_,_n из битов, соответствующих F*H байтам, причем матрица Va представлена как: , F*H*8 случайных чисел выбирается из случайных чисел, подчиняющихся нормальному распределению, для формирования матрицы R, причем матрица R представлена как: , случайные числа в m-й строке матрицы Va и m-й строке матрицы R перемножаются, и произведения суммируются для получения значения, которое, в частности, представляется как Sam=Vam_,1*hm_,1+Vam_,2*hm_,2+...+Vam_,8*hm_,8, Sa₁, Sa₂, ..., и SaF_*_H получаются таким же образом, подсчитывается количество k значений, больших 0, из Sa₁, Sa₂, ..., и SaF_*_H, и когда k является четным числом, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] удовлетворяет заранее заданному условию Cz.

33. Сервер для поиска точки деления потока данных, в котором правило, заранее заданное на сервере, предусматривает: для точки потенциального деления k, определение M точек px, окна Wx[px-Ax, px+Bx], соответствующего точке px, и заранее заданного условия Cx, соответствующего окну Wx[px-Ax, px+Bx], причем x указывает последовательные натуральные числа от 1 до M, M≥2, и Ax и Bx являются целыми числами; и

сервер содержит: блок определения, выполненный с возможностью осуществления этапа (a): (a) определения точки piz и окна Wiz[piz-Az, piz+Bz], соответствующего точке piz, для текущей точки потенциального деления ki согласно правилу, причем i и z являются целыми числами, и 1≤z≤M; и

34. Сервер по п. 33, в котором правило дополнительно предусматривает, что, по меньшей мере, две точки pe и pf удовлетворяют условиям Ae=Af, Be=Bf и Ce=Cf.

35. Сервер по п. 34, в котором правило дополнительно содержит: относительно точки потенциального деления k, по меньшей мере, две точки pe и pf ориентированы в направлении, противоположном направлению поиска точки деления потока данных.

36. Сервер по п. 34 или 35, в котором правило дополнительно предусматривает, что расстояние между, по меньшей мере, двумя точками pe и pf равно 1 U.

37. Сервер по любому из пп. 33-35, в котором блок принятия решения и обработки в частности, выполнен с возможностью определения, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz.

38. Сервер по п. 37, в котором блок принятия решения и обработки в частности, выполнен с возможностью определения, с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz.

39. Сервер по любому из пп. 33-35, в котором блок принятия решения и обработки выполнен с возможностью: когда, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] не удовлетворяет заранее заданному условию Cz, пропуска N минимальных единиц U для поиска точки деления потока данных от точки piz в направлении поиска точки деления потока данных, для получения новой точки потенциального деления, блок определения осуществляет этап (a) для новой точки потенциального деления, и, согласно правилу, левая граница окна Wic[pic-Ac, pic+Bc], соответствующая точке pic, которая определена для новой точки потенциального деления, совпадает с правой границей окна Wiz[piz-Az, piz+Bz], или левая граница окна Wic[pic-Ac, pic+Bc] попадает в диапазон окна Wiz[piz-Az, piz+Bz], причем точка pic, определенная для новой точки потенциального деления, является точкой, занимающей первую позицию в последовательности, которая получена согласно направлению поиска точки деления потока данных, из M точек, которые определены для новой точки потенциального деления согласно правилу.

40. Сервер по п. 37, в котором блок принятия решения и обработки в частности, выполнен с возможностью определения, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz, которое, в частности, содержит:

41. Сервер для поиска точки деления потока данных, в котором правило, заранее заданное на сервере, предусматривает: для точки потенциального деления k, определение M окон Wx[k-Ax, k+Bx] и заранее заданного условия Cx, соответствующего окну Wx[k-Ax, k+Bx], причем x указывает последовательные натуральные числа от 1 до M, M≥2, и Ax и Bx являются целыми числами; и

сервер содержит: блок определения, выполненный с возможностью осуществления этапа (a):

(a) определения соответствующего окна Wiz[ki-Az, ki+Bz] для текущей точки потенциального деления ki согласно правилу, причем i и z являются целыми числами, и 1≤z≤M; и

когда, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] не удовлетворяет заранее заданному условию Cz, пропуска N минимальных единиц U для поиска точки деления потока данных от текущей точки потенциального деления ki в направлении поиска точки деления потока данных, причем N*U не превышает ‖Bz‖+max_x(‖Ax‖), для получения новой точки потенциального деления, причем блок определения осуществляет этап (a) для новой точки потенциального деления; и

42. Сервер по п. 41, в котором правило дополнительно предусматривает, что, по меньшей мере, два окна Wie[ki-Ae, ki+Be] и Wif[ki-Af, ki+Bf] удовлетворяют условиям | Ae+Be|=|Af+Bf| и Ce=Cf.

43. Сервер по п. 42, в котором правило дополнительно предусматривает, что Ae и Af являются положительными целыми числами.

44. Сервер по п. 42 или 43, в котором правило дополнительно содержит Ae-1=Af и Be+1=Bf.

45. Сервер по любому из пп. 41-43, в котором блок принятия решения и обработки в частности, выполнен с возможностью:

46. Сервер по п. 45, в котором блок принятия решения и обработки, в частности, определяет, с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz.

47. Сервер по любому из пп. 41-43, в котором блок принятия решения и обработки выполнен с возможностью: когда, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] не удовлетворяет заранее заданному условию Cz, пропуска N минимальных единиц U для поиска точки деления потока данных от текущей точки потенциального деления ki в направлении поиска точки деления потока данных, для получения новой точки потенциального деления, блок определения осуществляет этап (a) для новой точки потенциального деления, и, согласно правилу, левая граница окна Wic[ki-Ac, ki+Bc], которая определена для новой точки потенциального деления, совпадает с правой границей окна Wiz[ki-Az, ki+Bz], или левая граница окна Wic[ki-Ac, ki+Bc], которая определена для новой точки потенциального деления, попадает в диапазон окна Wiz[ki-Az, ki+Bz], причем окно Wic[ki-Ac, ki+Bc], определенное для новой точки потенциального деления является окном, занимающим первую позицию в последовательности, которая получена согласно направлению поиска точки деления потока данных, из M окон, которые определены для новой точки потенциального деления согласно правилу.

48. Сервер по п. 46, в котором блок принятия решения и обработки определяет, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz, и это определение, в частности, содержит:

49. Компьютерно-считываемый носитель данных, причем компьютерно-считываемый носитель данных выполнен с возможностью хранения исполнимой инструкции, сервер выполняет исполнимую инструкцию для поиска точки деления потока данных, и правило, заранее заданное на сервере, предусматривает: для точки потенциального деления k, определение M точек px, окна Wx[px-Ax, px+Bx], соответствующего точке px, и заранее заданного условия Cx, соответствующего окну Wx[px-Ax, px+Bx], причем x указывает последовательные натуральные числа от 1 до M, M≥2, и Ax и Bx являются целыми числами; и

сервер выполняет исполнимую инструкцию для осуществления следующих этапов:

(a) определения piz и окна Wiz[piz-Az, piz+Bz], соответствующего piz для текущей точки потенциального деления ki согласно правилу, причем i и z являются целыми числами, и 1≤z≤M;

(c) когда, по меньшей мере, часть данных в каждом окне Wix[pix-Ax, pix+Bx] из M окон текущей точки потенциального деления ki удовлетворяет заранее заданному условию Cx, выбора текущей точки потенциального деления ki в качестве точки деления потока данных.

50. Компьютерно-считываемый носитель данных по п. 49, в котором правило дополнительно предусматривает, что, по меньшей мере, две точки pe и pf удовлетворяют условиям Ae=Af, Be=Bf и Ce=Cf.

51. Компьютерно-считываемый носитель данных по п. 50, в котором правило дополнительно содержит: относительно точки потенциального деления k, по меньшей мере, две точки pe и pf ориентированы в направлении, противоположном направлению поиска точки деления потока данных.

52. Компьютерно-считываемый носитель данных по п. 50 или 51, в котором правило дополнительно предусматривает, что расстояние между, по меньшей мере, двумя точками pe и pf равно 1 U.

53. Компьютерно-считываемый носитель данных по любому из пп. 49-51, в котором определение, посредством сервера, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz, в частности, содержит:

54. Компьютерно-считываемый носитель данных по п. 53, в котором определение, посредством сервера с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz, в частности, содержит:

55. Компьютерно-считываемый носитель данных по любому из пп. 49-51, в котором, когда, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] не удовлетворяет заранее заданному условию Cz, N минимальных единиц U для поиска точки деления потока данных пропускается от точки piz в направлении поиска точки деления потока данных, для получения новой точки потенциального деления, и, согласно правилу, левая граница окна Wic[pic-Ac, pic+Bc], соответствующая точке pic, которая определена для новой точки потенциального деления, совпадает с правой границей окна Wiz[piz-Az, piz+Bz], или левая граница окна Wic[pic-Ac, pic+Bc], соответствующая точке pic, которая определена для новой точки потенциального деления, попадает в диапазон окна Wiz[piz-Az, piz+Bz], причем точка pic, определенная для новой точки потенциального деления, является точкой, занимающей первую позицию в последовательности, которая получена согласно направлению направлению поиска точки деления потока данных, из M точек, которые определены для новой точки потенциального деления согласно правилу.

56. Компьютерно-считываемый носитель данных по п. 53, в котором определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[piz-Az, piz+Bz] заранее заданному условию Cz, в частности, содержит:

57. Компьютерно-считываемый носитель данных, причем компьютерно-считываемый носитель данных выполнен с возможностью хранения исполнимой инструкции, сервер выполняет исполнимую инструкцию для поиска точки деления потока данных, и правило, заранее заданное на сервере, предусматривает: для точки потенциального деления k, определение M окон Wx[k-Ax, k+Bx] и заранее заданного условия Cx, соответствующего окну Wx[k-Ax, k+Bx], причем x указывает последовательные натуральные числа от 1 до M, M≥2, и Ax и Bx являются целыми числами; и

сервер выполняет исполнимую инструкцию для осуществления следующих этапов:

когда, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] не удовлетворяет заранее заданному условию Cz, пропуска N минимальных единиц U для поиска точки деления потока данных от текущей точки потенциального деления ki в направлении поиска точки деления потока данных, причем N*U не превышает ‖Bz‖+max_x(‖Ax‖), для получения новой точки потенциального деления, и осуществление этапа (a); и

58. Компьютерно-считываемый носитель данных по п. 57, в котором правило дополнительно предусматривает, что, по меньшей мере, два окна Wie[ki-Ae, ki+Be] и Wif[ki-Af, ki+Bf] удовлетворяют условиям | Ae+Be|=|Af+Bf| и Ce=Cf.

59. Компьютерно-считываемый носитель данных по п. 58, в котором правило дополнительно предусматривает, что Ae и Af являются положительными целыми числами.

60. Компьютерно-считываемый носитель данных по п. 58 или 59, в котором правило дополнительно содержит Ae-1=Af и Be+1=Bf.

61. Компьютерно-считываемый носитель данных по любому из пп. 57-59, в котором:

определение, посредством сервера, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz, в частности, содержит:

62. Компьютерно-считываемый носитель данных по п. 61, в котором определение, посредством сервера с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz, в частности, содержит: определение, посредством сервера с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz.

63. Компьютерно-считываемый носитель данных по любому из пп. 57-59, в котором, когда, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] не удовлетворяет заранее заданному условию Cz, N минимальных единиц U для поиска точки деления потока данных пропускается от текущей точки потенциального деления ki в направлении поиска точки деления потока данных, для получения новой точки потенциального деления, и, согласно правилу, левая граница окна Wic[ki-Ac, ki+Bc], которая определена для новой точки потенциального деления, совпадает с правой границей окна Wiz[ki-Az, ki+Bz], или левая граница окна Wic[ki-Ac, ki+Bc], которая определена для новой точки потенциального деления, попадает в диапазон окна Wiz[ki-Az, ki+Bz], причем окно Wic[ki-Ac, ki+Bc], определенное для новой точки потенциального деления является окном, занимающим первую позицию в последовательности, которая получена согласно направлению поиска точки деления потока данных, из M окон, которые определены для новой точки потенциального деления согласно правилу.

64. Компьютерно-считываемый носитель данных по п. 61, в котором определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне Wiz[ki-Az, ki+Bz] заранее заданному условию Cz, в частности, содержит:

Изобретение относится к содействию связи от устройства к устройству. Технический результат – устранение громоздкости назначения маяковых сигналов в сети и передача информации о их назначении в устройства ввиду увеличения возможного количества устройств.

Узел доступа, сетевой элемент управления мобильностью и способ обработки пейджингового сообщения // 2639894

Изобретение относится к области технологий сетевой связи и раскрывает узел доступа, сетевой элемент управления мобильностью и способ обработки пейджингового сообщения, согласно которому после приема сетевым элементом управления мобильностью уведомляющего сообщения о функциональных возможностях узла, переданного узлом доступа, причем уведомляющее сообщение о функциональных возможностях узла используется для обозначения, что узел доступа поддерживает использование Протокола пользовательских датаграмм, отличающегося от Протокола передачи и управления потоком, для приема пейджингового сообщения с сетевого элемента управления мобильностью, сетевой элемент управления мобильностью выбирает и использует Протокол пользовательских датаграмм для передачи первого пейджингового сообщения на узел доступа, так чтобы пользовательское требование надежной передачи пейджингового сообщения могло выполняться, степень потребления ресурсов сетевого элемента управления мобильностью могло быть снижено и удавалось бы избежать возникновения перегрузки на сетевом элементе управления мобильностью.

Способ, устройство и система поддержания активности сессии доступа по стандарту 802.1х // 2639696

Изобретение относится к области связи. Технический результат изобретения заключается в улучшении использования сетевого ресурса, снижении проблемы защиты, вызванной перегруженностью узла проверки подлинности, и снижении риска возникновения ошибок в начислении абонементской платы за время подключения.

Способ и система обновления выделения диалогов в агрегировании линий связи // 2639692

Изобретение относится к агрегированию линий связи. Технический результат изобретения заключается в увеличении пропускной способности.

Способ управления таблицей посредников в беспроводной сети, использующей устройства-посредники // 2639688

Изобретение относится к сетям связи. Технический результат заключается в добавлении элементов протокола, которые могут использоваться для улучшения эвристики очистки таблицы на посредниках, что приводит к повышению быстродействия и эффективности сети связи.

Кодер и декодер // 2639677

Группа изобретений относится к области кодирования. Техническим результатом является повышение эффективности сжатия данных.

Мобильное устройство и способ // 2639650

Изобретение относится к области беспроводной связи. Технический результат изобретения заключается в гибком управлении отправкой сигнала и изменении содержимого этого сигнала, используя аутентификацию.

Устройство для оценки качества передачи дискретных сигналов // 1525923

Изобретение относится к электросвязи. .

Устройство для контроля цифровых узлов // 1518906

Изобретение относится к технике связи. .

Устройство для коммутации сигналов сообщений // 1506573

Изобретение относится к электросвязи. .

Система для адресного контроля нейронов мозга живых свободноподвижных животных на основе размыкаемого волоконно-оптического зонда с многоканальными волокнами // 2639790

Группа изобретений относится к медицине, биологии и включает систему и способ ее использования для адресного контроля нейронов мозга живых, свободноподвижных животных на основе размыкаемого волоконно-оптического зонда с многоканальными волокнами.

Способ и устройство для сворачивания изображений // 2639682

Изобретение относится к области обработки изображений. Технический результат – обеспечение сворачивания изображений для создания серий изображений, в соответствии с различными требованиями к сходству изображений различных пользователей.

Способ и система аутентификации // 2639674

Изобретение относится к компьютерной безопасности. Технический результат заключается в повышении безопасности во время аутентификации пользователя.

Интерактивный сравнительный информационный дисплей // 2639673

Изобретение относится к информационным дисплеям. Технический результат состоит в визуальном отображении на экране контента с применением тематических ассоциаций для эффективного сравнения различного информационного контента на одном дисплее.

Технология удаления и замены адаптера виртуальной модели для каскадных сетей // 2639670

Изобретение относится к калибровке инструментов, используемых для измерения поведения сигналов. Технический результат – получение характеристики сети и выполнение калибровки сети с неподдерживаемыми типами разъема, которые не отслеживают в соответствии с известными стандартами.

Устройство отображения, головной дисплей, система отображения и способ управления для устройства отображения // 2639654

Группа изобретений относится к технологиям, раскрывающим устройства отображения пропускающего типа. Техническим результатом является обеспечение восприятия виртуального объекта в правильном местоположении относительно реального объекта за счет возможности регулировать угол конвергенции пользователя так, чтобы он соответствовал обнаруженному расстоянию между пользователем и реальным объектом.

Способ и устройство распознавания отпечатков пальцев // 2639648

Изобретение относится к области экранов дисплеев на жидких кристаллах, в частности к способу и устройству распознавания отпечатков пальцев. Технический результат заключается в сокращении расхода ресурсов, вызванном тем, что все датчики распознавания отпечатков пальцев, расположенные на всей поверхности экрана жидкокристаллического дисплея, имеют возможность распознавать отпечатки пальцев, что сберегает используемые ресурсы.

Способ и устройство для установки параметра съемки // 2639252

Группа изобретений относится к области компьютерной техники. Технический результат – обеспечение возможности точного выбора значения цветовой температуры.

Устройство генерирования изображения и способ // 2638776

Изобретение относится к средствам генерирования изображения. Технический результат заключается в уменьшении запаздывания от генерирования до отображения панорамного изображения.

Процессор медиаконтента и способ отображения данных в информационно-развлекательной системе // 2638768

Изобретение относится к средствам информационно-развлекательных систем для транспортных средств. Технический результат заключается в расширении арсенала технических средств.

Информационная система автоматизированной подготовки статистической отчетности // 2639943

Изобретение относится к системе автоматизированной подготовки статистической отчетности. Техническим результатом является оптимизация процессов сбора, анализа, агрегирования статистической информации, подготовки и согласования регламентированных отчетов.