Согласованные с приложениями снимки общего тома

Изобретение относится к компьютерным системам. Технический результат заключается в обеспечении возможности инициации снимка тома на одном узле, что заставляет все приложения в кластере, которые используют тот том, сохранить данные в томе перед созданием снимка. Технический результат достигается за счет уведомления о команде замораживания в службу кластеров на каждом из упомянутого, по меньшей мере, одного другого узла, причем данное уведомление предписывает службе кластеров на каждом из этого, по меньшей мере, одного другого узла инициировать процесс резервного копирования общего тома. 2 н. и 13 з.п. ф-лы, 6 ил.

 

Уровень техники

1. Уровень техники и соответствующая область техники

[0001] Компьютерные системы и связанная с ними технология оказывают влияние на многие аспекты общества. Несомненно, способность компьютерной системы обрабатывать информацию преобразовала способ, которым мы живем и работаем. Компьютерные системы сегодня обычно выполняют массу задач (например, обработку текстов, планирование, учет и т.д.), которые до появления компьютерной системы выполнялись вручную. В последнее время компьютерные системы соединены друг с другом и с другими электронными устройствами, чтобы образовать проводные и беспроводные компьютерные сети, по которым компьютерные системы и другие электронные устройства могут передавать электронные данные. Соответственно, выполнение многих вычислительных задач распределяется по некоторому количеству разных компьютерных систем и/или некоторому количеству разных вычислительных сред.

[0002] Размещение приложений в распределенной среде становится все более распространенным. Например, приложения часто размещаются на узле (например, сервере) в кластере узлов. В кластере разные приложения могут размещаться на разных узлах, но могут иметь доступ к одному или нескольким общим томам хранилища. Другими словами, к одному хранилищу могут обращаться много разных приложений, разбросанных по различным узлам кластера.

[0003] Фиг. 1 изображает этот тип среды. Как показано, кластер 100 включает в себя узлы 101-103. В этом типовом кластере каждый узел включает в себя координатора, приложение резервного копирования, поставщика хранилища и два приложения. Однако узел может включать в себя любое количество приложений, а также несколько поставщиков хранилища. В этом примере каждое приложение использует том 104a в хранилище 104 для хранения данных.

[0004] Изображенные на фиг. 1 компоненты представляют систему резервного копирования известного уровня техники, которая использовалась для выполнения резервных копирований в кластере, а также в некластерных средах. Служба теневого копирования томов (VSS) от компании Майкрософт является примером координатора, который может использоваться в этом типе системы резервного копирования. В этой системе резервного копирования координаторы 110-130 используются для координации резервных копирований общих томов, например тома 104a. Это резервное копирование может содержать образ "на момент времени" (то есть снимок) тома 104a. Хотя создание снимка будет описываться как происходящее на узле 101, аналогичные этапы могут выполняться на каждом узле для создания снимка тома 104a на узле. Другими словами, каждый координатор в узлах 101-103 функционирует аналогичным образом для создания снимков тома.

[0005] Чтобы создать снимок на узле 101, приложение 114 резервного копирования отправляет координатору 110 запрос на создание снимка. В этом запросе приложение 114 резервного копирования задает поставщика хранилища (в этом примере - поставщика 113 хранилища), которого следует использовать для создания снимка. Координатор 110 взаимодействует с модулем записи каждого приложения на узле 101 (модули 111a и 112a записи), отдавая им команду на подготовку к снимку. Это взаимодействие называется командой замораживания.

[0006] Такая подготовка включает в себя сброс кэша в памяти на диск и приостановку (то есть замораживание) операций записи от приложения, пока создается снимок. Таким образом, каждый модуль записи гарантирует, что все данные приложения сохраняются в томе 104a до того, как создается снимок. Как только каждый модуль записи вернулся из команды замораживания, координатор 110 дает тому 104a команду на подготовку к снимку, например, путем сохранения метаданных файловой системы в томе 104a и приостановки операций записи в том 104a. Это взаимодействие называется командой сброса и приостановки.

[0007] Как только том 104a вернулся из команды сброса и приостановки, координатор 110 дает поставщику 113 хранилища команду на создание снимка тома 104a. Это называется командой фиксации. Хотя показан один поставщик хранилища, узел может применять несколько поставщиков хранилища, например поставщика аппаратного хранилища для сопряжения непосредственно с аппаратным контроллером для хранилища 104 или поставщика программного хранилища для сопряжения с операционной системой (например, файловой системой). Для целей настоящего изобретения не важен тип поставщика хранилища, используемого для создания снимка.

[0008] Поставщик 113 хранилища создает снимок тома 104a. Этот снимок является копией содержимого тома 104a, как оно существовало в один момент времени (например, момент времени после того, как каждый модуль записи сохранил данные каждого приложения на узле 101 в томе 104a, и том 104a сбросил свой кэш). Как только создается этот снимок и поставщик 113 хранилища возвращается из команды фиксации, координатор 110 дает тому 104a команду, что он может возобновить обработку (называется командой освобождения), а затем дает команду каждому модулю записи, что приложения могут возобновить запись в том 104a (называется командой разморозки). Как видно, этот процесс резервного копирования позволяет приложениям продолжать исполнение во время создания снимка. Приложениям только мешают записывать в том 104a между приемом команд замораживания и разморозки. Однако приложения могут продолжать считывать том 104a в течение этого времени.

[0009] Этот процесс резервного копирования создает снимок тома 104a на момент времени, который обладает согласованностью файловой системы, потому что команда сброса и приостановки заставляет сохранить все данные файловой системы перед тем, как создается снимок. Снимок на момент времени также обладает согласованностью по приложениям с каждым приложением, работающим на узле, где был инициирован снимок, который в этом примере является узлом 101, потому что команда замораживания заставляет каждое приложение сохранить свои данные в томе 104a.

[0010] Однако, когда этот процесс резервного копирования из известного уровня техники используется в кластерной среде, снимок тома 104a на момент времени не обладает согласованностью по приложениям с каждым приложением, работающим на узлах 102 или 103. Причина в том, что координатор 110 не взаимодействует с другими узлами в кластере (например, узлами 102 и 103). Точнее говоря, эта система резервного копирования из известного уровня техники не конфигурируется для разрешения координатору на одном узле взаимодействовать с координатором или модулями записи на другом узле. Соответственно, приложения 121, 122, 131 и 132 будут содержать кэш в памяти (или другие несохраненные данные), которые не сохранились в томе 104a перед созданием снимка на узле 101, и поэтому эти несохраненные данные не будут включены в снимок.

[0011] Из-за этого в этой системе резервного копирования из известного уровня техники пользователю приходится инициировать снимок на каждом из узлов в кластере для создания снимка на момент времени для каждого приложения в кластере. Например, пользователь использовал бы приложения 124 и 134 резервного копирования на каждом из узлов 102 и 103, чтобы взаимодействовать с координаторами 120 и 130 соответственно для создания отдельных снимков тома 104a на момент времени, следуя такому же описанному выше процессу. Это приводит к отдельному снимку, создаваемому на каждом узле в кластере.

КРАТКОЕ ИЗЛОЖЕНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

[0012] Настоящее изобретение распространяется на способы, системы и компьютерные программные продукты для создания снимка общего тома, который согласован с приложениями на различных узлах. Изобретение дает возможность инициировать снимок тома на одном узле, что заставляет все приложения в кластере, которые используют тот том, сохранить данные в томе перед созданием снимка. Соответственно, снимок является согласованным с приложениями для всех приложений в кластере, которые используют тот том. Изобретение также дает приложениям на других узлах возможность выполнять постобработку снимка в отношении снимка, созданного на узле.

[0013] В одном варианте осуществления в координаторе резервного копирования на первом узле кластера принимается запрос. Запрос принимается от приложения резервного копирования и запрашивает создание снимка общего тома, используемого по меньшей мере одним приложением на первом узле и по меньшей мере на одном другом узле в кластере. Каждое из по меньшей мере одного приложения на первом и по меньшей мере на одном другом узле включает в себя модуль записи. Каждый из первого и по меньшей мере одного другого узла также включает в себя кластерный модуль записи.

[0014] Координатор резервного копирования отправляет команду замораживания в кластерный модуль записи и каждый модуль записи на первом узле. Команда замораживания предписывает кластерному модулю записи и каждому модулю записи на первом узле сохранить данные приложения в общем томе. Кластерный модуль записи на первом узле затем отправляет уведомление о команде замораживания в службу кластеров на первом узле. Служба кластеров на первом узле отправляет уведомление о команде замораживания службе кластеров на каждом из по меньшей мере одного другого узла. Уведомление дает службе кластеров на каждом из по меньшей мере одного другого узла команду инициировать процесс резервного копирования общего тома на каждом из по меньшей мере одного другого узла.

[0015] Кластерный модуль записи на первом узле ожидает уведомление от службы кластеров на каждом из по меньшей мере одного другого узла перед возвратом из команды замораживания. Это уведомление указывает, что каждый модуль записи на соответствующем узле сохранил соответствующие данные приложения в общем томе. После приема уведомления от службы кластеров на каждом из по меньшей мере одного другого узла кластерный модуль записи на первом узле возвращается из команды замораживания.

[0016] Как только кластерный модуль записи на первом узле возвращается из команды замораживания, координатор резервного копирования отправляет запрос поставщику хранилища на первом узле. Запрос предписывает поставщику хранилища создать снимок общего тома. Снимок обладает согласованностью по приложениям с каждым приложением на первом узле и по меньшей мере на одном другом узле, которое использует общий том.

[0017] В другом варианте осуществления уведомление принимается в службе кластеров на первом узле. Уведомление указывает, что процесс резервного копирования общего тома инициирован на втором узле в кластере. Общий том используется по меньшей мере одним приложением на каждом из первого и второго узлов. Уведомление принимается от службы кластеров на втором узле и указывает, что команда замораживания была принята кластерным модулем записи на втором узле.

[0018] Служба кластеров на первом узле отправляет запрос координатору резервного копирования на первом узле. Запрос запрашивает создание снимка общего тома. Координатор резервного копирования отправляет команду замораживания кластерному модулю записи и модулю записи по меньшей мере одного приложения на первом узле. Команда замораживания предписывает кластерному модулю записи и по меньшей мере одному модулю записи сохранить данные приложения в общем томе.

[0019] После того как кластерный модуль записи и по меньшей мере один модуль записи возвращаются из команды замораживания, координатор резервного копирования отправляет команду фиксации поставщику-помощнику на первом узле. Поставщик-помощник на первом узле отправляет уведомление о команде фиксации в службу кластеров на первом узле. Поставщик-помощник блокируется по команде фиксации. Служба кластеров на первом узле затем отправляет кластерному модулю записи на втором узле уведомление, что команда фиксации принята, соответственно указывая, что каждый модуль записи на первом узле сохранил данные соответствующего приложения в общем томе.

[0020] Данное краткое изложение сущности изобретения предоставляется, чтобы представить подборку концепций в упрощенном виде, которые дополнительно описываются ниже в Подробном описании. Это краткое изложение сущности изобретения не предназначено ни для определения ключевых признаков или существенных признаков заявленного изобретения, ни для использования в качестве содействия в определении объема заявленного изобретения.

[0021] Дополнительные признаки и преимущества изобретения будут изложены в последующем описании и частично будут очевидны из этого описания, либо могут быть изучены при применении изобретения на практике. Признаки и преимущества изобретения могут быть реализованы и получены посредством инструментов и сочетаний, подробно указанных в прилагаемой формуле изобретения. Эти и другие признаки настоящего изобретения станут более очевидными из нижеследующего описания и прилагаемой формулы изобретения, либо могут быть изучены при применении изобретения на практике, как изложено далее.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0022] Чтобы описать способ, которым могут быть получены вышеупомянутые и другие преимущества и признаки изобретения, более конкретное описание изобретения, кратко описанного выше, будет представлено посредством ссылки на его конкретные варианты осуществления, которые иллюстрируются на прилагаемых чертежах. Предполагая, что эти чертежи изображают только типичные варианты осуществления изобретения и поэтому не должны рассматриваться как ограничивающие его объем, изобретение будет описываться и объясняться с помощью дополнительной специфики и подробностей посредством использования прилагаемых чертежей, на которых:

[0023] Фиг. 1 иллюстрирует типовой кластер узлов, имеющий компоненты системы резервного копирования из известного уровня техники;

[0024] Фиг. 2 иллюстрирует типовой кластер узлов, имеющий компоненты системы резервного копирования в соответствии с вариантами осуществления настоящего изобретения;

[0025] Фиг. 3 иллюстрирует типовой кластер узлов, показывающий последовательность взаимодействий во время процесса резервного копирования;

[0026] Фиг. 4 иллюстрирует типовой кластер узлов, показывающий другую последовательность взаимодействий во время процесса резервного копирования;

[0027] Фиг. 5 иллюстрирует логическую блок-схему примерного способа для инициирования создания снимка общего тома, используемого приложениями на нескольких узлах в кластере; и

[0028] Фиг. 6 иллюстрирует логическую блок-схему примерного способа для ответа на уведомление, что создание снимка общего тома инициировано на другом узле кластера.

ПОДРОБНОЕ ОПИСАНИЕ

[0029] Настоящее изобретение распространяется на способы, системы и компьютерные программные продукты для создания снимка общего тома, который согласован с приложениями на различных узлах. Изобретение дает возможность инициировать снимок тома на одном узле, что заставляет все приложения в кластере, которые используют тот том, сохранить данные в томе перед созданием снимка. Соответственно, снимок является согласованным с приложениями для всех приложений в кластере, которые используют тот том. Изобретение также дает приложениям на других узлах возможность выполнять постобработку снимка над снимком, созданным на узле.

[0030] В одном варианте осуществления в координаторе резервного копирования на первом узле кластера принимается запрос. Запрос принимается от приложения резервного копирования и запрашивает создание снимка общего тома, используемого по меньшей мере одним приложением на первом узле и по меньшей мере на одном другом узле в кластере. Каждое из по меньшей мере одного приложения на первом и по меньшей мере на одном другом узле включает в себя модуль записи. Каждый из первого и по меньшей мере одного другого узла также включает в себя кластерный модуль записи.

[0031] Координатор резервного копирования отправляет команду замораживания в кластерный модуль записи и каждый модуль записи на первом узле. Команда замораживания предписывает кластерному модулю записи и каждому модулю записи на первом узле сохранить данные приложения в общем томе. Кластерный модуль записи на первом узле затем отправляет уведомление о команде замораживания в службу кластеров на первом узле. Служба кластеров на первом узле отправляет уведомление о команде замораживания службе кластеров на каждом из по меньшей мере одного другого узла. Уведомление дает службе кластеров на каждом из по меньшей мере одного другого узла команду инициировать процесс резервного копирования общего тома на каждом из по меньшей мере одного другого узла.

[0032] Кластерный модуль записи на первом узле ожидает уведомление от службы кластеров на каждом из по меньшей мере одного другого узла перед возвратом из команды замораживания. Это уведомление указывает, что каждый модуль записи на соответствующем узле сохранил соответствующие данные приложения в общем томе. После приема уведомления от службы кластеров на каждом из по меньшей мере одного другого узла кластерный модуль записи на первом узле возвращается из команды замораживания.

[0033] Как только кластерный модуль записи на первом узле возвращается из команды замораживания, координатор резервного копирования отправляет запрос поставщику хранилища на первом узле. Запрос заставляет поставщика хранилища создать снимок общего тома. Снимок обладает согласованностью по приложениям с каждым приложением на первом узле и по меньшей мере на одном другом узле, который использует общий том.

[0034] В другом варианте осуществления уведомление принимается в службе кластеров на первом узле. Уведомление указывает, что процесс резервного копирования общего тома инициирован на втором узле в кластере. Общий том используется по меньшей мере одним приложением на каждом из первого и второго узлов. Уведомление принимается от службы кластеров на втором узле и указывает, что команда замораживания была принята кластерным модулем записи на втором узле.

[0035] Служба кластеров на первом узле отправляет запрос координатору резервного копирования на первом узле. Запрос запрашивает создание снимка общего тома. Координатор резервного копирования отправляет команду замораживания кластерному модулю записи и модулю записи по меньшей мере одного приложения на первом узле. Команда замораживания предписывает кластерному модулю записи и по меньшей мере одному модулю записи сохранить данные приложения в общем томе.

[0036] После того как кластерный модуль записи и по меньшей мере один модуль записи возвращаются из команды замораживания, координатор резервного копирования отправляет команду фиксации поставщику-помощнику на первом узле. Поставщик-помощник на первом узле отправляет уведомление о команде фиксации в службу кластеров на первом узле. Поставщик-помощник блокируется по команде фиксации. Служба кластеров на первом узле затем отправляет кластерному модулю записи на втором узле уведомление, что команда фиксации принята, соответственно указывая, что каждый модуль записи на первом узле сохранил данные соответствующего приложения в общем томе.

[0037] Варианты осуществления настоящего изобретения могут содержать или использовать специализированный или универсальный компьютер, включающий в себя аппаратные средства компьютера, например один или несколько процессоров и системную память, что более подробно обсуждается ниже. Варианты осуществления в рамках объема настоящего изобретения также включают в себя физические и другие машиночитаемые носители для переноса или хранения исполняемых компьютером команд и/или структур данных. Такие машиночитаемые носители могут быть любыми доступными носителями, к которым можно обращаться посредством универсальной или специализированной компьютерной системы. Машиночитаемые носители, которые хранят исполняемые компьютером команды, являются компьютерными носителями информации (устройствами). Машиночитаемые носители, которые переносят исполняемые компьютером команды, являются передающими средами. Таким образом, в качестве примера, а не ограничения, варианты осуществления изобретения могут содержать по меньшей мере два совершенно разных вида машиночитаемых носителей: компьютерные носители информации (устройства) и передающие среды.

[0038] Компьютерные носители информации (устройства) включают в себя RAM, ROM, EEPROM, CD-ROM, твердотельные накопители ("SSD") (например, на основе RAM), флэш-память, запоминающее устройство на фазовых переходах ("PCM"), другие типы запоминающего устройства, другой накопитель на оптических дисках, накопитель на магнитных дисках или другие магнитные запоминающие устройства, или любой другой носитель, который может использоваться для хранения нужного средства программного кода в виде исполняемых компьютером команд или структур данных и к которому можно обращаться с помощью универсального или специализированного компьютера.

[0039] "Сеть" задается в виде одного или нескольких каналов передачи данных, которые дают возможность переноса электронных данных между компьютерными системами и/или модулями и/или другими электронными устройствами. Когда информация предается или предоставляется компьютеру по сети или другому соединению связи (одному из проводного, беспроводного или сочетания проводного или беспроводного), компьютер по существу рассматривает соединение как передающую среду. Передающие среды могут включать в себя сеть и/или каналы передачи данных, которые могут использоваться для переноса нужного средства программного кода в виде исполняемых компьютером команд или структур данных и к которым можно обращаться с помощью универсального или специализированного компьютера. Сочетания вышеперечисленного также следует включить в область машиночитаемых носителей.

[0040] Кроме того, после достижения различных компонентов компьютерной системы средство программного кода в виде исполняемых компьютером команд или структур данных может быть автоматически перенесено из передающих сред на компьютерные носители информации (устройства) (или наоборот). Например, исполняемые компьютером команды или структуры данных, принятые по сети или каналу передачи данных, могут быть буферизованы в RAM в сетевом интерфейсном модуле (например, "NIC"), а затем в итоге переданы в RAM компьютерной системы и/или на менее энергозависимые компьютерные носители информации (устройства) в компьютерной системе. Таким образом, следует понимать, что компьютерные носители информации (устройства) могут включаться в компоненты компьютерной системы, которые также (или даже в основном) используют передающие среды.

[0041] Исполняемые компьютером команды содержат, например, команды и данные, которые при исполнении в процессоре заставляют универсальный компьютер, специализированный компьютер или специализированное устройство обработки выполнять определенную функцию или группу функций. Исполняемые компьютером команды могут быть, например, двоичным кодом, командами промежуточного формата, например языком ассемблера, или даже исходным кодом. Несмотря на то, что предмет изобретения описан на языке, характерном для структурных признаков и/или методологических действий, необходимо понимать, что предмет изобретения, определенный в прилагаемой формуле, не обязательно ограничивается описанными выше конкретными признаками или действиями. Скорее, описанные признаки и действия раскрываются в качестве примерных видов реализации формулы изобретения.

[0042] Специалисты в данной области техники примут во внимание, что изобретение может быть применено на практике в сетевых вычислительных средах со многими типами конфигураций компьютерных систем, включая персональные компьютеры, настольные компьютеры, переносные компьютеры, процессоры сообщений, карманные устройства, многопроцессорные системы, микропроцессорную или программируемую бытовую электронику, сетевые ПК, мини-компьютеры, мэйнфреймы, мобильные телефоны, PDA, планшеты, пейджеры, маршрутизаторы, коммутаторы и т.п. Изобретение также может быть применено на практике в средах распределенной системы, где задачи выполняют локальные и удаленные компьютерные системы, которые связаны через сеть (либо с помощью проводных каналов передачи данных, беспроводных каналов передачи данных, либо сочетания проводных и беспроводных каналов передачи данных). В среде распределенной системы программные модули могут располагаться как на локальных, так и на удаленных запоминающих устройствах.

[0043] Фиг. 2 иллюстрирует кластер 200, который включает в себя такие же узлы, как и показанный на фиг. 1 кластер 100. Каждый узел в кластере 200 включает в себя такие же компоненты за исключением того, что приложения 124 и 134 резервного копирования и поставщики 123 и 133 хранилища для ясности не показаны (хотя они могли бы существовать на этих узлах, например, если было бы нужно инициировать резервные копирования из узлов 102 и 103). Кроме того, каждый узел показан как включающий в себя службу кластеров и кластерный модуль записи. Эти службы кластеров и кластерные модули записи дают возможность создать снимок тома 104a, который является согласованным с приложениями для всех приложений в кластере 200, которые используют том 104a. Службы кластеров и кластерные модули записи конфигурируются для исполнения в системе резервного копирования из известного уровня техники, описанной на фиг. 1, чтобы дать системе резервного копирования из известного уровня техники возможность создавать внутрикластерные согласованные с приложениями снимки.

[0044] Как описано по отношению к фиг. 1, приложение 114 резервного копирования может инициировать создание снимка тома 104a путем взаимодействия с координатором 110. Это взаимодействие включает в себя задание того, что поставщика 113 хранилища следует использовать для создания снимка. В ответ на запрос от приложения 114 резервного копирования координатор 110 отправляет команду замораживания в модули 111a и 112a записи, а также в кластерный модуль 201 записи (потому что кластерный модуль 201 записи, как и модули 111a и 112a записи, регистрируется у координатора 110 как модуль записи).

[0045] Модули 111a и 112a записи отвечают на команду замораживания, как описано выше по отношению к фиг. 1. Однако кластерный модуль 201 записи в ответ на команду замораживания взаимодействует со службой 204 кластеров на узле 101, которая затем взаимодействует со службами кластеров на других узлах кластера. Соответственно, уведомление о возникновении команды замораживания на узле 101 транслируется службой 204 кластеров к службам 205 и 206 кластеров.

[0046] После уведомления службы 204 кластеров о команде замораживания кластерный модуль 201 записи ожидает (то есть не возвращается из команды замораживания), пока не примет ответ от каждой из служб 205 и 206 кластеров. С помощью ожидания ответа на команду замораживания кластерный модуль 201 записи препятствует возобновлению процесса резервного копирования координатором 110.

[0047] Когда служба кластеров принимает уведомление о возникновении команды замораживания на другом узле в кластере, служба кластеров действует в качестве приложения резервного копирования, чтобы инициировать создание снимка на соответствующем узле. Например, когда служба 205 кластеров принимает уведомление от службы 204 кластеров, служба 205 кластеров будет взаимодействовать с координатором 120, чтобы инициировать создание снимка на узле 102. Служба 205 кластеров задает, что поставщика-помощника 223 следует использовать для создания снимка на узле 102. Аналогичным образом, когда служба 206 кластеров принимает уведомление от службы 204 кластеров, служба 206 кластеров будет взаимодействовать с координатором 130, чтобы инициировать создание снимка на узле 103. Служба 206 кластеров задает, что поставщика-помощника 233 следует использовать для создания снимка на узле 103.

[0048] В результате координаторы 120 и 130 начинают создание снимка на узлах 102 и 103 соответственно путем отправки команд замораживания каждому модулю записи на узле. Например, координатор 120 отправляет команду замораживания модулям 121a и 122a записи, а также кластерному модулю 202 записи, тогда как координатор 130 отправляет команду замораживания модулям 131a и 132a записи, а также кластерному модулю 203 записи. Как описано по отношению к фиг. 1, команда замораживания заставляет каждый модуль записи подготовиться к созданию снимка, например, путем сохранения его данных в памяти. Кластерные модули 202 и 203 записи просто возвращаются из команды замораживания.

[0049] После того, как модули записи на узлах 102 и 103 возвращаются из команды замораживания, координаторы 120 и 130 отправляют команду сброса и приостановки в том 104a. Для данного изобретения не существенно, как обрабатываются эти команды сброса и приостановки. Для целей данного изобретения подразумевается, что эти команды сброса и приостановки от координаторов 120 и 130 не направляются в конечном счете в том 104a (потому что команда сброса и приостановки будет отправлена в том 104a координатором 110, как описано ниже).

[0050] Далее координаторы 120 и 130 отправляют команду фиксации поставщикам-помощникам 223 и 233 соответственно (потому что поставщики-помощники 223 и 233 были заданы для инициирования снимка в соответствующих запросах). Поставщики-помощники 223 и 233 отвечают на команду фиксации блокированием. Другими словами, поставщики-помощники 223 и 233 сначала не отвечают координаторам 120 и 130. Более того, поставщики-помощники 223 и 233 не создают снимок тома 104a (который был бы сделан, если бы поставщик хранилища отправил команду фиксации).

[0051] Вместо этого поставщики-помощники 223 и 233 уведомляют соответственно службы 205 и 206 кластеров о команде фиксации. В ответ каждая из служб 205 и 206 кластеров уведомляет кластерный модуль 201 записи. Эти уведомления информируют кластерный модуль 201 записи, что команда замораживания была успешно завершена на каждом из узлов 102 и 103, соответственно указывая, что приложения на узлах 102 и 103 успешно сохранили их данные в томе 104a.

[0052] Поскольку поставщики-помощники 223 и 233 блокируются по команде фиксации, координаторы 120 и 130 не будут отправлять команду освобождения или разморозки в том 104a или в соответствующие модули записи, соответственно препятствуя изменению тома 104a модулями записи до тех пор, пока на узле 101 не создан снимок.

[0053] Как только кластерный модуль 201 записи принял уведомления от кластерных модулей 202 и 203 записи, кластерный модуль 201 записи возвращается из команды замораживания (то есть в ответ на команду замораживания информирует координатор 110, что он завершил обработку). Координатор 110 затем возобновляет команду сброса и приостановки и команду фиксации, как описано выше, что приводит к созданию поставщиком 113 хранилища снимка тома 104a. Этот снимок является согласованным с приложениями для всех приложений в кластере, которые используют том 104a, потому что каждое приложение сохранило свои данные в томе 104a перед созданием снимка.

[0054] Фиг. 3 изображает другой кластер 300. Кластер 300 является упрощенным кластером (то есть подмножеством компонентов, показанных в кластере 200), к которому будут обращаться для лучшего описания процесса резервного копирования, применяемого настоящим изобретением, чтобы создать внутрикластерные согласованные с приложениями снимки. Нижеследующие пронумерованные этапы соответствуют пронумерованным стрелкам на фиг. 3.

(1) Приложение 314 резервного копирования запрашивает, чтобы координатор 310 инициировал создание снимка тома 304a с использованием поставщика 313 хранилища.

(2) Координатор 310 отправляет команду замораживания в модуль 311a записи и кластерный модуль 351 записи. Модуль 311a записи обрабатывает команду замораживания и возвращается в некоторой точке.

(3) Кластерный модуль 351 записи уведомляет службу 361 кластеров о команде замораживания на узле 301 и блокируется.

(4) Служба 361 кластеров уведомляет службу 362 кластеров о команде замораживания.

(5) Служба 362 кластеров запрашивает, чтобы координатор 320 инициировал создание снимка тома 304a с использованием поставщика-помощника 323.

(6) Координатор 320 отправляет команду замораживания в модуль 321a записи и кластерный модуль 352 записи. Модуль 321a записи обрабатывает команду замораживания и возвращается в некоторой точке. Кластерный модуль 352 записи просто возвращается из команды замораживания.

(7) Координатор 320 отправляет команду сброса и приостановки в том 304a. Команда сброса и приостановки обрабатывается без отправки в том 304a.

(8) Координатор 320 отправляет команду фиксации поставщику-помощнику 323.

(9) Поставщик-помощник 323 отправляет уведомление о команде фиксации в службу 362 кластеров и блокируется.

(10) Служба 362 кластеров уведомляет кластерный модуль 351 записи о команде фиксации.

(11) Кластерный модуль 351 записи возвращается из команды замораживания.

(12) Координатор 310 отправляет команду сброса и приостановки в том 304a. Том 304a обрабатывает команду сброса и приостановки и возвращается.

(13) Координатор 310 отправляет команду фиксации поставщику 313 хранилища.

(14) Поставщик 313 хранилища создает снимок тома 304a.

[0055] Возвращаясь снова к фиг. 2, после того, как создан снимок тома 104a, выполняются различные дополнительные этапы для завершения процесса резервного копирования. После того как создается снимок, координатор 110 отправляет команду постобработки снимка по меньшей мере некоторым из модулей записи (например, гипервизору модуля записи и кластерному модулю записи), чтобы позволить модулям записи выполнить некоторую минимальную обработку над созданным снимком перед тем, как снимок оформится окончательно (например, будет записан на ленту). Эта минимальная обработка, как правило, ограничивается изменениями в собственных данных приложения (например, откат частично зафиксированной транзакции).

[0056] Когда кластерный модуль 201 записи принимает команду постобработки снимка, кластерный модуль 201 записи уведомляет службу 204 кластеров, которая затем отправляет уведомление о команде постобработки снимка в службы 205 и 206 кластеров. Кластерный модуль 201 записи перед возвратом из команды постобработки снимка ожидает, пока не примется ответ от каждой из служб 205 и 206 кластеров. В этом смысле кластерный модуль 201 записи обрабатывает команду постобработки снимка почти таким же способом, как он обрабатывает команду замораживания (то есть путем блокирования).

[0057] Причина для уведомления других узлов о команде постобработки снимка состоит в разрешении модулям записи на других узлах выполнять над снимком постобработку снимка. Поскольку фактический снимок располагается на узле 101, на каждом из узлов 102 и 103 создается виртуальный снимок. Принадлежащая тому же заявителю заявка на патент США №12/971981, поданная 17 декабря 2010 г., озаглавленная "BACKUP AND RESTORE OF DATA FROM ANY CLUSTER NODE", описывает то, как виртуальные снимки используются для выполнения постобработки снимка.

[0058] После приема уведомления о команде постобработки снимка службы 205 и 206 кластеров уведомляют поставщиков-помощников 223 и 233 соответственно. До этого момента поставщики-помощники 223 и 233 блокированы по команде фиксации. Уведомление, что команда постобработки снимка была отправлена на узле 101, указывает поставщикам-помощникам 223 и 233, что они могут вернуться из команды фиксации.

[0059] Как только поставщики-помощники 223 и 233 возвращаются из команды фиксации, каждый из координаторов 120 и 130 отправляет команду постобработки снимка по меньшей мере некоторым из модулей записи на соответствующем узле. Таким образом, каждому модулю записи на каждом узле предоставляется возможность выполнить дополнительную обработку над созданным снимком. Как и в случае команды замораживания, кластерные модули 202 и 203 записи также принимают команду постобработки снимка и просто возвращаются.

[0060] Как только каждый модуль записи на узлах 102 и 103 вернулся из команды постобработки снимка, координаторы 120 и 130 могут завершить процесс резервного копирования (например, путем отправки команды освобождения и разморозки), а затем уведомляют службы 205 и 206 кластеров соответственно, что снимок завершен. Службы 205 и 206 кластеров принимают это уведомление, потому что они действуют в качестве приложений резервного копирования на узлах 102 и 103 (то есть они инициировали процесс резервного копирования). Службы 205 и 206 кластеров затем уведомляют кластерный модуль 201 записи о завершении процесса резервного копирования на узлах 102 и 103.

[0061] Как только кластерный модуль 201 записи принял уведомление о завершении процесса резервного копирования на каждом из других узлов, кластерный модуль 201 записи возвращается из команды постобработки снимка, соответственно позволяя координатору 110 завершить процесс резервного копирования на узле 101 (например, путем отправки команды освобождения и разморозки). Координатор 110 затем уведомляет приложение 114 резервного копирования, что снимок создан успешно. Приложение 114 резервного копирования затем может делать со снимком все, что нужно (например, скопировать его на ленту).

[0062] Фиг. 4, как и фиг. 3, изображает кластер 300, к которому будут обращаться для лучшего описания этапов выполнения постобработки снимка. Нижеследующие пронумерованные этапы могут выполняться после того, как выполнены этапы 1-13 из фиг. 3.

(1) Координатор 310 отправляет команду постобработки снимка в модуль 311a записи и кластерный модуль 351 записи. Модуль 311a записи обрабатывает команду постобработки снимка и возвращается в некоторой точке.

(2) Кластерный модуль 351 записи уведомляет службу 361 кластеров о команде постобработки снимка и блокируется.

(3) Служба 361 кластеров уведомляет службу 362 кластеров о команде постобработки снимка.

(4) Служба 362 кластеров уведомляет поставщика-помощника 323, что команда постобработки снимка была принята кластерным модулем 351 записи на узле 301.

(5) Поставщик-помощник 323 возвращается из команды фиксации.

(6) Координатор 320 отправляет команду постобработки снимка в модуль 321a записи и кластерный модуль 352 записи. Модуль 321a записи обрабатывает команду постобработки снимка и возвращается в некоторой точке. Кластерный модуль 352 записи просто возвращается.

(7) Как только каждый модуль записи вернулся из команды постобработки снимка, координатор 320 уведомляет службу 362 кластеров (которая запросила резервное копирование на узле 302), что снимок завершен.

(8) Служба 362 кластеров уведомляет кластерный модуль 351 записи о завершении процесса резервного копирования на узле 302.

(9) Кластерный модуль 351 записи возвращается из команды постобработки снимка.

(10) Координатор 310 уведомляет приложение 314 резервного копирования, что снимок создан успешно.

[0063] Как видно, с помощью этого процесса использования кластерного модуля записи на одном узле для сообщения возникновения команды замораживания и команды постобработки снимка кластерным модулям записи на других узлах модули записи на этих других узлах способны сохранить данные соответствующих приложений на этих других узлах. Результат состоит в том, что снимок, созданный на одном узле, обладает согласованностью по приложениям не только для приложений на узле, на котором было инициировано резервное копирование, но и для всех приложений на любом узле в кластере, которые используют резервируемый том.

[0064] Кроме того, этот процесс дает возможность использовать систему резервного копирования из известного уровня техники, описанную на фиг. 1, для создания этих внутрикластерных согласованных с приложениями снимков без необходимости изменения основного потока управления у системы резервного копирования. Другими словами, не нужно изменять координаторы на каждом узле, чтобы реализовать изобретение. Кластерные модули записи и поставщики-помощники скрывают от координаторов дополнительные этапы, выполняемые для создания внутрикластерного согласованного с приложениями снимка (то есть для координатора кластерный модуль записи выглядит как модуль записи, а поставщик-помощник выглядит как поставщик хранилища).

[0065] Фиг. 5 иллюстрирует логическую блок-схему примерного способа 500 для инициирования создания снимка общего тома, используемого приложениями на нескольких узлах в кластере. Способ 500 будет описываться по отношению к кластеру 200 из фиг. 2.

[0066] Способ 500 включает в себя действие 501 по приему запроса от приложения резервного копирования в координаторе резервного копирования на первом узле. Запрос запрашивает создание снимка общего тома, используемого по меньшей мере одним приложением на первом узле и по меньшей мере одним приложением по меньшей мере на одном другом узле в кластере. Каждое из по меньшей мере одного приложения на первом узле и по меньшей мере на одном другом узле включает в себя модуль записи. Каждый из первого узла и по меньшей мере одного другого узла также включает в себя службу кластеров и кластерный модуль записи. Например, координатор 110 может принять от приложения 114 резервного копирования запрос, который запрашивает создание снимка тома 104a.

[0067] Способ 500 включает в себя действие 502 по отправке команды замораживания с помощью координатора резервного копирования в кластерный модуль записи и каждый модуль записи на первом узле. Команда замораживания дает кластерному модулю записи и каждому модулю записи на первом узле команду сохранить данные приложения в общем томе. Например, координатор 110 может отправить команду замораживания в модули 111a и 112a записи, а также в кластерный модуль 201 записи.

[0068] Способ 500 включает в себя действие 503 по отправке с помощью кластерного модуля записи на первом узле уведомления о команде замораживания в службу кластеров на первом узле. Например, кластерный модуль 201 записи может уведомить службу 204 кластеров о команде замораживания.

[0069] Способ 500 включает в себя действие 504 по отправке с помощью службы кластеров на первом узле уведомления о команде замораживания в службу кластеров на каждом из по меньшей мере одного другого узла. Уведомление дает службе кластеров на каждом из по меньшей мере одного другого узла команду инициировать процесс резервного копирования общего тома на каждом из по меньшей мере одного другого узла. Например, служба 204 кластеров может отправить уведомление в службы 205 и 206 кластеров.

[0070] Способ 500 включает в себя действие 505 по ожиданию с помощью кластерного модуля записи на первом узле уведомления от службы кластеров на каждом из по меньшей мере одного другого узла перед возвратом из команды замораживания. Уведомление указывает, что каждый модуль записи на соответствующем узле сохранил соответствующие данные приложения в общем томе. Например, кластерный модуль 201 записи может блокироваться по команде замораживания до тех пор, пока служба 205 кластеров и служба 206 кластеров не уведомят кластерный модуль 201 записи, что модули 121a и 122a записи и модули 131a и 132a записи соответственно сохранили их соответствующие данные приложения в томе 104a.

[0071] Способ 500 включает в себя действие 506 по возврату из команды замораживания с помощью кластерного модуля записи на первом узле после приема уведомления от службы кластеров на каждом из по меньшей мере одного другого узла. Например, кластерный модуль 201 записи может вернуться из команды замораживания после приема уведомления от служб 205 и 206 кластеров.

[0072] Способ 500 включает в себя действие 507 по отправке запроса с помощью координатора резервного копирования поставщику хранилища после возврата кластерного модуля записи на первом узле из команды замораживания. Запрос заставляет поставщика хранилища создать снимок общего тома, при этом снимок обладает согласованностью приложений с каждым приложением на первом узле и по меньшей мере одном другом узле, который использует общий том. Например, координатор 110 может запросить, чтобы поставщик 113 хранилища создал снимок тома 104a.

[0073] Фиг. 6 иллюстрирует логическую блок-схему примерного способа 600 для ответа на уведомление, что создание снимка общего тома инициировано на другом узле кластера. Способ 600 будет описываться по отношению к кластеру 200 из фиг. 2.

[0074] Способ 600 включает в себя действие 601 по приему уведомления в службе кластеров на первом узле, что процесс резервного копирования общего тома инициирован на втором узле в кластере. Общий том используется по меньшей мере одним приложением на каждом из первого и второго узлов. Уведомление принимается от службы кластеров на втором узле и указывает, что команда замораживания была принята кластерным модулем записи на втором узле. Например, служба 205 кластеров может принять от службы 204 кластеров уведомление, указывающее, что кластерный модуль 201 записи принял команду замораживания процесса резервного копирования от координатора 110.

[0075] Способ 600 включает в себя действие 602 по отправке запроса с помощью службы кластеров на первом узле координатору резервного копирования на первом узле. Запрос запрашивает создание снимка общего тома. Например, служба 205 кластеров может отправить запрос координатору 120, чтобы запросить создание снимка тома 104a на узле 102.

[0076] Способ 600 включает в себя действие 603 по отправке команды замораживания с помощью координатора резервного копирования в кластерный модуль записи и модуль записи по меньшей мере одного приложения на первом узле. Команда замораживания дает кластерному модулю записи и по меньшей мере одному модулю записи команду сохранить данные приложения в общем томе. Например, координатор 120 может отправить команду замораживания в модули 121a и 122a записи, а также в кластерный модуль 202 записи.

[0077] Способ 600 включает в себя действие 604 по отправке команды фиксации с помощью координатора резервного копирования поставщику-помощнику на первом узле после того, как кластерный модуль записи и по меньшей мере один модуль записи возвращаются из команды замораживания. Например, координатор 120 может отправить команду фиксации поставщику-помощнику 223.

[0078] Способ 600 включает в себя действие 605 по отправке с помощью поставщика-помощника на первом узле уведомления о команде фиксации в службу кластеров на первом узле. Поставщик-помощник блокируется по команде фиксации. Например, поставщик-помощник 223 может уведомить службу 205 кластеров о команде фиксации, а затем блокироваться.

[0079] Способ 600 включает в себя действие 606 по отправке уведомления с помощью службы кластеров на первом узле кластерному модулю записи на втором узле, что команда фиксации принята, соответственно указывая, что каждый модуль записи на первом узле сохранил данные соответствующего приложения в общем томе. Например, служба 205 кластеров может отправить кластерному модулю 201 записи уведомление, указывающее, что модули 121a и 122a записи сохранили их данные приложения в томе 104a.

[0080] Настоящее изобретение может быть реализовано в других конкретных видах без отклонения от его сущности или неотъемлемых характеристик. Описанные варианты осуществления должны рассматриваться во всех отношениях только как пояснительные, а не ограничительные. Следовательно, объем изобретения определяется прилагаемой формулой изобретения, а не предшествующим описанием. Все изменения, которые подпадают под смысл и диапазон эквивалентности формулы изобретения, должны включаться в ее объем.

1. Способ, выполняемый на первом узле кластера, включающем в себя приложение резервного копирования, координатора резервного копирования, по меньшей мере одно приложение, поставщика хранилища, службу кластеров и кластерный модуль записи, и предназначенный для создания снимка общего тома, который обладает согласованностью по приложениям с приложениями на более чем одном узле кластера, которые используют общий том, при этом способ содержит этапы, на которых:

принимают запрос от приложения резервного копирования в координаторе резервного копирования на первом узле, причем запрос запрашивает создание снимка общего тома, используемого по меньшей мере одним приложением на первом узле и по меньшей мере одним приложением на по меньшей мере одном другом узле в кластере, причем каждое из по меньшей мере одного приложения на первом узле и на упомянутом по меньшей мере одном другом узле включает в себя модуль записи, и каждый из первого узла и упомянутого по меньшей мере одного другого узла также включает в себя кластерный модуль записи и службу кластеров;

отправляют с помощью координатора резервного копирования команду замораживания в кластерный модуль записи и каждый модуль записи на первом узле, причем команда замораживания предписывает кластерному модулю записи и каждому модулю записи на первом узле сохранить данные приложения в общем томе;

отправляют с помощью кластерного модуля записи на первом узле уведомление о команде замораживания в службу кластеров на первом узле;

отправляют с помощью службы кластеров на первом узле уведомление о команде замораживания в службу кластеров на каждом из упомянутого по меньшей мере одного другого узла, причем данное уведомление предписывает службе кластеров на каждом из этого по меньшей мере одного другого узла инициировать процесс резервного копирования общего тома на каждом из данного по меньшей мере одного другого узла;

ожидают с помощью кластерного модуля записи на первом узле уведомление от службы кластеров на каждом из упомянутого по меньшей мере одного другого узла перед возвратом из команды замораживания, причем уведомление указывает, что каждый модуль записи на соответствующем узле сохранил соответствующие данные приложения в общем томе;

по приему уведомления от службы кластеров на каждом из упомянутого по меньшей мере одного другого узла возвращаются из команды замораживания с помощью кластерного модуля записи на первом узле; и

после возврата кластерного модуля записи на первом узле из команды замораживания отправляют запрос поставщику хранилища с помощью координатора резервного копирования, причем запрос предписывает поставщику хранилища создать снимок общего тома, причем данный снимок обладает согласованностью по приложениям с каждым приложением на первом узле и упомянутому по меньшей мере одном другом узле, которое использует общий том.

2. Способ по п. 1, дополнительно содержащий этап, на котором:

перед отправкой поставщику хранилища запроса, предписывающего поставщику хранилища создать снимок общего тома, отправляют с помощью координатора резервного копирования команду сброса и приостановки в общий том, тем самым обеспечивая сохранение в общем томе метаданных файловой системы.

3. Способ по п. 1, дополнительно содержащий этапы, на которых:

после того как создан снимок, отправляют с помощью координатора резервного копирования команду постобработки снимка в кластерный модуль записи и по меньшей мере один из модулей записи на первом узле; и

отправляют с помощью кластерного модуля записи на первом узле уведомление о команде постобработки снимка в службу кластеров на первом узле; и

отправляют с помощью службы кластеров на первом узле уведомление о команде постобработки снимка в службу кластеров на каждом из упомянутого по меньшей мере одного другого узла.

4. Способ по п. 3, в котором упомянутый по меньшей мере один из модулей записи на первом узле, которому отправляется команда постобработки снимка, содержит модуль записи приложения-гипервизора.

5. Способ по п. 3, дополнительно содержащий этапы, на которых:

ожидают с помощью кластерного модуля записи на первом узле уведомление от службы кластеров на каждом из упомянутого по меньшей мере одного другого узла, причем данное уведомление указывает, что процесс резервного копирования завершен на каждом из упомянутого по меньшей мере одного другого узла; и

принимают с помощью кластерного модуля записи на первом узле уведомление, что процесс резервного копирования завершен, от службы кластеров на каждом из упомянутого по меньшей мере одного другого узла.

6. Способ по п. 5, дополнительно содержащий этап, на котором:

после приема от службы кластеров на каждом из упомянутого по меньшей мере одного другого узла уведомления, что процесс резервного копирования завершен, возвращаются из команды постобработки снимка с помощью кластерного модуля записи на первом узле.

7. Способ по п. 6, дополнительно содержащий этап, на котором:

после возврата кластерного модуля записи и упомянутого по меньшей мере одного модуля записи на первом узле из команды постобработки снимка уведомляют приложение резервного копирования с помощью координатора резервного копирования, что снимок успешно завершен.

8. Способ, выполняемый на узле кластера, включающем в себя координатора резервного копирования, по меньшей мере одно приложение, поставщика-помощника, службу кластеров и кластерный модуль записи, и предназначенный для ответа на уведомление, что процесс резервного копирования общего тома инициирован на другом узле кластера, при этом способ содержит этапы, на которых:

принимают уведомление в службе кластеров на первом узле, что процесс резервного копирования общего тома инициирован на втором узле в кластере, причем общий том используется по меньшей мере одним приложением на каждом из первого и второго узлов, при этом уведомление принимается от службы кластеров на втором узле и указывает, что команда замораживания была принята кластерным модулем записи на втором узле;

отправляют запрос с помощью службы кластеров на первом узле координатору резервного копирования на первом узле, причем запрос запрашивает создание снимка общего тома;

отправляют с помощью координатора резервного копирования команду замораживания кластерному модулю записи и модулю записи упомянутого по меньшей мере одного приложения на первом узле, причем команда замораживания предписывает кластерному модулю записи и по меньшей мере одному модулю записи сохранить данные приложения в общем томе;

после того как кластерный модуль записи и упомянутый по меньшей мере один модуль записи возвращаются из команды замораживания, отправляют с помощью координатора резервного копирования команду фиксации поставщику-помощнику на первом узле;

отправляют с помощью поставщика-помощника на первом узле уведомление о команде фиксации в службу кластеров на первом узле, при этом поставщик-помощник блокируется по команде фиксации; и

отправляют с помощью службы кластеров на первом узле кластерному модулю записи на втором узле уведомление, что команда фиксации принята, тем самым указывая, что каждый модуль записи на первом узле сохранил данные соответствующего приложения в общем томе.

9. Способ по п. 8, в котором запрос, отправленный службой кластеров на первом узле для создания снимка общего тома, задает, что для создания этого снимка нужно использовать модуль записи помощника.

10. Способ по п. 8, дополнительно содержащий этап, на котором:

принимают с помощью службы кластеров на первом узле уведомление от службы кластеров на втором узле, что команда постобработки снимка принята кластерным модулем записи на втором узле.

11. Способ по п. 10, дополнительно содержащий этап, на котором:

отправляют поставщику-помощнику с помощью службы кластеров на первом узле уведомление, что команда постобработки снимка была принята кластерным модулем записи на втором узле.

12. Способ по п. 11, дополнительно содержащий этап, на котором:

возвращаются из команды фиксации с помощью поставщика-помощника.

13. Способ по п. 12, дополнительно содержащий этапы, на которых:

принимают команду постобработки снимка с помощью кластерного модуля записи и упомянутого по меньшей мере одного модуля записи на первом узле; и

выполняют с помощью упомянутого по меньшей мере одного модуля записи постобработку над виртуальным снимком.

14. Способ по п. 13, дополнительно содержащий этапы, на которых:

после возврата кластерного модуля записи и упомянутого по меньшей мере одного модуля записи на первом узле из команды постобработки снимка уведомляют службу кластеров на первом узле с помощью координатора резервного копирования, что снимок успешно создан на первом узле; и

в ответ на данное уведомление уведомляют с помощью службы кластеров на первом узле кластерный модуль записи на втором узле, что снимок был успешно завершен на первом узле, тем самым указывая кластерному модулю записи на втором узле, что каждый из упомянутого по меньшей мере одного модуля записи обработал команду постобработки снимка на первом узле.

15. Способ по п. 14, дополнительно содержащий этап, на котором:

удаляют с помощью кластерного модуля записи на первом узле виртуальный снимок на первом узле.