Серверная ферма с иммерсионной системой охлаждения

Изобретение относится к области вычислительной техники. Технический результат заключается в расширении арсенала технических возможностей серверных ферм. Серверная ферма состоит из герметичного резервуара, заполненного охлаждающей жидкостью, снабженного крышкой, впускным и выпускным патрубками, сообщающимися посредством трубопроводов с циркуляционным насосом и теплообменником. Внутри резервуара параллельно всему днищу резервуара установлена перфорированная распределительная труба. Под ней установлена первая печатная плата, снабженная нагревательными элементами. Вторая печатная плата установлена вплотную к стенке резервуара и состыкована с первой печатной платой кромка с кромкой. Вычислительные узлы установлены на первую печатную плату параллельно второй печатной плате и состоят из монтажной печатной платы, разделенной разделителем на узкое и широкое отделения. В узком отделении с обеих сторон фиксируется съемная печатная плата, на которой расположены блок питания, накопители информации, а в широком отделении с обеих сторон монтируется по материнской плате. Половина накопителей информации на съемной печатной плате, установленной на одной стороне монтажной платы, подключены к материнской плате этой же стороны, а остальная половина - к материнской плате с другой стороны. Между накопителями информации, подключенными к одной материнской плате, организовано полное зеркалирование данных. Каждый блок питания подключен к обеим материнским платам, и оба блока питания работают в параллельном режиме. Крышка резервуара установлена с возможностью съема и подъема, в том числе во время работы серверной фермы. Серверная ферма может включать n герметичных резервуаров, параллельно соединенных между собой посредством системы подводящих и отводящих трубопроводов, сообщающихся с выпускной и впускной коллекторными трубами, соединенными между собой общим напорным трубопроводом. 14 з.п. ф-лы, 9 ил.

 

Изобретение относится к области вычислительной техники, а именно к серверным фермам, предназначенным для проведения высокопроизводительных вычислений и компьютерного моделирования, с охлаждением путем полного погружения нагревающихся электронных компонентов в охлаждающую жидкость.

Известен аппарат для охлаждения электронных систем компании Nortel Networks Corp., представляющий собой совокупность печатных плат, установленных вертикально в контейнере, частично заполненном диэлектрической жидкостью с низкой температурой кипения (патент США 6019167, опубл. 01.02.2000 г.). Охлаждаемая электронная система не представляет собой вычислительное устройство. Кроме того, недостатками данного аппарата является невысокая плотность установки печатных плат, обусловленная наличием двух камер контейнера, двух стенок контейнера, внутренней и внешней системы охлаждающих пластин, электронные компоненты системы не могут быть извлечены из абсолютно герметичного корпуса без нарушения целостности всего аппарата.

Известна вычислительная установка компании Cray Research Inc. (патент США 4590538, опубл. 20.05.1986 г.), состоящая из герметичного цилиндрического контейнера, шестнадцати радиально установленных в нем блоков материнских плат, ориентированных вертикально в плоских ячейках, ограниченных поддерживающими рамами, при этом материнские платы в блоках расположены горизонтально, а между ними образуются отсеки треугольной формы, в которых циркулирует охлаждающая жидкость, образуя восходящий и нисходящий потоки так, что блоки материнских плат полностью омываются охлаждающей жидкостью. Блоки питания устанавливаются на дне контейнера и оказываются также погруженными в охлаждающую жидкость. Недостатками данной вычислительной установки является невозможность функционирования установки при отрицательных температурах окружающей среды и невозможность горячей замены вышедших из строя электронных компонентов.

Известна вычислительная установка компании Isotermal System Research (патент США 6976528, опубл. 20.12.2005 г.), охлаждаемая путем впрыскивания охлаждающей жидкости на нагревающиеся электронные компоненты. Такая вычислительная установка может функционировать при широком диапазоне температур окружающей среды, в том числе при отрицательных температурах (-65°С…+70°С). Для работы при отрицательных температурах установка снабжена нагревательным элементом. Изобретением не раскрывается способ выполнения нагревательного элемента.

Известна серверная ферма компании Iceotope Limited (патент США 7609518, опубл. 27.10.2009 г.). На стандартную серверную стойку устанавливают вычислительные узлы в индивидуальном корпусе, состоящие из жестких дисков, дисплея, материнских плат с памятью и испарительного змеевика. Материнская плата и испарительный змеевик помещены в индивидуальный герметичный контейнер, в который подается охлажденная до температуры -30°С охлаждающая жидкость. Каждый контейнер соединен снаружи с охлаждающим модулем, который включает в себя теплоотводящую плату, прилегающую к контейнеру, теплоизоляционный слой, окружающий контейнер, два высушивающих картриджа, расположенных по обе стороны теплоотводящей платы, и два вентилятора, расположенных по обе стороны высушивающих картриджей.

Недостатками серверной фермы являются невысокая плотность установки вычислительных узлов, обусловленная тем, что материнские платы заключены в индивидуальные контейнеры, вычислительные узлы заключены в индивидуальные корпуса, а также использованием охлаждающих модулей, кроме того, изобретением используются стандартные серверные стойки со стандартной шириной посадочных мест для вычислительных узлов. Также в таких стойках предусмотрены монтажные и эксплуатационные промежутки. Все это сокращает полезное пространство, которое может быть использовано для установки дополнительных вычислительных узлов. Также не обеспечена возможность горячей замены вышедших из строя жестких дисков и блоков питания, возможность работы в условиях отрицательных температур окружающей среды.

Известна другая ферма серверов той же компании, описанная в патенте Великобритании 2467805, опубл. 01.06.2011 г., заявке США 20100290190, опубл. 11.12.2010 г. Стандартная серверная стойка с оборудованием включает: отделение для охлаждающих блоков, дополнительные полки для оборудования, один или несколько блоков питания и теплоотводящую плату, полки для устройства для нормализации давления, насос, расширительный бачок и теплообменник. Охлаждающий блок состоит из двух герметичных контейнеров, в каждом из которых установлены одна или несколько материнских плат, AC/DC-преобразователи, или жесткий диск, или блок питания. Контейнеры состоят из двух отсеков: в первом циркулирует первая охлаждающая жидкость, а во втором - вторая охлаждающая жидкость. На границе отсеков расположена теплооотводящая плата, предназначенная для переноса тепла от первой охлаждающей жидкости ко второй.

Недостатками серверной фермы являются невысокая плотность установки вычислительных узлов, обусловленная тем, что материнские платы заключены в индивидуальные контейнеры, вычислительные узлы заключены в индивидуальные корпуса, а также используются теплоотводящая плата и устройства для нормализации давления, кроме того, изобретением используются стандартные серверные стойки со стандартной шириной посадочных мест для вычислительных узлов. Также в таких стойках предусмотрены монтажные и эксплуатационные промежутки. Все это сокращает полезное пространство, которое может быть использовано для установки дополнительных вычислительных узлов. Также не обеспечена возможность горячей замены вышедших из строя жестких дисков и блоков питания, возможность работы в условиях отрицательных температур окружающей среды.

Кроме того, в обеих серверных фермах компании Iceotope Limited в охлаждающую жидкость погружены только материнские платы с нагревающимися электронными компонентами, блоки питания и жесткие диски охлаждаются преимущественно воздухом.

Известны серверные фермы компании Hardcore Computer, Inc. с жидкостным охлаждением, в частности с технологией охлаждения серверных ферм путем погружения в жидкость LSS™200 (Liquid Submerged Server) (http://www.hardcorecomputer.com/liquid-blade-video/index.html, например, патент США 8089764, опубл. 03.01.2012 г. и др.). Согласно данным решениям в стандартную серверную стойку помещают вычислительные узлы или серверные фермы. Каждый вычислительный узел (или серверная ферма) заключен в индивидуальный корпус, заполненный охлаждающей жидкостью. В каждый корпус помещают жесткие диски, одну или несколько материнских плат со смонтированными на ней дочерними картами, блоками питания, процессорами, видеокартой, памятью. Также дополнительно может присутствовать насосная система для откачки скапливающейся вверху контейнера горячей жидкости к внешнему теплообменнику или к иным системам рассеивания тепла. В одной из реализаций изобретения предусмотрено дополнительное охлаждение нагревающихся компонентов направленным потоком жидкости через накрывающую их дисперсионную камеру.

Недостатками данной серверной фермы являются невысокая плотность установки вычислительных узлов, обусловленная тем, что вычислительные узлы заключены в индивидуальные корпуса, кроме того, изобретением используются стандартные серверные стойки со стандартной шириной посадочных мест для вычислительных узлов. Также в таких стойках предусмотрены монтажные и эксплуатационные промежутки. Все это сокращает полезное пространство, которое может быть использовано для установки дополнительных вычислительных узлов. Также не обеспечена возможность горячей замены вышедших из строя жестких дисков и блоков питания, возможность работы в условиях отрицательных температур окружающей среды.

Известна система охлаждения для различных стандартных электронных устройств и вычислительных установок компании Green Revolution Cooling, Inc., описанная в заявке США 20110132579 (опубл. 09.06.2011 г.). Система охлаждения состоит из заполненного охлаждающей жидкостью резервуара, в котором горизонтально установлена промышленно выпускаемая серверная стойка, к которой подведены трубы подвода к нему и выхода из него охлаждающей жидкости; теплообменника, соединенного с выходом охлаждающей жидкости; насоса, соединенного с теплообменником и резервуаром, установленного для прокачивания охлаждающей жидкости по замкнутому контуру; микроконтроллера для отслеживания температуры охлаждающей жидкости в замкнутом контуре, который также регулирует поток жидкого охлаждающего диэлектрика в замкнутом контуре с целью поддержания повышенной температуры жидкого охлаждающего диэлектрика на выходе из второй части замкнутого контура. Резервуар может быть выполнен с возможностью установки двух рядов вычислительных узлов.

В некоторых вариантах исполнения система охлаждения может включать второе охлаждающее устройство, содержащее охлаждающую жидкость во втором замкнутом контуре, предназначенном для охлаждения первой охлаждающей жидкости.

Недостатками данной системы охлаждения являются невозможность функционирования при отрицательных температурах окружающей среды, невысокая плотность установки вычислительных узлов, обусловленная тем, что данная система охлаждения предназначена, в том числе, для стандартных вычислительных узлов, которые выполнены для воздушного охлаждения и, соответственно, снабжены вентиляторами и воздуховодами, что увеличивает размер самого вычислительного узла и размеры посадочных мест для вычислительных узлов в стандартных серверных стойках, которые монтируются в резервуар.

Наиболее близкими к заявляемой серверной ферме является серверная ферма компании Hardcore Computer, Inc., раскрытая в независимом п.13 и подчиненных ему зависимых пп.14-17 формулы изобретения (патент США 8009419, опубл. 30.08.2011 г.). Серверная ферма представляет собой герметичный контейнер, наполненный охлаждающей жидкостью и снабженный направляющими для установки блоков вычислительных узлов. Внутри контейнера помещается охлаждающий механизм, представляющий собой совокупность трубок, разведенных по материнской плате. Трубки с отверстиями находятся в непосредственной близости от нагревающихся компонентов. Через эти отверстия охлаждающая жидкость впрыскивается на такие нагревающиеся компоненты, охлаждает их и затем смешивается с жидкостью, заполняющей контейнер.

Недостатками данной серверной фермы являются невозможность горячей замены вышедших из строя жестких дисков и блоков питания, работы серверной фермы в условиях отрицательных температур окружающей среды. Поскольку в разделе описания изобретения данный вариант выполнения серверной фермы не описывается, то оценить плотность установки вычислительных узлов внутри резервуара представляется затруднительным.

Задачей изобретения является расширение арсенала серверных ферм.

Технический результат заключается в расширении арсенала технических возможностей серверных ферм, а именно в повышении плотности установки вычислительных узлов, обеспечении функционирования серверной фермы при отрицательных температурах окружающей среды, горячей замены блоков питания и накопителей информации.

Технический результат достигается тем, что серверная ферма с иммерсионной системой охлаждения состоит из герметичного резервуара, заполненного охлаждающей жидкостью, с установленными в нем вычислительными узлами, состоящими из монтажной платы со смонтированными на ней материнской платой, блоками питания, накопителями информации, снабженного крышкой, направляющими для вертикальной установки вычислительных узлов, впускным и выпускным патрубками, сообщающимися посредством трубопровода с насосом и теплообменником, согласно изобретению, снабжена распределительной трубой, двумя печатными платами, сетевым коммутатором, причем распределительная труба установлена параллельно всему днищу резервуара и образована двумя параллельными друг другу перфорированными трубами, соединенными U-образным соединителем, один конец распределительной трубы заглушен, а второй соединен с впускным патрубком, установленным в нижней части стенки резервуара. Выпускной патрубок установлен в верхней части стенки резервуара и через первый обратный запорный клапан соединен посредством первого напорного трубопровода с фильтром грубой очистки, циркуляционным насосом и теплообменником, который с другой стороны соединен посредством обратного напорного трубопровода через второй обратный запорный клапан с впускным патрубком. Между фильтром грубой очистки и теплообменником установлен запорный трехходовой электромагнитный клапан, третий патрубок которого соединен с первым концом второго напорного трубопровода, второй конец которого соединен с третьим патрубком трехходового разветвителя, встроенного в обратный напорный трубопровод между теплообменником и вторым обратным запорным клапаном. Крышка резервуара образована двумя створками с разной площадью поверхностью и установлена с возможностью съема и подъема во время работы и остановки серверной фермы, на внутренней стороне большей створки размещен сетевой коммутатор, а в меньшей створке выполнено отверстие для шлейфа или гибкой печатной платы, имеющих на концах разъемы данных. К сетевому коммутатору присоединен первый кабель данных, другой конец которого выведен наружу через отверстие в меньшей створке крышки. Первая печатная плата установлена параллельно плоскости днища резервуара под распределительной трубой, на ней выполнены концевые разъемы данных и питания, вдоль одного края соосно между собой расположены разъемы данных, а вдоль противоположного края соосно между собой расположены разъемы питания, причем между разъемами питания и данных расположены нагревательные элементы. Вторая печатная плата установлена вплотную к одной из стенок резервуара, к которой прикреплена меньшая створка крышки перпендикулярно первой печатной плате и состыкована с ней кромка с кромкой при помощи ответных частей для концевых разъемов данных и питания первой печатной платы, а верхняя ее часть соединена посредством разъема для данных с гибкой печатной платой или шлейфом, пропущенными через отверстие в меньшей створке крышки резервуара, и с внешним кабелем питания, пропущенным через другое отверстие в меньшей створке крышки, посредством разъемов питания. Сетевой коммутатор питается от разъема питания, расположенного в верхней части второй печатной платы, при помощи кабеля питания. Вычислительные узлы установлены при помощи разъемов данных и питания на первую печатную плату параллельно второй печатной плате и состоят из монтажной печатной платы, которая разделена продольным разделителем на узкое и широкое отделения, по продольным краям узкого отделения с обеих сторон крепятся симметрично по два продольных держателя в виде направляющих для фиксации съемной печатной платы, на которой расположены блок питания, накопители информации и колодка разъемов питания и данных, а в широком отделении с обеих сторон монтируется по материнской плате. При этом половина накопителей информации, расположенных на съемной печатной плате, установленной на одной из сторон монтажной платы, подключены к материнской плате, смонтированной на этой же стороне монтажной печатной платы, а остальные накопители информации подключаются к материнской плате, смонтированной на другой стороне монтажной печатной платы, между накопителями информации, подключенными к одной материнской плате, организовано полное зеркалирование данных, а каждый блок питания подключен к обеим материнским платам и оба блока питания работают в параллельном режиме. Материнская плата подключена к сетевому коммутатору посредством второго кабеля данных, а съемная плата подключена к монтажной плате посредством колодок разъемов питания и данных. Широкое отделение монтажной платы соединено посредством гибкой печатной платы или шлейфа с материнской платой с помощью разъемов данных. В нижней кромке монтажной печатной платы выполнен прямоугольный вырез для прохода распределительной трубы.

При этом возможно, что впускной патрубок установлен в нижней части той же стенки резервуара, в которой установлен выпускной патрубок, и вторая печатная плата установлена перпендикулярно первой печатной плате вплотную к той же стенке резервуара, на которой установлены впускной и выпускной патрубки. В этом случае верхняя кромка второй печатной платы выполнена с вырезом так, чтобы обеспечивать прямое сообщение выпускного патрубка с резервуаром, в нижней части второй печатной платы на уровне ортогональной проекции впускного патрубка выполнено отверстие так, чтобы обеспечивать вхождение впускного патрубка в резервуар.

При этом возможно также, что впускной патрубок установлен в нижней части стенки резервуара, противоположной той, в которой установлен выпускной патрубок, и вторая печатная плата установлена перпендикулярно первой печатной плате вплотную к той же стенке резервуара, на которой установлен впускной патрубок, и тогда в нижней ее части на уровне ортогональной проекции впускного патрубка выполнено отверстие так, чтобы обеспечивать прямое сообщение впускного патрубка с резервуаром. Или вторая печатная плата установлена перпендикулярно первой печатной плате вплотную к той же стенке резервуара, на которой установлен выпускной патрубок, и тогда ее верхняя кромка выполнена с вырезом так, чтобы обеспечивать прямое сообщение выпускного патрубка с резервуаром.

При этом возможно также, что параллельно циркуляционному насосу установлен дополнительный циркуляционный насос.

При этом возможно также, что для вертикальной установки вычислительных узлов параллельно боковым ребрам резервуара выполнены пропилы.

При этом возможно также, что нагревательные элементы выполнены в виде нагрузочных резисторов.

При этом возможно также, что в качестве накопителей информации используются твердотельные накопители информации.

При этом возможно также, что серверная ферма состоит из n герметичных резервуаров, параллельно соединенных между собой посредством системы подводящих и отводящих трубопроводов, сообщающихся с выпускной и впускной коллекторными трубами, соединенными между собой общим напорным трубопроводом.

При этом возможно также, что в нижней части второй печатной платы выполнены дополнительные нагревательные элементы.

На фиг.1 показан резервуар серверной фермы.

На фиг.2 показана распределительная труба.

На фиг.3 показана крышка.

На фиг.4 показана первая печатная плата.

На фиг.5 показана вторая печатная плата.

На фиг.6 показана монтажная плата.

На фиг.7 показана съемная плата.

На фиг.8 показана схема контура охлаждения серверной фермы, включающей один резервуар.

На фиг.9 показана схема контура охлаждения серверной фермы, включающей n резервуаров.

В одном варианте реализации изобретения серверная ферма представляет собой серверную ферму с одним резервуаром. Серверная ферма, изображенная на фиг.1, включает герметичный прямоугольный резервуар 1, заполненный охлаждающей жидкостью и снабженный крышкой 2. На двух противоположных стенках резервуара смонтированы параллельно боковым ребрам резервуара пластиковые вкладыши с направляющими, или выполнены пропилы для вертикальной установки вычислительных узлов.

В верхней части одной из стенок резервуара на центральной оси выполнено отверстие, в которое установлен выпускной патрубок 3. Резервуар заполняется жидкостью до уровня ее перелива в выпускной патрубок. В нижней части той же или противоположной стенки резервуара выполнено отверстие, в которое установлен впускной патрубок 4 такого же диаметра, что и выпускной патрубок. Впускной патрубок соединен с одним концом распределительной трубы 5 (фиг.2), установленной внутри резервуара на смонтированных на его днище поддерживающих элементах и состоящей из двух параллельных друг другу перфорированных труб, соединенных U-образным соединителем. Второй конец распределительной трубы заглушен. Распределительная труба продолжается вдоль всего днища резервуара.

На фиг.3 показана крышка резервуара. Крышка 2 резервуара состоит из двух створок разной площади поверхности и крепежных элементов, посредством которых створки крышки крепятся к крепежным элементам, установленным на верхних краях стенок резервуара. Крепежные элементы выполнены с обеспечением возможности съема и подъема створок. Обе створки крышки имеют угол открытия не менее 90 градусов и снабжены механизмом фиксации их в таком положении. Верхний край резервуара по всему периметру и нижние края створок крышки по всему периметру имеют слой уплотнителя, обеспечивающий герметичное прилегание створок крышки к резервуару. Для обеспечения оперативного доступа внутрь резервуара к вычислительным узлам большая створка крышки открывается и снимается в режиме работы серверной фермы. Меньшая створка крышки открывается и снимается только после остановки работы серверной фермы.

На внутренней стороне большей створки размещен сетевой коммутатор 6. К сетевому коммутатору присоединен первый кабель данных, другой конец которого выведен наружу через отверстие 7, выполненное в меньшей створке крышки. В меньшей створке крышки выполнены отверстия 8 ( показано одно отверстие), через которые организован герметичный ввод кабелей питания. В меньшей створке крышки выполнено отверстие 9, в которое герметично пропущены шлейф или гибкая печатная плата (не показаны) с двумя концевыми разъемами данных. Один концевой разъем данных предназначен для стыковки с концевым разъемом данных, расположенным на второй печатной плате. Другой концевой разъем данных предназначен для соединения с внешним кабелем передачи данных, другой конец которого соединен с внешним управляющим устройством.

В нижней части резервуара параллельно плоскости днища резервуара под распределительной трубой 5 установлена первая печатная плата 10 (фиг.4), зафиксированная на смонтированных на днище резервуара поддерживающих элементах. На первой печатной плате выполнены отверстия 11 для прохождения крепежных элементов, фиксирующих распределительную трубу.

Вдоль одного края первой печатной платы соосно между собой расположены разъемы данных 12, выполненные в количестве, равном количеству вычислительных узлов, установленных в резервуаре. Вдоль противоположного края первой печатной платы расположены разъемы питания 13, выполненные в количестве, равном количеству вычислительных узлов, установленных в резервуаре. Между разъемами данных 12 и питания 13 смонтированы нагревательные элементы 14, выполненные в виде нагрузочных резисторов. Первая печатная плата оснащена концевыми разъемами данных 15 и питания 16, предназначенными для сцепления с нижней кромкой второй печатной платы 17. При этом разъемы данных 12 и 13 на первой печатной плате выполнены вдоль краев, перпендикулярных краю, состыкованному со второй печатной платой.

Вторая печатная плата 17 (фиг.5) установлена перпендикулярно первой печатной плате вплотную к одной из стенок резервуара и жестко зафиксирована в таком положении посредством крепежных элементов, установленных на стенке резервуара. В случае, если вторая печатная плата установлена вплотную к стенке резервуара, на которой расположен выпускной патрубок, то верхняя кромка второй печатной платы выполнена с вырезом так, чтобы обеспечивать прямое сообщение выпускного патрубка с резервуаром. В случае, если вторая печатная плата установлена вплотную к стенке резервуара, на которой расположен впускной патрубок, то в нижней части второй печатной платы на уровне ортогональной проекции впускного патрубка выполнено отверстие так, чтобы обеспечивать вхождение впускного патрубка в резервуар. В случае, если вторая печатная плата установлена вплотную к стенке резервуара, на которой расположены впускной и выпускной патрубки, то верхняя кромка второй печатной платы выполнена с вырезом так, чтобы обеспечивать прямое сообщение выпускного патрубка с резервуаром, а в нижней части второй печатной платы на уровне ортогональной проекции впускного патрубка выполнено отверстие так, чтобы обеспечивать вхождение впускного патрубка в резервуар.

В нижней части второй печатной платы выполнены ответные части разъемов данных 18 и питания 19 к концевым разъемам данных 15 и питания 16 соответственно. В верхней части второй печатной платы выполнена ответная часть 20 разъема данных, предназначенного для стыковки с концевым разъемом данных, расположенным на шлейфе или гибкой печатной плате, пропущенной через отверстие 9 в меньшей створке крышки, и разъем питания 21, предназначенный для подключения внешних кабелей питания, пропущенных через отверстия 8 в меньшей створке крышки. Вторая печатная плата предназначена для подачи питания и передачи данных от расположенных в ее верхней части разъемов данных 20 и питания 21 на первую печатную плату, помимо этого она используется для установки дополнительных электронных компонентов, таких как, например, дополнительный коммутатор и др. В некоторых вариантах реализации изобретения в нижней части второй печатной платы размещены дополнительные нагревательные элементы 14.

Вычислительные узлы установлены внутри резервуара на первую печатную плату. Вычислительный узел состоит из монтажной печатной платы 22 (фиг.6). В нижней кромке монтажной печатной платы выполнен прямоугольный вырез так, что при установке ее на первую печатную плату прямоугольный вырез приходится на распределительную трубу. Монтажная печатная плата на лицевой и оборотной сторонах разделена на два отделения - узкое и широкое - продольным разделителем 23, выполненным в виде пластиковой планки.

В нижней части широкого отделения выполнена ответная часть концевого разъема данных 24 к концевому разъему данных 12, а в нижней части узкого отделения выполнена ответная часть концевого разъема питания 25 к концевому разъему питания 13.

По продольным краям узкого отделения монтажной печатной платы на ее лицевой и оборотной сторонах крепятся симметрично по два продольных держателя 26 в виде направляющих для фиксации съемной печатной платы 27, изображенной на фиг.7, на которой расположены блок питания 28 и не менее двух накопителей информации 29. При этом часть накопителей информации, расположенных на съемной печатной плате, установленной на лицевой стороне монтажной платы, подключены к материнской плате, смонтированной на лицевой стороне монтажной печатной платы, а другая часть накопителей информации подключается к материнской плате, смонтированной на оборотной стороне монтажной печатной платы. Аналогичным образом подключены накопители информации, расположенные на съемной печатной плате, установленной на оборотной стороне монтажной платы. Между накопителями информации, подключенными к одной материнской плате, организовано полное зеркалирование данных. Каждый блок питания подключен к обеим материнским платам, при этом оба блока питания работают в параллельном режиме. В нижней части съемной платы выполнена колодка 30 разъемов питания и данных.

В нижней части узкого отделения монтажной платы выполнена колодка 31 разъемов питания и данных, предназначенная для состыковки с колодкой 30 разъемов питания и данных, расположенной на съемной печатной плате. Колодка 31 разъемов питания и данных соединена с разъемами питания и данных, выполненными в нижней части узкого отделения монтажной платы (не показаны), которые используются соответственно для трассировки питания и данных от блока питания и накопителей информации, расположенных на съемной печатной плате, к электронным компонентам материнской платы.

В широком отделении монтажной платы на лицевой и оборотной сторонах монтируется материнская плата 32. Таким образом, на монтажную печатную плату устанавливаются две материнские платы и две съемные печатные платы.

В верхней части широкого отделения монтажной печатной платы выполнен разъем данных 33, предназначенный для сцепления посредством гибкой платы или шлейфа (не показаны) с концевым разъемом данных 34, выполненным в верхней части материнской платы.

В верхней части материнской платы выполнен разъем данных 35, к которому подключен второй кабель данных, другой конец которого соединен с сетевым коммутатором 6. Сетевой коммутатор получает питание от разъема питания 21 на второй печатной плате при помощи кабеля питания.

На фиг.8 показан контур охлаждения серверной фермы, включающей один резервуар. Наружный конец выпускного патрубка через первый обратный запорный клапан 36 последовательно соединен первым напорным трубопроводом 37 с циркуляционным насосом 38, фильтром грубой очистки 39 и теплообменником 40. Теплообменник соединен обратным напорным трубопроводом 41 через второй обратный запорный клапан 42 с наружным концом впускного патрубка. Таким образом, образуется большой замкнутый контур переноса тепла от вычислительных узлов к теплообменнику и охлажденной жидкости от теплообменника обратно к вычислительным узлам.

Между фильтром грубой очистки и теплообменником встроен запорный трехходовой электромагнитный клапан 43, третий патрубок которого соединен с первым концом второго напорного трубопровода 44. Второй конец второго напорного трубопровода 44 соединен с третьим патрубком трехходового разветвителя, встроенного в обратный напорный трубопровод между теплообменником 40 и вторым обратным запорным клапаном 42. Запорный трехходовой электромагнитный клапан 43 предназначен для перекрытия потока охлаждающей жидкости, поступающего к теплообменнику, и направления его посредством второго напорного трубопровода через третий патрубок трехходового разветвителя обратно в резервуар к вычислительным узлам. Таким образом, образуется малый замкнутый контур переноса тепла от вычислительных узлов во второй напорный трубопровод и охлажденной жидкости из второго напорного трубопровода обратно в резервуар, минуя теплообменник. Для обеспечения отказоустойчивости параллельно циркуляционному насосу 38 установлен дублирующий циркуляционный насос (не показан).

В другом варианте реализации изобретения серверная ферма представляет собой серверную ферму с n резервуарами. На фиг.9 изображена схема контура охлаждения серверной фермы, включающей n резервуаров. Серверная ферма состоит из n герметичных прямоугольных резервуаров 1, заполненных охлаждающей жидкостью, с установленными в них вычислительными узлами, первой печатной платой 10, второй печатной платой 17, распределительной трубой 5. Каждый резервуар снабжен крышкой 2. Каждый резервуар 1 посредством отводящего напорного трубопровода 45 через выпускной патрубок, первый обратный запорный клапан 36, циркуляционный насос 38 и фильтр грубой очистки 39 сообщается с выпускной коллекторной трубой 46, один конец которой заглушен, а второй соединен посредством первого трехходового разветвителя с первым общим напорным трубопроводом 47. В первый общий напорный трубопровод 47 далее последовательно подсоединены общий циркуляционный насос 48, общий фильтр грубой очистки 49 и теплообменник 40. С другой стороны теплообменник соединен с обратным общим напорным трубопроводом 50. Каждый резервуар 1 посредством подводящего трубопровода 51 через впускной патрубок и второй обратный запорный клапан 42 сообщается с впускной коллекторной трубой 52, один конец которой заглушен, а второй соединен посредством отвода с обратным общим напорным трубопроводом 50. Таким образом, образуется большой замкнутый контур переноса тепла от вычислительных узлов к теплообменнику и охлажденной жидкости от теплообменника обратно к вычислительным узлам.

Между общим фильтром грубой очистки 49 и теплообменником 40 встроен запорный трехходовой электромагнитный клапан 43, третий патрубок которого соединен с первым концом второго общего напорного трубопровода 53. Второй конец второго общего напорного трубопровода 53 соединен с третьим патрубком второго трехходового разветвителя, встроенного между теплообменником 40 и отводом. Запорный трехходовой электромагнитный клапан 43 предназначен для перекрытия потока охлаждающей жидкости, поступающего к теплообменнику 40, и направления его через второй общий напорный трубопровод 53, сообщенный с третьим патрубком второго трехходового разветвителя, который, в свою очередь, сообщен посредством обратного общего напорного трубопровода 50 с впускной коллекторной трубой 52 и подводящими трубопроводами 51, к каждому из резервуаров к вычислительным узлам. Таким образом, образуется малый замкнутый контур переноса тепла от вычислительных узлов во второй общий напорный трубопровод и охлажденной жидкости из второго общего напорного трубопровода обратно в резервуар к вычислительным узлам, минуя теплообменник. Для обеспечения отказоустойчивости параллельно общему циркуляционному насосу 48 установлен дублирующий циркуляционный насос (не показан).

Во время работы серверной фермы вычислительные узлы полностью погружены в охлаждающую жидкость. В одном варианте реализации изобретения нагретая вычислительными узлами охлаждающая жидкость через выпускной патрубок и первый обратный запорный клапан переливается в первый напорный трубопровод, соединенный с циркуляционным насосом. Циркуляционный насос через фильтр грубой очистки прокачивает нагретую охлаждающую жидкость по сообщенному с ним первому напорному трубопроводу к открытому запорному трехходовому электромагнитному клапану и теплообменнику. Теплообменник отводит тепло от поступающей нагретой жидкости. Из теплообменника охлажденная охлаждающая жидкость поступает в обратный напорный трубопровод, сообщенный со вторым обратным запорным клапаном и впускным патрубком, а затем по распределительной трубе подается обратно в резервуар к вычислительным узлам. Таким образом, образуется большой замкнутый контур циркуляции охлаждающей жидкости, начинающийся от вычислительных узлов, продолжающийся к циркуляционному насосу, теплообменнику и возвращающийся в резервуар обратно к вычислительным узлам.

Если температура окружающей среды не превышает 0°С, то запорный трехходовой электромагнитный клапан закрывают. Циркуляционный насос через фильтр грубой очистки подает охлаждающую жидкость в первый напорный трубопровод, а запорный трехходовой электромагнитный клапан направляет охлаждающую жидкость во второй напорный трубопровод, где она охлаждается, а затем через трехходовой разветвитель, второй запорный клапан и впускной патрубок охлаждающая жидкость поступает обратно в резервуар к вычислительным узлам. Таким образом, охлаждающая жидкость циркулирует по малому замкнутому контуру охлаждения начиная от вычислительных узлов, продолжая к циркуляционному насосу и возвращаясь обратно в резервуар к вычислительным узлам, минуя теплообменник.

В другом варианте реализации изобретения нагретая вычислительными узлами охлаждающая жидкость через выпускной патрубок и первый обратный запорный клапан, сообщенные с каждым из резервуаров, переливается в отводящие напорные трубопроводы, соединенные с выпускной коллекторной трубой. Затем охлаждающая жидкость поступает в первый общий напорный трубопровод к общему циркуляционному насосу, который через общий фильтр грубой очистки подает ее в теплообменник. В теплообменнике нагретая охлаждающая жидкость охлаждается и подается по обратному общему напорному трубопроводу во впускную коллекторную трубу, затем по соединенным с ней подводящим трубопроводам подается через обратные запорные клапаны и впускные патрубки обратно в резервуары к вычислительным узлам. Таким образом, охлаждающая жидкость циркулирует по большому замкнутому контуру охлаждения, начинающемуся от вычислительных узлов, продолжающемуся к теплообменнику и возвращающемуся обратно в резервуар к вычислительным узлам.

Если температура окружающей среды не превышает 0°С, то запорный трехходовой электромагнитный клапан закрывают. Общий циркуляционный насос через общий фильтр грубой очистки подает охлаждающую жидкость в первый общий напорный трубопровод, при этом запорный трехходовой электромагнитный клапан направляет охлаждающую жидкость во второй общий напорный трубопровод. А затем через третий патрубок второго трехходового разветвителя посредством обратного общего напорного трубопровода, впускной коллекторной трубы и подводящих трубопроводов охлаждающая жидкость возвращается обратно к каждому из резервуаров к вычислительным узлам. Таким образом, охлаждающая жидкость циркулирует по малому замкнутому контуру охлаждения, минуя теплообменник.

Температура окружающей среды, при которой возможна работа заявляемой серверной фермы, колеблется от -40°С до +40°С.

Серверная ферма получает питание от внешнего источника питания посредством кабелей питания, пропущенных через отверстия 8 в меньшей створке крышки, одни концы которых соединены с внешним источником питания, а другие концы соединены с разъемом питания 21 на второй печатной плате.

В качестве охлаждающей жидкости используются синтетические или натуральные масла.

Повышение плотности установки вычислительных узлов достигается за счет отсутствия индивидуального корпуса, в который заключается вычислительный узел, и индивидуального контейнера, в который заключаются одна или более материнских плат, приспособлений для охлаждения, используемых в известных решениях, например теплоотводящих плат и охлаждающих модулей, не использованием стандартных серверных стоек со стандартной шириной посадочных мест для вычислительных узлов и с монтажными и эксплуатационными промежутками. Кроме того, на монтажных печатных платах установлены материнские и съемные печатные платы с обеих сторон. Все это увеличивает полезное пространство, которое может быть использовано для установки дополнительных вычислительных узлов. Помимо того, изобретением не предусмотрено использование стандартных вычислительных узлов, предназначенных для воздушного охлаждения, что сокращает размеры устанавливаемых в заявляемую серверную ферму вычислительных узлов.

Функционирование при отрицательных температурах окружающей среды достигается за счет использования нагревательных элементов.

Возможность горячей замены блоков питания и накопителей информации достигается за счет подключения части накопителей информации, расположенных на съемной печатной плате, установленной на одной стороне монтажной печатной платы, к материнской плате, смонтированной на другой ее стороне, и организации зеркалирования данных между накопителями информации, подключенными к одной материнской плате. А также тем, что оба блока питания работают в параллельном режиме. А также тем, что блоки питания и накопители информации расположены на съемной печатной плате.

1. Серверная ферма с иммерсионной системой охлаждения, состоящая из герметичного резервуара с установленными в нем вычислительными узлами, состоящими из монтажной платы со смонтированными на ней материнской платой, блоками питания, накопителями информации, заполненного охлаждающей жидкостью, снабженного крышкой, направляющими для вертикальной установки вычислительных узлов, впускным и выпускным патрубками, сообщающимися посредством трубопровода с насосом и теплообменником, отличающаяся тем, что серверная ферма снабжена распределительной трубой, двумя печатными платами, сетевым коммутатором, причем
распределительная труба установлена параллельно всему днищу резервуара и образована двумя параллельными друг другу перфорированными трубами, соединенными U-образным соединителем, один конец распределительной трубы заглушен, а второй соединен с впускным патрубком, установленным в нижней части стенки резервуара,
а выпускной патрубок установлен в верхней части стенки резервуара и через первый обратный запорный клапан соединен посредством первого напорного трубопровода с циркуляционным насосом, фильтром грубой очистки и теплообменником, который с другой стороны соединен посредством обратного напорного трубопровода через второй обратный запорный клапан с впускным патрубком,
между фильтром грубой очистки и теплообменником установлен запорный трехходовой электромагнитный клапан, третий патрубок которого соединен с первым концом второго напорного трубопровода, второй конец которого соединен с третьим патрубком трехходового разветвителя, встроенного в обратный напорный трубопровод между теплообменником и вторым обратным запорным клапаном,
крышка резервуара образована двумя створками с разной площадью поверхности и установлена с возможностью съема и подъема, причем большая створка установлена с обеспечением возможности съема и подъема в режиме остановки и работы серверной фермы, на внутренней стороне большей створки размещен сетевой коммутатор, а в меньшей створке выполнено отверстие для шлейфа или гибкой печатной платы, имеющих на концах разъемы данных, причем гибкая плата или шлейф соединены с одним концом внешнего кабеля передачи данных, другой конец которого подключен к внешнему управляющему устройству, а сетевой коммутатор соединен с одним концом первого кабеля передачи данных, другой конец которого выведен наружу через отверстие в меньшей створке крышки и подключен к внешнему управляющему устройству,
первая печатная плата установлена параллельно плоскости днища резервуара под распределительной трубой, на ней выполнены концевые разъемы данных и питания, а вдоль одного края соосно между собой расположены разъемы данных, а вдоль противоположного края соосно между собой расположены разъемы питания, причем между разъемами питания и разъемами данных выполнены нагревательные элементы,
вторая печатная плата установлена вплотную к одной из стенок резервуара, к которой прикреплена меньшая створка крышки, перпендикулярно первой печатной плате и состыкована с ней кромка с кромкой при помощи ответных частей для концевых разъемов данных и питания первой печатной платы,
а верхняя ее часть соединена посредством разъема данных с гибкой печатной платой или шлейфом, пропущенными через отверстие в меньшей створке крышки резервуара, и с одним концом внешнего кабеля питания, пропущенного через другое отверстие в меньшей створке крышки, посредством разъемов питания, при этом другой конец внешнего кабеля питания соединен с внешним источником питания,
причем сетевой коммутатор питается от разъема питания, расположенного в верхней части второй печатной платы, при помощи кабеля питания,
вычислительные узлы установлены при помощи разъемов данных и питания на первую печатную плату параллельно второй печатной плате и состоят из монтажной печатной платы, которая разделена продольным разделителем на узкое и широкое отделения, по продольным краям узкого отделения с обеих сторон крепятся симметрично по два продольных держателя в виде направляющих для фиксации съемной печатной платы, на которой расположены блок питания, накопители информации и колодка разъемов питания и данных, а в широком отделении с обеих сторон монтируется по материнской плате,
материнская плата подключена к сетевому коммутатору посредством второго кабеля данных,
съемная плата подключена к монтажной плате посредством колодок разъемов питания и данных,
широкое отделение монтажной платы соединено посредством гибкой печатной платы или шлейфа с материнской платой с помощью разъемов данных,
в нижней кромке монтажной печатной платы выполнен прямоугольный вырез для прохода распределительной трубы,
при этом половина накопителей информации, расположенных на съемной печатной плате, установленной на одной из сторон монтажной платы, подключены к материнской плате, смонтированной на этой же стороне монтажной печатной платы, а остальные накопители информации подключаются к материнской плате, смонтированной на другой стороне монтажной печатной платы, между накопителями информации, подключенными к одной материнской плате, организовано полное зеркалирование данных,
каждый блок питания подключен к обеим материнским платам, при этом оба блока питания работают в параллельном режиме.

2. Серверная ферма по п.1, отличающаяся тем, что впускной патрубок установлен в нижней части той же стенки резервуара, в которой установлен выпускной патрубок.

3. Серверная ферма по п.2, отличающаяся тем, что вторая печатная плата установлена перпендикулярно первой печатной плате вплотную к той же стенке резервуара, на которой установлены впускной и выпускной патрубки.

4. Серверная ферма по п.3, отличающаяся тем, что верхняя кромка второй печатной платы выполнена с вырезом так, чтобы обеспечивать прямое сообщение выпускного патрубка с резервуаром, в нижней части второй печатной платы на уровне ортогональной проекции впускного патрубка выполнено отверстие так, чтобы обеспечивать вхождение впускного патрубка в резервуар.

5. Серверная ферма по п.1, отличающаяся тем, что впускной патрубок установлен в нижней части стенки резервуара, противоположной той, в которой установлен выпускной патрубок.

6. Серверная ферма по п.5, отличающаяся тем, что вторая печатная плата установлена перпендикулярно первой печатной плате вплотную к той же стенке резервуара, на которой установлен впускной патрубок.

7. Серверная ферма по п.6, отличающаяся тем, что в нижней части второй печатной платы на уровне ортогональной проекции впускного патрубка выполнено отверстие так, чтобы обеспечивать прямое сообщение впускного патрубка с резервуаром.

8. Серверная ферма по п.5, отличающаяся тем, что вторая печатная плата установлена перпендикулярно первой печатной плате вплотную к той же стенке резервуара, на которой установлен выпускной патрубок.

9. Серверная ферма по п.8, отличающаяся тем, что верхняя кромка второй печатной платы выполнена с вырезом так, чтобы обеспечивать прямое сообщение выпускного патрубка с резервуаром.

10. Серверная ферма по п.1, отличающаяся тем, что состоит из n герметичных резервуаров, параллельно соединенных между собой посредством системы подводящих и отводящих трубопроводов, сообщающихся с выпускной и впускной коллекторными трубами, соединенными между собой общим напорным трубопроводом.

11. Серверная ферма по п.1, отличающаяся тем, что параллельно циркуляционному насосу установлен дополнительный циркуляционный насос.

12. Серверная ферма по п.1, отличающаяся тем, что для вертикальной установки вычислительных узлов параллельно боковым ребрам резервуара выполнены пропилы.

13. Серверная ферма по п.1, отличающаяся тем, что в качестве накопителей информации используются твердотельные накопители информации.

14. Серверная ферма по п.1, отличающаяся тем, что в нижней части второй печатной платы выполнены нагревательные элементы.

15. Серверная ферма по п.1, отличающаяся тем, что нагревательные элементы выполнены в виде нагрузочных резисторов.