Перевод статьи https://lenovopress.com/lp1066-intel-optane-dc-persistent-memory

Дэвид Уоттс

https://lenovopress.com

Опубликовано 2 апреля 2019 г.

Энергонезависимая (постоянная) память Intel Optane DC

Руководство по установке и использованию в серверах

Аннотация

   Постоянная память Intel Optane DC - это инновационная технология, которая предоставляет уникальную комбинацию большого доступного объема памяти и ее энергонезависимости. Технология постоянной памяти может повысить производительность приложений, интенсивно использующих данные, таких как аналитика в памяти, базы данных, сети доставки контента и высокопроизводительные вычисления (HPC), а также обеспечить стабильный уровень обслуживания в масштабных системах виртуальных машин и большим количеством контейнеров.

   В этом руководстве описываются модули постоянной памяти для центров обработки данных (DCPMM) и предоставляется основная предпродажная информация для понимания принципов работы модулей памяти, их основных функций и характеристик, а также совместимости с системой. Это руководство предназначено для технических специалистов, специалистов по продажам, инженеров по продажам и ИТ-архитекторов, которые хотят узнать больше о DCPMM и рассмотреть возможность их использования в своих ИТ-проектах.

Содержание

Вступление

Общие сведения

Коды производителя (P/N)

Режимы работы в системе модулей DCPMM

Преимущества

Характеристики

Требования к использованию

Требования к прямому режиму приложения

Требования к режиму памяти

Требования к смешанному режиму

Поддержка памяти DIMM

Поддержка процессором

Поддержка сервером

Поддержка операционной системой

Гарантия

Ресурсы

Связанные семейства продуктов

Вступление

   Intel Optane DC Persistent Memory (произносится: «оптэйн») представляет новый класс памяти и технологии хранения данных, специально разработанную для использования в центрах обработки данных. Постоянная память имеет три основных преимущества:

• Значительно меньшая задержка, чем при получении данных из системного хранилища

• Высокая производительность

• Доступная стоимость

   Серверы, ипользующие приложения, настроенные на работу с постоянной памятью Intel Optane DC, имеют более низкую задержку получения данных по сравнению с технологией твердотельных накопителей (SSD). Расположение данных ближе к процессору на энергонезависимых носителях может придать приложениям значительное общее улучшение производительности.

Модуль постоянной памяти Intel Optane DC (DCPMM) показан на следующем рисунке.

Рисунок 1. Модуль постоянной памяти Intel Optane DC (DCPMM)

Общие сведения

   Модули постоянной памяти Intel Optane DC (DCPMM) выполнены в форм-факторе DDR4 DIMM, но обеспечивают постоянство хранения данных и емкость на уровне твердотельного диска. Это означает, что модули DCPMM имеют характеристики производительности, сходные с характеристиками модулей DIMM TruDDR4; емкость хранилища как у SSD и способность оставаться активными после выключения питания или перезагрузки сервера. Эти функции открывают новый способ выполнения операций ввода-вывода данных для разработчиков приложений и новые уровни производительности серверов для клиентов.

Коды производителя (P/N)

   Ниже приведены таблицы кодов производителя компании Intel (Табл. 1) и кодов для заказа компании Lenovo (Табл. 2):

Табл. 1 Коды для заказа компании Intel

* Только в пре-конфигурируемых серверах, не доступно для заказа отдельно (для апгрейда, например)

Табл. 2 Коды для заказа компании Lenovo

Режимы работы системы модулей DCPMM

Постоянная память Intel Optane DC работает в одном из трех режимов:

• Режим памяти (Memory Mode)

   В этом режиме модули DCPMM действуют как модули памяти DDR4 большой емкости. В такой конфигурации память, которую распознает операционная система, является DCPMM; установленные модули DIMM TruDDR4 скрыты от операционной системы и действуют в качестве кэширующего уровня для DCPMM. В этом режиме функция энергонезависимости DCPMM отключена. Этот режим не требует, чтобы приложение поддерживало DCPMM.

• Прямой доступ приложений (App Direct Mode)

   В этом режиме модули DCPMM предоставляют все функции энегргонезависимого хранения для операционной системы и приложений, которые их поддерживают. Операционная система представляет приложениям TruDDR4 DIMM и DCPMM как системную память и постоянное хранилище соответственно.

   В зависимости от конфигурации в UEFI и операционной системе модули DCPMM отображаются в виде одного из двух типов пространств имен:

• • Прямой доступ (DAX): хранилище с байтовой адресацией, доступное через API. Приложения должны поддерживать DCPMM и использовать опубликованные API для реализации функций DCPMM.

  • Блочное хранилище: постоянная память, представляемая приложениям, рассматривается как блочное хранилище, похожее на SSD. Операционная система должна поддерживать DCPMM, а приложения - нет.

   Приложения с плановой поддержкой включают в себя:

• • SAP HANA

  • Aerospike Enterprise Edition

  • GigaSpaces

  • Апач Кассандра

  • Apache Spark SQL с OAP

  • Apache HBase Bucket Cache

  • Apache Hadoop HDFS Cache

• Режим смешанной памяти

   Режим смешанной памяти представляет собой комбинацию режима памяти и режима App Direct, где часть емкости модулей DCPMM используется для операций в режиме памяти, а оставшаяся емкость модулей DCPMM используется для операций режима App Direct. В этом режиме все установленные модули DIMM TruDDR4 скрыты от операционной системы и действуют как слой кэширования для части модулей DCPMM в режиме памяти.

   В режиме App Direct (и постоянной части смешанного режима) постоянную память можно настроить одним из двух способов:

• • Чередование, где все DCPMM рассматриваются как одно монолитное пространство. Это похоже на концепцию RAID-0 в хранилище.

  • Без чередования, где каждый DCPMM рассматривается как отдельное пространство. Это похоже на концепцию JBOD в хранилище.

   Для конфигураций на заказ (CTO) коды функций, перечисленные в следующей таблице, указывают режим DCPMM, который вы хотите включить.

Табл. 3 Для серверов Lenovo. Режим работы DCPMM

На следующем рисунке показан модуль Lenovo TruDDR4 DIMM и модуль постоянной памяти Intel Optane DC

Рисунок 2. Модуль постоянной памяти Intel Optane DC (вверху) и Lenovo TruDDR4 DIMM (внизу)

Преимущества

Постоянная память Intel Optane DC обеспечивает преимущества в следующих типах приложений:

• Увеличенный объем памяти. Для приложений с характеристиками производительности, которые более чувствительны к объему памяти по сравнению с пропускной способностью или задержкой памяти, использование DCPMM может означать значительное увеличение производительности памяти по сравнению с использованием модулей DIMM TruDDR4.

• • • Облачные и инфраструктурные приложения (IaaS)

    • Большее количество виртуальных машин и облачных контейнеров на сервер

    • Больше возможностей по выделению памяти для каждой виртуальной машины

• Базы данных в памяти: С DCPMM приложения баз данных хранят гораздо большие базы данных в постоянной памяти, а не на диске, и производительность базы данных будет значительно улучшена. Для существующих приложений, которые используют системную оперативную память для баз данных в памяти, использование постоянной памяти будет означать, что во время загрузки не будет задержек при копировании баз данных с диска в память.

• Уровни кэширования хранилища: модули TruDDR4 DIMM могут использоваться для максимально быстрого доступа к памяти - лучшей пропускной способности и минимальной задержки, а модули DCPMM могут использоваться для уровня кэширования, который обеспечивает сочетание производительности, подобной динамической памяти, с энергонезависимостью хранения SSD.

• Инфраструктура NFV: Виртуализация сетевых функций (NFV) может использовать увеличенный объем памяти и производительность с добавлением DCPMM.

• • • Высокопроизводительный энергонезависимый кэш для корпоративных и облачных хранилищ

    • Локальный кэш большой емкости для сетевого хранилища App Direct с прямым подключением

Характеристики

Модули DCPMM Intel Optane имеют следующие характеристики:

• Модули DCPMM устанавливаются в стандартные слоты памяти. Сервер должен иметь соответствующую поддержку модулей DCPMM.

• Скорость шины памяти 2666 МГц. Любые установленные модули DIMM TruDDR4 с частотой 2933 МГц также будут работать на частоте 2666 МГц.

• Данные зашифрованы с использованием 256-битного шифрования AES

• Опционально может быть реализована дополнительная безопасность данных в режиме App Direct, включая функцию безопасного стирания

• Обновления прошивки для серверов Lenovo производится через XClarity Administrator и другие инструменты поддержки Lenovo

Мордули DCPMM имеют следующие технологии защиты памяти:

• ECC

• SDDC

• DDDC

• Патрульная очистка

• Очистка по требованию

В режиме App Direct модули DCPMM поддерживают зеркалирование памяти, которое выполняется встроенными контроллерами памяти процессора.

Зеркалирование памяти не поддерживается в режиме памяти или смешанном режиме.

Резервирование ранга памяти не поддерживается модулями DCPMM ни в каких режимах.

Требования к использованию

Ниже приведены требования для выбора количества модулей DIMM и DCPMM:

• Для DCPMM требуются процессоры Intel Xeon Scalable Family второго поколения (Cascade Lake, обозначение: Intel Xeon XXX x2xx). Масштабируемые процессоры первого поколения Xeon (Skylake, обозначение: Intel Xeon XXX x1xx) не поддерживаются.

• Все процессоры Platinum, все процессоры Gold и процессор Silver 4215 поддерживают DCPMM.

• Все установленные DCPMM должны быть одинакового размера. Смешивание DCPMM разной емкости не допускается

• Все установленные модули DIMM должны иметь одинаковый размер и структуру (т.е. один и тот же код изделия, P/N).Микширование разных модулей DIMM не поддерживается

• Использование модулей с организацией 1Rx8 DIMM с DCPMM не поддерживается. Подробности смотрите в разделе поддержки Memory DIMM.

• Максимум 6 DCPMM на один процессор (установите 1 на каждый канал памяти)

• Минимум 2 модуля DIMM TruDDR4 на процессор (по 1 на контроллер памяти)

• Для режима памяти минимум 2 DCPMM на процессор (установите 1 на контроллер памяти)

• Для режима App Direct, минимум 1 DCPMM установлен на сервере (любой процессор)

• Когда используется либо режим памяти, либо смешанный режим, соотношение памяти и модулей DCPMM должно составлять от 1:16 до 1: 4. Для лучшей производительности рекомендуется соотношение 1: 4. Например, 6x16 ГБ DIMM + 2x 256 ГБ DCPMM - это соотношение 1: 5,33. В смешанном режиме энергозависимая часть DCPMM рассматривается в соотношении как память. Это требование отношения не применяется к режиму App Direct.

• Если на одном канале памяти устанавливаются одновременно и DCPMM и DIMM TruDDR4, DCPMM устанавливается в канальный слот 1 (ближайший), а DIMM устанавливается в канальный слот 0

• Чтобы добиться наивысшей производительности, сбалансируйте все каналы памяти.

• Зеркальное отображение памяти модулей DIMM TruDDR4 поддерживается с установленными модулями DCPMM, только в режиме App Direct

• Резервирование памяти не поддерживается с установленными DCPMM

   На следующем рисунке показаны модули DCPMM и TruDDR4, установленные на системной плате ThinkSystem SR950. В этой полной конфигурации в каждом канале памяти установлены один модуль DCPMM и один модуль DIMM TruDDR4 (по 6 модулей DCPMM и по 6 модулей DIMM на процессор).

Рисунок 3. Модули DCPMM Intel Optane, установленные в системной плате ThinkSystem SR950

Требования в режиме прямого доступа приложений (App Direct)

   Модули DCPMM поддерживаются только в количестве 1, 2, 4 и 6 на процессор. Вместе с модулями DCPMM должно быть установлено определенное количество модулей памяти DIMM.

   В следующей таблице перечислены поддерживаемые комбинации в режиме App Direct.

Табл 4. Поддерживаемые комбинации DCPMM и памяти DIMM - серверы с 12 слотами DIMM на процессор

   Обсуждение производительности режима App Direct см. в статье Lenovo Press «Анализ производительности постоянной памяти Intel Optane DC в режиме App Direct на серверах Lenovo ThinkSystem» (Analyzing the Performance of Intel Optane DC Persistent Memory in App Direct Mode in Lenovo ThinkSystem Servers) https://lenovopress.com/LP1083

Требования в режиме памяти (Memory Mode)

   В режиме памяти модули DCPMM рассматриваются операционной системой как системная память. Модули памяти в DIMM этом режиме скрыты от операционной системы и используются в качестве высокоскоростного кэш для модулей DCPMM.

   Ключом к производительности является отношение общего объема модулей DIMM к общему объему DCPMM. Рекомендуемый диапазон соотношения емкости модулей DIMM: DCPMM составляет от 1: 4 до 1:16:

• 1:16 означает, что 1 ГБ модулей DIMM (используется для кэша) приходится на каждые 16 ГБ емкости DCPMM (используется в качестве системной памяти). Значение больше 16 означает потенциально худшую производительность, поскольку вероятность попадания в кэш памяти будет ниже.

• 1: 4 означает, что 1 ГБ модулей DIMM приходится на каждые 4 ГБ емкости DCPMM. 1: 4 рекомендуется как лучший компромисс между производительностью и стоимостью. Число меньше 4 означает, что системная память может быть недостаточно использована в качестве кеша и не оправдает затрат на модули DIMM.

   Модули DCPMM поддерживаются только в количестве 1, 2, 4 и 6 на процессор. Вместе с модулями DCPMM должно быть установлено определенное количество модулей памяти DIMM.

Табл 5. Поддерживаемые комбинации DCPMM и памяти DIMM - серверы с 12 модулями DIMM на процессор

   В таблице ниже приведены примеры комбинаций и эффективное соотношение. Вы можете использовать эту таблицу в качестве руководства для определения размеров модулей DIMM и DCPMM на основе требуемой общей емкости системной памяти (которая является общим значением DCPMM в режиме памяти) и желаемого соотношения.

   Когда установлены все 12 модулей DIMM, это обозначается конфигурацией «2-2-2», где каждые 2 соответствуют количеству модулей DIMM на канал в одном контроллере памяти. Если установлено меньше модулей DIMM, эта комбинация обозначается, как «2-2-1», «2-1-1» и т.п.

Табл. 6 Емкость и соотношение в режиме памяти

Требования в режиме смешанной памяти

   Режим смешанной памяти представляет собой комбинацию режима памяти и режима App Direct, где часть емкости модулей DCPMM используется для операций в режиме памяти, а оставшаяся емкость модулей DCPMM используется для операций режима App Direct.

   В смешанном режиме все установленные модули DIMM TruDDR4 скрыты от операционной системы и действуют как слой кэширования для части модулей DCPMM в режиме памяти. Как и в режиме памяти, отношение общего количества модулей памяти DIMM к общему количеству энергозависимой части модулей DCPMM должно составлять от 1: 4 до 1:16.

   Когда вы включаете режим смешанной памяти в UEFI или задаете режим смешанной памяти при создании конфигурации CTO (конфигурация на заказ) (функция B52A), вам также будет предложено указать процент от общей емкости DCPMM, выделенной для режима памяти. Оставшаяся емкость DCPMM будет выделена для режима App Direct.

   В следующих таблицах показан допустимый процент для каждого типоразмера DCPMM, а также эффективный объем постоянной памяти App Direct, который будет доступен для приложений. Процентное соотношение ограничено определенными рамками. Объем выделенной постоянной памяти App Direct определяется шагом 32 ГБ и умножается на количество установленных модулей DCPMM.

Табл. 7 Доступные коэффициенты для смешанного режима

   В следующей таблице показаны некоторые из поддерживаемых комбинаций DCPMM и DIMM. Могут поддерживаться дополнительные комбинации, но ключевым требованием является обеспечение того, чтобы отношение общей емкости модулей DIMM памяти к общему количеству энергозависимой части DCPMM составляло от 1: 4 до 1:16.

Табл. 8 Поддерживаемые комбинации модулей DCPMM и памяти DIMM - серверы с 12 модулями DIMM на процессор

Поддержка памяти DIMM

   В следующей таблице перечислены модули DIMM TruDDR4, которые можно установить вместе с модулями DCPMM.Модули DIMM с частотой 2933 МГц будут работать на частоте 2666 МГц с установленными модулями DCPMM.

Примечания :

• RDIMM, LRDIMM и 3DS RDIMM нельзя смешивать.

• Не все серверы поддерживают все параметры памяти. См. Сводку памяти Lenovo ThinkSystem для деталей: 
  https://lenovopress.com/lp1021-lenovo-thinksystem-memory-summary

Поддержка процессорами

    Постоянная память Intel Optane DC поддерживается следующими процессорами:

• Все процессоры Xeon Platinum второго поколения (серия 8200)
• Все процессоры Xeon Gold второго поколения (серии 6200 и 5200)
• Следующий процессор Xeon Silver второго поколения (серия 4200):
  • Процессор Intel Xeon Silver 4215 8C, 85 Вт, 2,5 ГГц

Примечание . Некоторые серверы поддерживают только часть вышеуказанных процессоров с DCPMM из-за ограничений теплопакета (TDP). За подробностями обращайтесь к соответствующему руководству по серверному продукту.

   Процессоры Xeon Scalable второго поколения имеют ограничения по объему памяти, к которому они могут обращаться, и этот максимум памяти также включает в расчет DCPMM:

• Процессоры с суффиксом L (например, 8280L): максимум 4,5 ТБ на процессор
• Процессоры с суффиксом M (например, 8280M): максимум 2 ТБ на процессор
• Все остальные процессоры: 1 ТБ на процессор

Например:

• Конфигурация с использованием 12x 64 ГБ модулей DIMM на процессор составляет в общей сложности 768 ГБ, что означает, что не требуется ни M, ни L процессор
• Конфигурация с использованием 12x 256 ГБ модулей DIMM на процессор составляет 3 ТБ, что означает, что требуется процессор L
• Конфигурация с использованием 6 модулей DIMM 32 ГБ + 6 модулей DCPMM 256 ГБ составляет в общей сложности 1,69 ТБ, что означает, что требуется процессор M (также можно использовать процессор L)
• Конфигурация с использованием 6x 64 ГБ модулей DIMM + 6x 512 ГБ модулей DCPMM составляет в общей сложности 3,375 ТБ, что означает, что требуется процессор L
• Конфигурация с использованием 6x 256 ГБ модулей DIMM + 6x 512 ГБ DCPMM - это всего 4,5 ТБ, что означает, что требуется процессор L

Поддержка платформой (сервером)

Lenovo

   Следующий ряд серверов Lenovo поддерживает конфигурации с Optane DC памятью всех емкостей:

2S Rack & Tower:

SR570 (7Y02/7Y03)
SR590 (7X98/7X99)
SR630 (7X01/7X02)
SR650 (7X05/7X06

4S Rack:

SR850 (7X18/7X19)
SR860 (7X69/7X70)
SR950 (7X11/12/13)

Dense/ Blade:

SD530 (7X21)
SD650 (7X58)  - преконфигурируемая
SN550 (7X16)
SN850 (7X15)

***   Следующая информация дополнена автором по материалам ресурсов www.supermicro.com, www.tyan.com, www.intel.com, ark.intel.com

Supermicro

Как обычно, Supermicro оперативно поддерживает новую технологию. Наряду с поддержкой NVDIMM (NVRAM) (детище Micron), которая так и не достигла более-менее массового применения в силу объективных причин, компания активно включила поддержку модулей DCPMM.

2-процессорные платформы

   Практически все 2-процессорные материнские платы Supermicro под второе поколение Xeon Scalable поддерживают Intel Optane DC модули (https://www.supermicro.com/support/resources/MB_matrix.php). В исключениях - единичные модели: X11DPL-i, X11DPT-L, X11DAC. Для всех остальных - а их много, указан максимальный суммарный поддерживаемый объем Optane DC модулей - 2ТБ или 6ТБ. 
   Пусть вас не смущает указание "in memory mode", это - для однозначного обозначения максимального объема и совершенно не означает, что модули могут быть использованы исключительно в режиме памяти. В руководстве пользователя добавлен раздел "Intel® Optane® DC Persistent Memory Configuration", описывающий конфигурирование и мониторинг средствами UEFI BIOS.

1-процессорные платформы

   Среди 1-процессорных материнских плат 4 модели поддерживают суммарно до 1ТБ Intel Optane DC Persistent Memory : X11SPM-TPF, X11SPM-TF, X11SPM-F и X11SPL-F.

   Выбор есть. В сочетании с различными вариантами корпусов, общее количество решений для Intel Optane DC огромно. Понятно, что практика приводит к самоограничению фантазии и сведению широкого теоретического выбора к небольшому количеству мейнстрим комбинаций с теми или иными компромиссами между "хочу" и "выгодно".

Tyan

   Компания Tyan заявила о поддержке Intel Optane DC рядом платформ (порядка 60), предназначенных под процессоры Xeon Scalable второго поколения (https://www.tyan.com/EN/campaign/intel/2nd_gen_xeon_scalable/). Отдельного пресс-релиза или упоминаний Optane DC на страницах описания материнских плат и платформ пока нет.

Intel

   Удивительное дело, казалось бы, кому - как не Intel трубить во все твубы... Но - нет! Отдельная ветка посвящена общему описанию продукта (https://www.intel.ru/content/www/ru/ru/architecture-and-technology/optane-dc-persistent-memory.html), но никакой связки с разделом "Материнские платы" или еще каким-либо, нет. Так же, как в обратную сторону. Как будто две разные компании, каждая занимается своей нишей и между собой не особенно дружат...