Сбалансированные конфигурации памяти процессоров семейства Intel Xeon Scalable

Последнее обновление: 20 ноября 2017

Скачать статью в .pdf

Авторы:

Dan Colglazier

Joseph Jakubowski

Jamal Ayoubi

Lenovo Press

Перевод подготовлен SMB-Solution

Обзор

Конфигурирование сервера со сбалансированной памятью важно для максимизации пропускной способности памяти и, как результат - общей производительности системы. Серверы Lenovo® ThinkSystem ™ с процессорами Intel Xeon Scalable Family имеют шесть каналов памяти на процессор и до двух модулей DIMM на канал, поэтому важно понимать, что считается сбалансированной конфигурацией, а что нет.

В этой статье мы представляем три принципа балансировки памяти, которые помогут вам выбрать оптимальную конфигурацию памяти. Сбалансированные и несбалансированные конфигурации памяти представлены вместе с их измеренной относительной шириной полосы пропускания, чтобы показать эффект, который привносит несбалансированнсть памяти. Также предлагаются предложения по созданию сбалансированных конфигураций памяти.

Этот документ предназначен для покупателей ThinkSystem, а также для деловых партнеров и продавцов, желающих понять, как максимизировать производительность серверов Lenovo.

В Lenovo Press мы объединяем экспертов для выпуска технических публикаций по важным для вас темам, предоставляя информацию и рекомендации по использованию продуктов и решений Lenovo для решения ИТ-задач.

См. Список наших последних публикаций на веб-сайте Lenovo Press:

http://lenovopress.com

Время от времени мы обновляем наши документы, поэтому проверьте, есть ли у вас последняя версия этого документа.

Содержание

Обзор

Содержание

Введение

Чередование памяти

Сбалансированные конфигурации памяти

Описание теста STREAM

Топология памяти

Применение принципов сбалансированной конфигурации памяти

Конфигурация из 1 модуля DIMM – несбалансированная

Конфигурация из 2 модулей DIMM – сбалансированная при корректной установке

Конфигурация из 3 модулей DIMM – несбалансированная

Конфигурация из 4 модулей DIMM – сбалансированная при корректной установке

Конфигурация из 5 модулей DIMM – несбалансированная

Конфигурация из 6 модулей DIMM – сбалансированная

Конфигурация из 7 модулей DIMM – несбалансированная

Конфигурация из 8 модулей DIMM – сбалансированная при корректной установке

Конфигурация из 9 модулей DIMM – несбалансированная

Конфигурация из 10 модулей DIMM – несбалансированная

Конфигурация из 11 модулей DIMM – несбалансированная

Конфигурация из 12 модулей DIMM – сбалансированная и наиболее производительная

Сводная таблица результатов тестирования

Около-балансовые конфигурации

Максимизация полосы пропускания памяти

Резюме

Авторы

Введение

Подсистема памяти является ключевым компонентом архитектуры сервера Intel x86 и может существенно повлиять на его производительность. При правильной настройке подсистема памяти может обеспечить чрезвычайно высокую пропускную способность и низкую задержку доступа к памяти. Если подсистема памяти неправильно настроена, пропускная способность памяти, установленной в сервер, может стать ограниченной, а общая производительность сервера может быть значительно уменьшена.

В этом кратком руководстве объясняется концепция сбалансированных конфигураций памяти, которые обеспечивают максимально возможную пропускную способность. На примере установки от одного до двенадцати модулей памяти проиллюстрировано влияние сбалансированных и несбалансированных конфигураций на производительность подсистемы памяти.

В обзоре рассматриваются процессоры семейства Intel Xeon Scalable. Семейства процессоров Intel E5 v4 и Intel E7 v4 обсуждались в предыдущем кратком обзоре «Достижение максимальной производительности System x и ThinkServer с использованием балансировки конфигурации памяти».

Чередование памяти

Доступ к информации, хранящейся на модулях DIMM, обеспечивается контроллерами памяти, которые интегрированы в процессор. В процессоре семейства  Intel Xeon Scalable имеются два контроллера памяти. Каждый контроллер памяти подключен к трем каналам памяти, которые подключены к физическим разъемам (слотам), в которые устанавливаются модули  DIMM.

На рисунке 1 показано, как контроллеры памяти процессора Scalable Family подключаются к слотам памяти DIMM.

Рисунок 1. Процессор семейства Scalable с двумя контроллерами памяти, шестью каналами памяти и двенадцатью слотами памяти DIMM

Процессоры Intel Xeon Scalable оптимизируют доступ к памяти путем создания наборов чередования между контроллерами памяти и каналами памяти. Например, если два канала памяти имеют одинаковую общую емкость памяти, в каналах памяти создается 2-полосный набор чередования. Чередование обеспечивает более высокую пропускную способность памяти, за счет распределения параллельных обращений к обоим каналам памяти, вместо того, чтобы последовательно передавать все обращения к памяти на один канал.

Если модули DIMM заполнены в каналах памяти так, что общая емкость памяти в каналах различается, контроллер памяти вынужден создавать множество наборов чередования. В некоторые наборы чередования может быть включено меньше модулей DIMM. Управление множеством наборов чередования создает существенные накладные расходы для контроллеров, что может уменьшить пропускную способность памяти.

Кроме того, производительность доступа к памяти зависит от того, к какой области памяти производится обращение и сколько модулей DIMM содержится в наборе чередования. Доступ к области памяти, сформированной с меньшим количеством модулей DIMM в наборе чередования будет иметь более низкую производительность по сравнению с доступом к области памяти с большим количеством модулей DIMM в наборе.

На рисунке 2 показан 4-канальный набор чередования (4-channelinterleaveset) на процессоре Scalable, который формируется при заполнении одинаковыми модулями DIMM на двух каналах памяти на каждом контроллере памяти. Этот 4-полосный набор перемежается по контроллерам памяти и между каналами памяти на каждом контроллере памяти. Последовательные адреса чередуются между контроллерами памяти с каждым четвертым адресом, идущим на каждый канал памяти.

Рисунок 2. 4-канальный набор чередования между контроллерами памяти и между каналами памяти

В канале памяти может произойти второй уровень чередования, называемый чередованием ранков памяти. Ранк памяти - это блок данных, созданный из микросхем памяти в модуле памяти DIMM. Ранк памяти обычно имеет ширину в 64 бит. Если поддерживается ECC, добавляются дополнительные 8 бит до общей ширины 72 бит. Модуль DIMM может содержать несколько ранков памяти. Наиболее распространены модули DIMM с одним, двумя и четырьмя ранками

Чередование по ранкам обычно улучшает производительность памяти, так как общее число ранков на канале памяти возрастает. Архитектура Intel оптимизирована для двух-четырех ранков памяти на канал. Всесте с тем, производительность конфигурации с четырьмя ранками на канал памяти может незначительно ухудшаться из-за задержки, обусловленной электрическим переключением между ранками в канале контроллера памяти.

Сбалансированные конфигурации памяти

Сбалансированные конфигурации обеспечивают оптимальное чередование по всем подключенным каналам памяти, что обеспечивает максимальную пропускную способность. Полоса пропускания может быть оптимизирована, если оба контроллера памяти в одном физическом процессоре имеют идентичную конфигурацию. Производительность памяти системного уровня может быть дополнительно оптимизирована, если каждый физический процессор имеет один и тот же объем физической памяти.

В результате основные принципы сбалансированной подсистемы памяти заключаются в следующем:

1. Все заполненные каналы памяти должны иметь одинаковую общую емкость памяти и одинаковое общее количество ранков.

2. Все контроллеры памяти в процессорном сокете должны иметь одинаковую конфигурацию модулей DIMM.

3. Все сокеты процессора на одном физическом сервере должны иметь одинаковую конфигурацию модулей DIMM.

Примечание. Мы ссылаемся на вышеуказанные три пункта на протяжении всей этой статьи как на правила балансировки 1, 2 и 3

Описание теста STREAM

STREAM Triad - простой, синтетический эталонный тест, предназначенный для измерения устойчивой пропускной способности памяти. Его цель - измерить лучшую доступную пропускную способность памяти. STREAM Triad будет использоваться для измерения постоянной пропускной способности различных конфигураций, чтобы увидеть влияние баланса на пропускную способность памяти.

Для получения дополнительной информации о STREAM Triad см.

http://www.cs.virginia.edu/stream/

Топология памяти

Процессор Scalable Family имеет два контроллера памяти. Каждый контроллер памяти имеет три канала памяти, и каждый канал памяти поддерживает один или два слота DIMM. Чтобы проиллюстрировать различные топологии памяти для процессора с двумя контроллерами памяти, различные конфигурации будут обозначаться как A: B: C, D: E: F, где каждая буква указывает количество модулей DIMM, заполненных на каждом канале памяти.

► A относится к каналу памяти 0 контроллера памяти 0
► B относится к каналу памяти 1 контроллера памяти 0
► C относится к каналу памяти 2 контроллера памяти 0
► D относится к каналу памяти 0 контроллера памяти 1
► E относится к каналу памяти 1 контроллера памяти 1
► F относится к каналу памяти 2 контроллера памяти 1

Например, конфигурация памяти 2: 2: 2,1: 1: 1 имеет:

► 2 DIMM на каналах памяти 0, 1 и 2 на контроллере памяти 0
► 1 DIMM на каналах памяти 0, 1 и 2 на контроллере памяти 1.

Применение принципов сбалансированной конфигурации памяти

Начнем с предположения о том, что правило балансировки памяти 3, описанное в разделе «Сбалансированные конфигурации памяти» на стр. 4, соблюдается и все процессоры на одном физическом сервере имеют одинаковую конфигурацию модулей DIMM. В таком случае, нам достаточно рассмотреть конфигурации памяти для одного процессора для описания всех возможных конфигураций.

Все используемые модули DIMM - 32-Gb RDIMM. Количество используемых DIMM будет увеличиваться от одного до двенадцати, чтобы увидеть изменение пропускной способности. Для каждой конфигурации памяти мы определим, какие правила балансировки будут соблюдены, а также количество и тип наборов чередования. Также будут указаны все рекомендации по улучшению производительности конфигурации памяти.

Последовательность установки: при установке модулей DIMM, следуйте рекомендациям руководства пользователя для вашего конкретного сервера. Конфигурации, показанные в этом кратком описании приведены только для демонстрационных целей.

Конфигурация из 1 модуля DIMM – несбалансированная

Мы начнем с одного 32 ГБ двух-ранкового модуля DIMM, который дает конфигурацию памяти 1:0:0,0:0:0, показанную на рисунке 3.

Правилу 1 сбалансированной памяти следует только один канал с заполненной памятью. Правило балансировки памяти 2 не выполняется, поскольку заполняется только один контроллер памяти. Это не сбалансированная конфигурация памяти.

Образуется единственный 1-канальный набор чередования. Наличие только одного канала, заполненного памятью, значительно уменьшает пропускную способность этой конфигурации, которая показала результат на уровне 18% или около одной шестой от полной потенциальной пропускной способности памяти.

Лучший способ увеличить пропускную способность памяти этой конфигурации - использовать больше модулей DIMM. Два 16 Gb модуля RDIMM, при той  же общей емкости, практически удвоят пропускную способность памяти.

Рисунок 3 Конфигурация памяти 1:0:0,0:0:0
(относительная полоса пропускания  STREAM = 18%)

Конфигурация из 2 модулей DIMM – сбалансированная при корректной установке

Два модуля DIMM могут быть установлены двумя различными способами: один будет сбалансированным, а другой - нет.

Первой мы рассмотрим конфигурацию памяти 1:0:0,1:0:0, показанную на рисунке 4. Эта конфигурация памяти соответствует правилу балансировки 1, поскольку оба заполненных канала имеют одинаковую емкость памяти. Он также соответствует правилу балансировки 2 с одинаковой конфигурацией на каждом контроллере памяти. Это сбалансированная конфигурация памяти.

На контроллерах памяти формируется один двухканальный набор чередования. Только два канала памяти заполнены памятью, что значительно сокращает пропускную способность этой конфигурации примерно до одной трети от полной потенциальной пропускной способности памяти. Ее результат - 35%.

Лучший способ увеличить пропускную способность памяти этой конфигурации - использовать больше модулей DIMM. Четыре 16 GbRDIMM обеспечивают такую же емкость, но почти удваивают пропускную способность памяти.

Рисунок 4 Конфигурация памяти 1:0:0,1:0:0
(относительная полоса пропускания  STREAM = 35%)

Второй способ, которым можно организовать два модуля DIMM - это подключить их оба к одному контроллеру памяти, как в конфигурации памяти 1:1:0,0 0:0, показанной на рисунке 5. Эта конфигурация памяти соответствует правилу балансировки памяти 1, поскольку оба заполненных канала имеют одинаковую емкость памяти. Он не соответствует правилу балансировки 2, так как имеет разные конфигурации на контроллерах памяти.
Это несбалансированная конфигурация памяти.

На одном заполненном контроллере памяти формируется один двухканальный набор чередования. Только два канала памяти заполнены памятью, что значительно сокращает пропускную способность этой конфигурации до примерно одной трети от полной потенциальной пропускной способности. Результат измерений - 34% - показывает, что чередование каналов на одном контроллере памяти обеспечивает чуть меньшую пропускную способность, чем чередование между контроллерами.

Лучший способ увеличить пропускную способность памяти этой конфигурации - чередование по контроллерам памяти и использование большего количества модулей DIMM.

Рисунок 5 Конфигурация памяти 1:1:0,0:0:0
(относительная полоса пропускания  STREAM = 34%)

Конфигурация из 3 модулей DIMM – несбалансированная

Три модуля DIMM могут быть подключены к одному контроллеру памяти или распределены между двумя контроллерами памяти.

Пропускная способность памяти лучше в конфигурации памяти 1:1:1,0:0:0, показанной на рисунке 6. Эта конфигурация соответствует правилу балансировки памяти 1, так как три заполненных канала памяти имеют одинаковую емкость. Схема не соответствует правилу балансировки 2, так как имеет разные конфигурации на контроллерах памяти.
Это несбалансированная конфигурация памяти.

На одном заполненном контроллере памяти формируется один трехканальный набор чередования. Только половина каналов памяти заполнена памятью, что уменьшает производительность этой конфигурации примерно до половины полной потенциальной пропускной способности памяти. Ее значение - 51%.

Лучший способ увеличить пропускную способность памяти этой конфигурации - заполнение большего количества каналов памяти за счет большего количества модулей DIMM.

Рисунок 6 Конфигурация памяти 1:1:1,0:0:0
(относительная полоса пропускания  STREAM = 51%)

Распределение трех модулей DIMM между двумя контроллерами значительно сокращает пропускную способность памяти по сравнению с одним контроллером. Конфигурация памяти 1:1:0,1:0:0, показанная на рисунке 7, соответствует правилу балансировки памяти 1, но не соответствует правилу 2.
Это несбалансированная конфигурация памяти.

Для этой конфигурации памяти сформированы два набора чередования: один двухканальный, установленный на контроллерах памяти, и один одноканальный набор с оставшейся памятью. Наличие нескольких наборов чередования значительно снижает пропускную способность памяти. Результат измерения этой конфигурации - 20% от полной потенциальной пропускной способности, несмотря на заполнение половины каналов памяти. Ситуация демонстрирует важность наличия единого набора чередования для оптимальной пропускной способности памяти.

Наилучшие способы увеличить пропускную способность памяти этой конфигурации - сформировать только один набор чередования, связав все три модуля DIMM с одним и тем же контроллером памяти и заполнив больше каналов памяти, используя больше модулей DIMM.

Рисунок 7 Конфигурация памяти 1:1:0,1:0:0
(относительная полоса пропускания  STREAM = 20%)

Конфигурация из 4 модулей DIMM – сбалансированная при корректной установке

Четыре модуля DIMM могут быть установлены в конфигурации 1:1:0,1:1:0, показанной на рисунке 8. Эта конфигурация памяти соответствует правилу балансировки памяти 1, поскольку четыре заполненных канала имеют одинаковую емкость памяти. Он также следует принципам балансировки памяти 2, так как имеет одну и ту же конфигурацию памяти на каждом контроллере памяти.
Это сбалансированная конфигурация памяти.

На контроллерах памяти формируется один 4-канальный набор чередования. Только четыре канала памяти заполнены памятью, что уменьшает пропускную способность этой конфигурации примерно до двух третей полной потенциальной пропускной способности. Ее результат - 67%.

Лучший способ увеличить пропускную способность этой конфигурации памяти - заполнить все каналы памяти, используя больше модулей DIMM.

Рисунок 8 Конфигурация памяти 1:1:0,1:1:0
(относительная полоса пропускания  STREAM = 67%)

Четыре модуля DIMM также могут быть заполнены в конфигурации памяти 1:1:1,1:0:0, показанной на рисунке 9. Эта конфигурация памяти соответствует правилу балансировки 1, но не 2.
Это несбалансированная конфигурация памяти.

Формируются два набора двухканальных чередующихся элементов, один по контроллерам памяти и один с оставшейся памятью на одном контроллере. Как было замечено ранее, более одного набора чередования вредит полосе пропускания памяти. Эта конфигурация памяти показала результат на уровне 35%, что составляет примерно половину от полосы пропускания четырех модулей DIMM в одном наборе чередования.

Лучший способ увеличить пропускную способность этой конфигурации памяти - переместить один DIMM памяти, чтобы уменьшить количество наборов чередования от двух до одного.

Рисунок 9 Конфигурация памяти 1:1:1,1:0:0
(относительная полоса пропускания  STREAM = 35%)

Конфигурация из 5 модулей DIMM – несбалансированная

Конфигурация из пяти модулей DIMM лучше всего заполняется по схеме 1:1:1,1:1:0, показанной на рисунке 10. Хотя эта конфигурация памяти соответствует правилу балансировки 1 с пятью заполненными каналами памяти, имеющими одинаковый объем, она не соответствует правилу 2 с различными конфигурациями памяти на контроллерах.
Это несбалансированная конфигурация памяти.

4-канальный набор чередования формируется на контроллерах памяти вместе с 1-канальным чередованием с оставшейся памятью. Наличие двух наборов чередования уменьшает пропускную способность этой конфигурации памяти до 34%.

Лучший способ увеличить пропускную способность памяти этой конфигурации памяти - добавить еще один модуль DIMM, тем самым заполнив все каналы памяти и сформировав один набор чередования.

Рисунок 10 Конфигурация памяти 1:1:1,1:1:0
(относительная полоса пропускания  STREAM = 34%)

Конфигурация из 6 модулей DIMM – сбалансированная

Конфигурация сбалансированной памяти достигается с помощью шести модулей DIMM в схеме памяти 1:1:1,1:1:1, показанной на рисунке 11. Эта конфигурация соответствует правилу балансировки памяти 1, поскольку все шесть каналов имеют одинаковую емкость памяти , Она также соответствует правилу 2, как имеющая одну и ту же конфигурацию на каждом контроллере памяти.

На контроллерах памяти формируется один 6-канальный набор чередования. Все каналы памяти заполнены, увеличивая потенциальную пропускную способность. Результат измерений - на уровне 97%.

Наличие только двух ранков на канал памяти немного снижает пропускную способность памяти этой конфигурации. Наличие четырех ранков на канал памяти увеличит пропускную способность памяти на 3%, что является лучшим способом увеличить производительность памяти в этой конфигурации.

Рисунок 11 Конфигурация памяти 1:1:1,1:1:1
(относительная полоса пропускания  STREAM = 97%)

Конфигурация из 7 модулей DIMM – несбалансированная

Семь модулей DIMM могут быть заполнены в конфигурации памяти 2:1:1,1:1:1, показанной на рисунке 12. Эта конфигурация памяти не соответствует правилу балансировки памяти 1, так как один канал памяти имеет удвоенную емкость по сравнению с другими каналами. Она также не соответствует правилу балансировки 2, т.к. имеет различные конфигурации на контроллерах памяти.
Это несбалансированная конфигурация памяти.

6-канальный чередование формируется через контроллеры памяти вместе с 1-канальным чередованием с оставшейся памятью. Наличие двух наборов чередования уменьшает пропускную способность этой конфигурации памяти до 30%.

Рисунок 12 Конфигурация памяти 2:1:1,1:1:1
(относительная полоса пропускания  STREAM = 30%)

Заполнение семи модулей DIMM в конфигурации памяти 2:2:0,1:1:1, показанной на рисунке 13, не очень помогает увеличить пропускную способность памяти. Она не соответствует правилам балансировки памяти 1 и 2 - не все каналы памяти заполнены и формируются три набора чередования. Эта конфигурация памяти показала результат на уровне 34%. Лучше не использовать семь модулей DIMM, если важна пропускная способность памяти.

Рисунок 13 Конфигурация памяти 2:2:0,1:1:1
(относительная полоса пропускания  STREAM = 34%)

Конфигурация из 8 модулей DIMM – сбалансированная при корректной установке

Восемь модулей DIMM могут быть заполнены в конфигурации 2:2:0,2:2:0, показанной на рисунке 14. Эта конфигурация памяти соответствует правилу балансировки памяти 1, поскольку четыре заполненных канала имеют одинаковую емкость памяти. Он также следует правилу 2, т.к. имеет одну и ту же конфигурацию памяти на каждом контроллере.
Это сбалансированная конфигурация памяти.

На контроллерах памяти формируется один 4-канальный набор чередования. Только четыре канала памяти заполнены, что уменьшает пропускную способность этой конфигурации памяти примерно до двух третей от полной потенциальной пропускной способности. Ее результат  на уровне 68%.

Лучший способ увеличить пропускную способность этой конфигурации - заполнить больше каналов памяти, используя больше модулей DIMM.

Рисунок 14 Конфигурация памяти 2:2:0,2:2:0
(относительная полоса пропускания  STREAM = 68%)

Восемь модулей DIMM также могут быть заполнены в конфигурации памяти 2:1:1,2:1:1, показанной на рисунке 15. Эта конфигурация памяти не соответствует правилу балансировки 1, так как два канала имеют удвоенную емкость памяти по сравнению с  другими каналами. Она выполняет правило 2 - конфигурации памяти на обоих контроллерах памяти совпадают.
Это несбалансированная конфигурация памяти.

На контроллерах памяти формируется 6-канальный набор чередования и 2-канальный набор чередования. Как было замечено ранее, более одного набора чередования вредит полосе пропускания памяти. Эта конфигурация памяти показала результат 34%, что составляет примерно половину от полосы пропускания с восемью модулями DIMM в одном наборе чередования.

Лучший способ увеличить пропускную способность этой конфигурации памяти - это перемещение двух модулей DIMM, чтобы уменьшить количество наборов чередования с двух до одного.

Рисунок 15 Конфигурация памяти 2:1:1,2:1:1
(относительная полоса пропускания  STREAM = 34%)

Конфигурация из 9 модулей DIMM – несбалансированная

Установка  девяти модулей DIMM в двух разных конфигурациях памяти наглядно демонстрирует, как меньшее количество наборов чередования увеличивает пропускную способность памяти. Ни одна из них не следует принципам балансировки памяти 1 и 2. Ни одна из них не является сбалансированной конфигурацией памяти.

Конфигурация памяти 2:2:2,1:1:1 показана на рисунке 16. Она формирует два набора чередования: 6-канальное чередование, установленное на контроллерах памяти, и 3-канальный набор чередования оставшейся памяти , Результат теста на уровне 51% от полной потенциальной пропускной способности памяти.

Рисунок 16 Конфигурация памяти 2:2:2,1:1:1
(относительная полоса пропускания  STREAM = 51%)

Перемещение одного модуля DIMM, для улучшения баланса между контроллерами, создает конфигурацию памяти 2: 2: 1,2: 1: 1, показанную на рисунке 17. К сожалению, это приводит к формированию трех наборов чередования: 6-канальный и 2-канальное чередование между контроллерами памяти и 1-канальное чередование оставшейся памяти. Три набора чередования очень вредны для пропускной способности памяти. Эта конфигурация памяти дала результат на уровне 34%. Предел пропускной способности памяти в конфигурации DIMM с девятью модулями можно улучшить, используя три дополнительных модуля DIMM.

Рисунок 17 Конфигурация памяти 2:2:1,2:1:1
(относительная полоса пропускания  STREAM = 34%)

Конфигурация из 10 модулей DIMM – несбалансированная

Заполнение десяти модулей DIMM в конфигурации памяти 2:2:1,2:2:1, показанной на рисунке 18, не соответствует правилу балансировки памяти 1, так как четыре канала имеют вдвое большую емкость, чем два других. Она выполняет правило балансировки 2, поскольку повторяет конфигурацию памяти на обоих контроллерах.
Это несбалансированная конфигурация памяти.

На контроллерах памяти формируются два набора чередования: один 6-канальный и один 4-канальный. Эта комбинация работает достаточно хорошо и дает результат 67% полной потенциальной пропускной способности памяти.

Рисунок 18 Конфигурация памяти 2:2:1,2:2:1
(относительная полоса пропускания  STREAM = 67%)

Перемещение одного DIMM для создания конфигурации 2:2:2,2:2:0, показанной на рисунке 19, уменьшило результат тестов до 17% от полной потенциальной пропускной способности памяти. Конфигурация  соответствует правилу балансировки  памяти 1, но правило 2 не выполнено.
Она не является сбалансированной конфигурацией памяти.

Эта конфигурация памяти формирует 4-канальный набор чередования между контроллерами памяти и 1-канальный чередование с оставшейся памятью.

Конфигурацию из десяти DIMM можно улучшить, добавив два дополнительных модуля.

Рисунок 19 Конфигурация памяти 2:2:2,2:2:0
(относительная полоса пропускания  STREAM = 17%)

Конфигурация из 11 модулей DIMM – несбалансированная

Наполнение одиннадцати модулей DIMM в конфигурации памяти 2:2:2,2:2:1, показанной на рисунке 20, не обеспечивает очень хорошую пропускную способность памяти. Оно не соответствует ни 1 ни 2 правилу балансировки памяти 1 или 2.. Формируются три набора чередования: 6-канальное и 4-канальное чередование устанавливаются  на контроллерах памяти, и 1-канальный набор с оставшейся памятью. Измерения дали результат на уровне 41% от полной потенциальной пропускной способности памяти.

Добавление еще одного модуля памяти значительно улучшит ее пропускную способность.

Рисунок 20 Конфигурация памяти 2:2:2,2:2:1
(относительная полоса пропускания  STREAM = 41%)

Конфигурация из 12 модулей DIMM – сбалансированная и наиболее производительная

Заполнение всех двенадцати слотов DIMM модулями памяти обеспечивает всю потенциальную пропускную способность и дает результат 100%. Это конфигурация памяти 2:2:2,2:2:2 показана на рисунке 21. Конфигурация памяти сбалансирована, поскольку она соответствует правилам балансировки 1 и 2, т.к. имеет одинаковую емкостью памяти на каждом канале и симметричную конфигурацию между контроллерами. Формируется только один 6-канальный набор чередования, установленный на контроллерах памяти. Это идеальная конфигурация памяти для максимальной производительности с четырьмя ранками на канал.

Рисунок 21 Конфигурация памяти 2:2:2,2:2:2
(относительная полоса пропускания  STREAM = 100%)

Сводная таблица результатов тестирования

В таблице 1 собраны результаты тестирования относительной пропускной способности памяти всех конфигураций памяти, представленных в этой статье. Он также показывает количество наборов чередования, сформированных для каждого случая и показывает, является ли эта комбинация сбалансированной или несбалансированной конфигурацией памяти.

При использовании однотипных  модулей DIMM только конфигурации памяти с 6 или 12 модулями DIMM обеспечивают полную потенциальную пропускную способность памяти. Это лучшие конфигурации памяти для производительности. Сбалансированные конфигурации памяти также могут быть достигнуты с помощью двух, четырех и восьми модулей DIMM, но они не заполняют все каналы памяти, что снижает общую  пропускную способность и производительность.

Конфигурации сбалансированной памяти - это единственные конфигурации, которые должны использоваться, если важны пропускная способность и производительность памяти.

Таблица 1. Сводные результаты тестирования конфигураций

Около-балансовые конфигурации

Для обеспечения хорошей пропускной способности и производительности памяти не обязательно использовать только идентичные модули DIMM. Комбинация модулей DIMM с разной емкостью может быть наиболее экономичным способом получения необходимой емкости памяти и производительности.

Конфигурации памяти, которые используют только идентичные модули DIMM и следуют всем принципам балансировки памяти, называются «Сбалансированными». Конфигурации памяти, которые используют два разных модуля DIMM и следуют всем принципам сбалансированной памяти, называются «Около-балансовыми» (Near-Balanced).

Измерения показывают примерно 3% -ную потерю пропускной способности памяти при использовании около-балансовой конфигурации по сравнению с конфигурацией сбалансированной памяти, при условии, что на каждом канале имеется четное общее количество ранков памяти.

Максимизация полосы пропускания памяти

Чтобы максимизировать пропускную способность памяти сервера, необходимо соблюдать следующие правила:

► Баланс памяти между процессорными сокетами - все сокеты процессора на одном физическом сервере должны иметь одинаковую конфигурацию модулей DIMM

► Баланс памяти на контроллерах памяти - все контроллеры памяти в процессорном сокете должны иметь одинаковую конфигурацию модулей DIMM

► Баланс памяти по всем задействованным каналам памяти - все каналы, заполненные модулями памяти должны иметь одинаковую общую емкость памяти и одинаковое общее количество ранков

Для достижения оптимальной пропускной способности памяти выполните следующие действия:

1. Определите размер необходимой в сервере памяти,
2. Разделите этот резмер памяти на двенадцать, чтобы определить минимальную требуемую емкость модуля DIMM,
3. Округлите эту рассчитанную емкость DIMM до ближайшей доступной емкости DIMM и
4. Установите в ваш сервер двенадцать DIMM этой емкости

Например, если требуется 256 ГБ оперативной памяти, каждый модуль DIMM должен быть чуть более 21 ГБ. Ближайший размер доступной памяти DIMM составляет 32 ГБ. Таким образом, заполните ваш сервер двенадцатью 32-гигабайтными DIMM.

Хорошей альтернативой было бы использовать 32 ГБ и 16 ГБ DIMM на каждом канале памяти, который обеспечивает 6 x (32 ГБ + 16 ГБ) = 288 ГБ общей емкости памяти. Эта альтернатива представляет собой около-балансовую конфигурацию памяти.

Если требования к размеру памяти вашей системы малы, вы можете разделить на шесть на шаге 2, описанном выше и использовать только шесть модулей DIMM.

Вы должны создать сбалансированную или около-балансовую конфигурацию памяти, следуя всем принципам сбалансированной памяти, чтобы максимизировать ее пропускную способность и общую производительность сервера.

Резюме

Общая производительность сервера существенно зависит от подсистемы памяти, которая может обеспечить высокую пропускную способность, и низкую задержку доступа при правильной настройке.

Балансировка памяти через контроллеры и каналы памяти создает конфигурации, которые могут эффективно чередовать ссылки на память среди своих модулей DIMM, обеспечивая максимально возможную пропускную способность памяти.

Несбалансированная конфигурация может сократить общую пропускную способность памяти до 17% от сбалансированной конфигурации.

Реализация всех трех правил балансировки памяти, описанных в этом кратком руководстве в сбалансированных конфигурациях обеспечивает наилучшую пропускную способность памяти и общую производительность сервера.

Для получения дополнительной информации о серверах Lenovo ThinkSystem перейдите на следующую веб-страницу:

http://www.lenovo.com/thinksystem

Авторы

Эта статья была подготовлена следующей командой специалистов:

Дэн Колглазиер (Dan Colglazier) является старшим инженером в группе Lenovo Data Center Group Performance Laboratory  в Моррисвилле, Северная Каролина. Ранее он провел более 30 лет в IBM, где он начал работать в команде IBM Data Processing Division, помогая улучшить дизайн перспективных архитектур хранения мэйнфреймов. Основное внимание уделяется оценке производительности будущих серверов System x® как в IBM, так и в Lenovo. В настоящее время он является лидером команды по разработке дизайна. Дэн имеет степень бакалавра наук по вычислительной технике и степень магистра в области электротехники в обоих Университетах штата Иллинойс.

Джо Якубовски (Joe Jakubowski) - старший технический сотрудник в лаборатории Lenovo Data Center Group Performance в Моррисвилле, Северная Каролина. Ранее он провел 30 лет в IBM. Он начал свою карьеру в тестовой организации подразделения IBM Networking Hardware Division и работал над различными адаптерами, коммутаторами и тестовыми инструментами Token Ring. Он провел последние 21 год в подразделении, занимающимся производительностью серверов, уделяя основное внимание работе с базами данных, виртуализацией и новыми технологиями. Его текущая роль включает в себя все аспекты архитектуры и производительности серверов x86. Джо имеет степень бакалавра наук в области электротехники и инженерных операций в Университете штата Северная Каролина и степень магистра в области телекоммуникаций из Университета Пейса.

Джамал Айоби (Jamal Ayoubi) является инженером по проверке системных характеристик в Lenovo Data Center Group Performance r в Моррисвилле, Северная Каролина. До своей нынешней позиции Джамал взаимодействовал с командой Lenovo Workstation, где он в основном работал над конкурентным бенчмаркингом и техническими решениями. Его текущая роль включает в себя анализ подсистемы ЦП, памяти и PCIe и проверку эффективности по сравнению с функциональными спецификациями и целями поставщиков. Джамал имеет степень бакалавра наук в области электротехники и вычислительной техники в Университете штата Северная Каролина.

Благодарность следующим людям за их вклад в этот проект:

David Watts, Lenovo Press

Mark T. Chapman, Редактор Lenovo

Перейти в раздел ОПЕРАТИВНАЯ ПАМЯТЬ ДЛЯ СЕРВЕРА каталога

ВЕРНУТЬСЯ В РАЗДЕЛ ИНФОРМАЦИОННЫХ МАТЕРИАЛОВ СЕРВЕР

ПЕРЕЙТИ В РАЗДЕЛ СЕРВЕР SUPERMICRO КАТАЛОГА