Рекомендуется ставить модули одинакового обьёма и желательно одного производителя. А ещё лучше покупать наборами. Но это всё лирика.
Можно попробовать ставить модули памяти в разные разьёмы пока не добьёшся стабильности. (это на собственном опыте опробывал) Можно попробовать отключить в биос двухканальный режим памяти. Ну и наконец возможно просто модули не совместимы. Или блок питания слабый, надо помощьней. Вариантов тут много можно накидать