Арткам - это фотошоп. В котом карта высот фомируется от яяркости пиксела.
Макс - мощный инструмент - работает с мешами и нурбсами.
Арткам пытается построить сетку (меш) по своим корявым пикселам, имеющим крайне низкое разрешение - делает это коряво.
Отсюда все радости.
И если вы потом из макса попробуете втянуть меш с хорошим разрешением, - арткам будет это коряво пересчитывать в свои пикселы - потому как арткам - говно, 90% импорта в эту прогу - тоже будет говно.
Я бы такую медальку отрисовал вектором в иллюстраторе, что бы получить качественный EPS или AI, ( а не корявый экспорт из всяких корелов.) и поднял бы рельеф в рино.