Брюгге в позднее средневековье стал одним из центров обработки алмазов в Европе. В это время в нем проживало большое количество мастеров, применявших самые передовые методики обработки камней. Так, именно здесь в 1450 году была разработана технология полировки с применением диска с алмазным напылением, применяемая в промышленности до сих пор.
Для широкой публики музей открыл свои двери 19 июня 1999 года. В 2005 году, после масштабной реконструкции, собрание пополнилось большой коллекцией алмазов из Бразилии и Южной Америки.