W ciągu wieków zamek Kastelholm przechodził różne koleje losu: było tu więzienie, a później spichlerz.