Сначала оно принадлежало камер-юнкеру Дмитрию Черткову, потом перешло в собственность дворянина Пасхалова, который и перестроил дом под готический замок. После революции в усадьбе располагалась сельскохозяйственная школа, а с 1949 года Алексинский гидрометеорологический техникум. Но в 1995 году техникум переехал в новый корпус , а здание усадьбы оказалось заброшенным.
За последние пятнадцать лет готический замок практически разрушили, здесь несколько раз были пожары. Нет крыши, остались только полуразрушенные стены. По мнению специалистов - краеведов Колосовский замок - настоящая жемчужина архитектуры может уже через 10 исчезнуть вовсе. Статус у бывшей дворянской усадьбы - памятник архитектуры местного значения. Это значит, что государством усадьба не охраняется.