Par la suite, il fut souvent transformé et agrandi, notamment par l'évêque Walter Supersaxo qui en fait sa résidence d'été en 1475. En avril 1507, l'évêque de Sion Mathieu Schiner qui deviendra cardinal, recontra en ces lieux le comte de Savoie pour signer la paix entre le Valais et la Savoie. La Diète du Valais y siègera plus tard à maintes reprises.
Dans le château de l'évêque eut lieu, en 1627, le procès du chevalier Antoine Stockalper. Apres avoir été torturé, il fut décapité et écartelé sur la place d'exécution, devant le château.

Le château épiscopal fut également le théâtre de procès de sorcières durant le XVIIe siècle. En 1867, le curé Peter Kämpfen raconte l`exécution de la sorcière Katharina Balin, en 1678.

Malgré les nombreuses transformations, les fenêtres romanes ont été conservées ainsi que l`ouverture à colonnettes sur la façade sud. Dans la partie orientale de l`aile d`habitation s``élève une cheminée dont le conduit est lisible en façade. A l`ouest, les murs de la cour et le chemin de ronde forment un bastion qui fortifie l`entrée de la ville. Placé sous la protection des monuments historiques, le château est propriété de la commune de Loèche depuis 1934. Il abrite le musée local, où le visiteur peut admirer la reconstitution de la chambre de l`évêque