Trotz zahlreicher Umbauten im Laufe seiner Geschichte, macht das Schloss immer noch den wehrhaften Eindruck einer mittelalterlichen Burg. Der Stuttgarter Arkadenhof im Alten Schloss ist außergewöhnlich prächtig gestaltet. Es hat drei Geschoße. Es findet sich kein direktes Vorbild, noch ein Nachfolger. Eine Besonderheit stellen auch die korinthischen Kapitelle dar, die entgegen der klassischen Säulenordnung die kannelierten Säulen oben abschließen.
Heute ist dort das Württembergische Landesmuseum untergebracht.
Hier soll eine Weiße Frau umgehen. Es heißt, bevor eine fürstliche Person des Landes starb, ließ sich im alten Schloss eine Weiße Frau sehen. Sie steigt aus der Gruft der Stiftskirche und wandelt über den Schillersplatz, geht hinüber in das Neue Schloss und verschwindet dort im Ahnensaal. Einem beherzten Soldaten, der sie einmal anzurufen wagte, soll sie den Tschako vom Kopf geschlagen haben.
Vor etwa 60 Jahren bekam der hiesige Kaufmann M. einen Schlaganfall. Die Magd eilte sogleich in die sogenannte Hofapotheke. Als sie beim alten Kanzleigebäude hineingehen wollte, versperrt eine riesige Frau den Weg. Die Magd versuchte alles Mögliche, um hinein zu gelangen, ohne sich im Geringsten zu fürchten. Vergebens! Sie musste wieder umkehren. Bei ihrer Herrschaft angelangt, erzählte sie, was ihr widerfahren war. Man glaubte ihr nicht und hielt sie für eine ängstliche Träumerin. So schickte man den Knecht, doch ihm widerfuhr dasselbe.