Naarmate Louis Philippe langer op de troon zat, verbleekte de glans van zijn koningschap. Tegen het einde van zijn eerste decennium konden de Schefferbroers het niet meer opbrengen politiek actief te blijven. Arnold ging in zaken, hij kreeg geen pen meer op papier en ervoer steeds minder ruimte voor zijn politieke idealen. Ary bleef op het persoonlijke vlak de koninklijke familie trouw, maar ging zich steeds meer op zijn eigen werk als kunstenaar concentreren. Het jaar 1839 bracht hem zware slagen toe. Op 2 januari van dat jaar overleed zijn favoriete leerling, Prinses Marie d’ Orleans, pas 26 jaar oud. Haar dood raakte Ary diep en in zijn condoleancebrief aan haar echtgenoot, de hertog van Württemberg, verwoordde hij ook zijn eigen gevoelens op ontroerende wijze bij het verlies van zo’n lieve, veelbelovende, intelligente en begaafde vrouw. Hij richtte een kamer in met de verschillende beeldhouwwerken en schetsen die zij hem nagelaten had. Al deze werken en een kladversie van de brief zijn nog steeds in het bezit van Dordrechts Museum. 

Een paar maanden later gleed zijn moeder Cornelia, 70 jaar oud, uit het leven weg. Zij had al jaren hartproblemen en stierf rustig, in de hoop op het weerzien met degenen die haar al eerder ontvallen waren. Haar dood sloeg een gat in het leven van haar zoons en kleinkinderen. Sinds het overlijden van haar man had zij als een mater familias over haar gezin gewaakt, haar kinderen haar idealen doorgegeven en hen gestimuleerd hun talenten te ontwikkelen. Tot op hoge leeftijd werkte zij mee in de schilderateliers van haar zoons door het maken van reproducties. Naar aanleiding van haar dood schreef Ary roerende brieven, aan zijn Oom Nol in Holland en aan zijn broer Arnold, waarin hij specifiek zijn moeder roemde omdat zij hem de dochter had gegeven die hij zelf aanvankelijk buiten zijn leven had gehouden. Alsof zij had voorzien dat dit kind hem na de dood van zijn moeder tot troost zou zijn.

Toen stierf een paar jaar later (1843) ook nog de oudste en zeer beminde zoon van Louis Philippe, kroonprins Ferdinand-Philippe, door een noodlottig ongeval. Een drama voor de koninklijke familie, maar ook voor Ary Scheffer, die immers als gouverneur ook nauw bij de opvoeding van deze koninklijke telg betrokken was geweest. Sommige vrienden beklaagden zich in deze periode dat Ary hen verwaarloosde. Hij reageerde niet of traag op hun brieven, leek weg te zakken in eenzelvige melancholie en hield zich bezig met het ontwerpen van grafmonumenten, waaronder een voor Napoleon, wiens stoffelijk overschot in deze periode van Sint Helena teruggebracht werd naar Frankrijk. Niet alleen de regering van Louis Philippe had zijn glans verloren, ook voor Ary Scheffer bleef in deze periode niet veel over behalve zijn dochter en zijn werk. Dat werk moest altijd doorgaan, want hij maakte zich zorgen over het levensonderhoud van zijn kind en de rest van zijn familie voor wie hij zich verantwoordelijk voelde. Hij was nu midden veertig en het leven viel hem zwaar. Dat zware gevoel zou hij niet meer kwijtraken. 

Het gevoel dat het noodlot hem en de koninklijke familie en misschien wel de hele wereld achtervolgde, vinden we terug in zijn werk dat steeds meer een weerslag werd van de wanhoop die hem in zijn greep hield. 

Marijke van Vliet