Vereniging Dordrechts Museum is opgericht op 26 november 1842 door vijf kunstliefhebbers en -verzamelaars onder aanvoering van jonkheer J.C. Jantzon van Erffrenten van Capelle. Deze Dordtse notabelen hebben zich ingezet voor het duurzaam bewaren van de werken van oude en levende meesters en wilden daarmee jonge kunstenaars inspireren tot navolging.
Zij vestigden zich op de bovenverdieping van de Boterbeurs aan de Wijnstraat en openden hun deuren de eerste dertig jaar alleen voor leden en hun huisgenoten op de eerste dinsdag van de maand tussen 11 en 15 uur.
Ary Scheffer doneerde in 1856 een aantal van zijn werken. In 1895 overleed dr. René Marjolin, de schoonzoon van Ary Scheffer. Deze vermaakte aan het Dordrechts Museum een bedrag van 200.000 Franse francs, op voorwaarde dat de gemeente een passende ruimte beschikbaar zou stellen voor de werken van Scheffer. De weduwe van René Marjolin en dochter van Ary Scheffer, Cornelia Marjolin-Scheffer, overleed in 1898.
Zij liet het Dordrechts Museum alle schilderijen en andere kunstwerken uit het atelier van haar beroemde vader na, met nog 10.000 Franse francs voor de inrichting van twee ‘Schefferzalen’.
Naarmate de collectie van de vereniging groeide namen de werkzaamheden van het bestuur en de kosten van het bewaren en onderhouden van de kunstschatten toe. Daarom deed het bestuur tussen 1856 en 1870 een beroep op de Gemeente Dordrecht. De gemeente zegde subsidie toe en vanaf toen kon iedereen eens per maand een gratis toegang krijgen tot de tentoonstelling.
Op 6 juli 1904 stelde de gemeente het voormalige Krankzinnigengesticht aan de Lindengracht ter beschikking, waar het museum nog steeds in is gevestigd. In overleg met de gemeente en vereniging is de kunstcollectie van ruim 3000 kunstwerken op 28 juni 1979 voor 50 jaar in bruikleen gegeven aan de gemeente.
Als stichter van het museum ziet de vereniging zichzelf als partner en ambassadeur van het museum. Daarbij wil zij mensen verbinden met kunst en via de nationale Schefferprijs jong talent ondersteunen.