Villa Walle ligger flott plassert i Sandviksåsen, med utsikt rett mot Kalvøya og videre til Nesoddlandet. Den ble oppført i 1889 og er typisk for sveitserstilen som rådet på Løkkeåsen og Sandviksåsen fra slutten av 1880-årene og frem til begynnelsen av 1900-tallet. Huset tilhørte polfareren Otto Sverdrup fra 1908 til hans død i 1930. Sverdrup regnes blant «De tre store» i norsk polarhistorie, sammen med Fridtjof Nansen og Roald Amundsen. Det sies at Sverdrup satt på glassverandaen og drømte om at skuta «Fram» skulle komme seglende inn fjorden. I hagen står en byste av ham.
Huset ble gitt i gave til Bærum kommune i 1962 av Margit Walle. I testamentet ønsket hun at huset skulle brukes «til Hospital (hjem) for nerveslitne». Margit og mannen Bjarne Walle ønsket at familienavnet skulle knyttes til eiendommen. Adressen Anthon Walles vei 37, er oppkalt etter Bjarne Walles far, Anthon, som var gård- og hotelleier i Sandvika. Han eide Walles Hotell som lå på det som nå er Rådhusparken. Hotellet var i perioder også tilholdssted for kunstnere, bl.a. Harriet Backer og Kitty Kielland.
Da stiftelsen ble opprettet i 2004, etter initiativ fra Mental Helse, Asker og Bærum, fikk stedet navnet Villa Walle. Med bakgrunn i stedets særegne historikk, ble villaen kåret til Bærums kulturminne under Kulturminnestafetten i 1997.
Stiftelsen Villa Walle får driftsmidler av Bærum kommune.