Kesäkuussa 1906 perustettiin Varpaisjärvelle työväenyhdistys agitaattorin pitämän esitelmätilaisuuden jälkeen. Yhdistykseen liittyi 23 ihmistä, mutta yhdistyksen toiminta tyrehtyi heti perustamiskokouksen jälkeen, mikä oli tyypillistä Venäjältä Suomeen levinneen suurlakon innoituksesta perustetuille järjestöille. Järjestö perustettiin uudelleen vuoden 1907 tammikuussa, jolloin siihen liittyi 58 jäsentä. Yhdistyksen toimintainnostus kuihtui kuitenkin kesään mennessä, minkä jälkeen yhdistystä yritettiin herätellä vuosina 1909 ja 1912. Syinä kymmenen vuotta kestäneeseen vaikeaan alkuun työnväenyhdistyksen perustamisessa ja kansalaisten osallistumisinnon puutteessa olivat työnväenlehtien pieni levikki, tiedon puute ja kansalaisten passiivinen tai epäröivä asenne yhdistystä kohtaan.
Varpaisjärven kirkonkylän ensimmäinen työnväentalo valmistui vuonna 1916, jolloin kirkonkylän työnväenyhdistys oli kerännyt riveihinsä 50 jäsentä.
Työväenyhdistys rakensi toisen työväenyhdistyksen talon kirkonkylän keskustaan 1920-luvulla. Kun yhdistys lakkautettiin v. 1930 kommunistilakien perusteella, talo siirtyi huutokaupalla Ylä-Savon Osuusliikkeelle. Vuonna 1936 Varpaisjärven säästöpankki osti työväentalon sekä tontin vuokraoikeuden. Säästöpankki tarjosi kunnalle talon ja tontin jakamista, minkä seurauksena talon ja tontin eteläpääty siirtyi kunnalle ja säästöpankki toimi pohjoispäädyssä.
Sotien jälkeen säädettiin laki, jonka nojalla eräiden lakkautettujen yhdistysten toimitalot palautettiin yhdistyksille. Valtio lunasti talon kunnalta ja tämän jälkeen talo palasi Sosiaalidemokraattiselle työväenyhdistykselle. Monien vaiheiden ja pitkien neuvottelujen jälkeen työväenyhdistys myi talon kunnalle 1950. Talossa oli kunnanvirasto vuoteen 1979 asti, jolloin kunnan toiminnot siirtyivät peruskorjattuun entiseen kansakoulurakennukseen. Työväentalo purettiin 1983.
