Muzeum Ziemi Augustowskiej powstało uchwałą Powiatowej Rady Narodowej w Augustowie 11 października 1973 roku z połączenia zbiorów Społecznego Muzeum Ziemi Augustowskiej, prowadzonego przez Towarzystwo Miłośników Ziemi Augustowskiej, oraz świeżo powołanego przez tę organizację Muzeum Kanału Augustowskiego. W nowo powstałej placówce oba segmenty stały się działami – Etnograficznym i Historii Kanału Augustowskiego, z opcją organizacji działu Historii Miasta.

Już w 1959 roku podjęto z inicjatywy Stanisława Ostrowskiego (1898-1985), ówczesnego kierownika Powiatowego Domu Kultury w Augustowie, próbę powołania stowarzyszenia i muzeum regionalnego. Zaczątkiem miała być Powiatowa Wystawa Kultury Ludowej, prezentowana od 15 sierpnia do 19 września 1959 roku w sali po kinie „Łowiczanka” przy ulicy 1 Maja (dziś 3 Maja) 58. Była ona otwierana na sezon letni w 1960 i 1961 roku. Duża część obiektów poza tymi, które zasiliły zbiory muzeów centralnych, nie zachowała się.

Społeczne Muzeum Ziemi Augustowskiej zostało założone przez Stanisława Ostrowskiego, wkrótce po zatwierdzeniu Towarzystwa Miłośników Ziemi Augustowskiej w 1967 roku. Organizator pełnił funkcję sekretarza Zarządu, a w placówce – społecznego kustosza. Pobudził on do poszukiwania „staroci” straż pożarną oraz szkoły. Z pasją oprowadzał po wystawie. Ekspozycję o charakterze magazynowym uroczyście otwarto 3 maja 1968 roku w pomieszczeniu byłego kina „Łowiczanka”.

Muzeum Kanału Augustowskiego powstało z inicjatywy Okręgowego Zarządu Wodnego w Giżycku i Towarzystwa Miłośników Ziemi Augustowskiej w 1973 roku, a główną organizatorką była Maria Maranda, sekretarz zarządu i jednocześnie inspektor ds. kultury PPRN. Jego pierwszą wystawę, przygotowaną przez Muzeum Techniki NOT w Warszawie, otwarto 16 września 1973 roku w zabytkowym budynku drewnianym przy ulicy 29 Listopada 5a, popularnie acz niewłaściwie nazywanym „Dworkiem Prądzyńskiego”.

Początkowo placówka podlegała Wydziałowi Kultury Prezydium Powiatowej Rady Narodowej, od 1 stycznia 1975 roku Miejskiej Rady Narodowej. Z dniem 1 lipca 1975 roku stała się jako Muzeum w Augustowie oddziałem Muzeum Okręgowego w Suwałkach. Siedzibą Działu Etnograficznego, biura oraz biblioteki muzealnej stały się pomieszczenia po Świetlicy Międzyszkolnej, wynajmowane od p. Wandy i Henryka Zdziennickich przy ul. 1 Maja (obecnie 3 Maja) 12. Siedziba Działu Historii Kanału Augustowskiego została poddana w latach 1982-1984 remontowi kapitalnemu, w trakcie którego obiekt został dostosowany do celów ekspozycyjnych.

W 1985 roku ponownie pod nazwą Muzeum Ziemi Augustowskiej zostało podporządkowane Urzędowi Miasta Augustowa.

Od marca 1991 roku stało się częścią składową Augustowskich Placówek Kultury, struktury podległej władzom samorządowym miasta.

Od marca 1992 roku zbiory i wystawy Działu Etnograficznego, biuro, biblioteka i pracownia naukowa, mieszczą się w budynku Miejskiej Biblioteki Publicznej przy ul. Hożej 7.

Zdecydowaną większość zbiorów stanowią dary mieszkańców miasta i okolicznych wsi.

Od marca 1974 roku po odbyciu stażu pracownikiem naukowym placówki i zarazem kierownikiem był mgr Wojciech Batura, obecny kustosz. Poza nim w placówce pracowali przewodnicy, pełniący również funkcje administracyjne, oraz dokumentalista: Irena Cudnik (1973-1984), Tatiana Przekop (1975-1980), Zofia Kugiel (1978-1980), Józefa Drozdowska (1977-1978), Jolanta Pawlenko, Elżbieta Matyszczyk, Anna Gajewska – Guzewicz (1980-), Maria Mikłaszewicz – Harkiewicz  (1980-1981), Celina Grela – Kalejta (1981-1982), Agnieszka Łozowska – Żabilińska (1984-1987), Tomasz Michałowski (1987-1990), Barbara Kondracka (1987-) oraz etnograf Janusz Przyczyna (1988-1992).

Z ekspozycjami placówki zapoznało się w latach 1968-2008 prawie 300 000 zwiedzających.