Początki działalności poszczególnych komórek składowych instytutu sięgają 1956 roku. W 1966 roku doszło do połączenia Zakładu Fizyko-Chemicznego Badań Strukturalnych PAN i Zakładu Niskich Temperatur Instytutu Fizyki PAN. W 1984 roku dołączono do niego także Zakład Petrochemii Instytutu Chemii Organicznej PAN. Składa się z sześciu działów:
-Niskich Temperatur i Nadprzewodnictwa,
-Teorii Materii Skondensowanej,
-Badań Magnetyków,
-Spektroskopii Optycznej,
-Badań Strukturalnych,
-Chemii Nanomateriałów i Katalizy.

Kierownictwo Instytutu na przestrzeni lat:
Włodzimierz Trzebiatowski (1966–1974)
Bohdan Staliński (1975–83 r.)
Jan Klamut (1984–92 r.), (1999–2002 r.)
Józef Sznajd (1993–98 r.), (2003–10 r.)
Andrzej Jeżowski (od 2011 r.)