Fizika-riyaziyyat və texnika elmləri Bölməsi 1945-ci il martın 31-də Elmlər Akademiyasının ilk Ümumi yığıncağının qərarı ilə yaradılıb. O zaman bölmə «Fizika-texnika elmləri və neft bölməsi» adlanırdı və bölmənin tərkibinə Fizika və Riyaziyyat İnstitutu, Neft İnstitutu və Energetika İnstitutu daxil idi. Bölmənin ilk sədri akademik İ.Q.Yesman olub. 1950-1954-ci illərdə bölməyə akad.Y.Məmmədəliyev sədrlik edib. 1954-1957-ci illərdə isə sədri əvəz edən akademik-katib vəzifəsini akad.M.Nağıyev icra edib. 1957-ci ildə aparılan struktur dəyişiklikləri nəticəsində elmi bölmələr ləğv olunub və elmi müəssisələr müvafiq vitse-prezidentlərə tabe ediliblər.Fizika-texnika elmləri üzrə vitse-prezident akad.Z.Xəlilov seçilib.
1959-cu ildə aparılan yeni struktur dəyişiklikləri nəticəsində Fizika-riyaziyyat və Texnika elmləri bölməsi (FRTEB) təşkil olunub, Fizika İnstitutu, Riyaziyyat və Mexanika İnstitutu, Energetika İnstitutu, Astrofizika Sektoru bölmənin tərkibinə daxil edilib. Bölmənin akademik-katibi akademik Z.Xəlilov seçilib. 2001-ci ildən bugünədək Bölmənin akademik-katibi akademik A.Hacıyevdir. 1959-cu ildə Bölmənin Fizika və Riyaziyyat İnstitutu iki müstəqil instituta bölünür: Riyaziyyat və Mexanika İnstitutu və Fizika İnstitutu. 2002-ci ildə Azərbaycan Respublikası Nazirlər Kabinetin qərarı ilə 1992-ci ildə yaradılmış Fotoelektronika İnstitutu və H.M.Abdullayev adına Fizika İnstitutunun bazasında Fizika İnstitutu yaradılır. Akademiyanın həqiqi üzvlərindən H.Əmirxanov, Z.Xəlilov, H.Abdullayev, F.Həşimzadə, A.Həşimov və Ç.Qacar müxtəlif illərdə Fizika İnstitutunun direktoru vəzifəsində çalışıblar. 2013-cü ildən indiyədək İnstituta fizika-riyaziyyat elmləri doktoru Nazim Timur oğlu Məmmədov rəhbərlik edir.
İnstitutda Ümumi, İnnovasiya, Fənlərarası və İnformasiya sektorlarına daxil olan 41 laboratoriya və 6 şöbə fəaliyyət göstərir. Elmi müəssisədə 685 əməkdaş var, onlardan 140 nəfəri 35-yaşına qədər olan gənc alim və mütəxəssislərdir. Onlardan 415-i elmi işçi, 6-sı akademik, 3-ü müxbir üzv, 86-ı elmlər doktoru, 190 nəfəri isə fəlsəfə doktorudur.