В 1872 году австрийская экспедиция под руководством Карла Вейпрехта и Юлиуса Пайера на парусно-паровом судне «Тегетгофф» отправилась на поиски Северо-восточного прохода – кратчайшего морского пути между Европейской частью России и Дальним Востоком. Однако корабль был затёрт льдами к северо-западу от Новой Земли, а 30 августа 1873 года причалил к берегам неизвестной земли, которая оказалась обширным архипелагом.
Учёные дали новооткрытой земле имя австрийского императора Франца Иосифа I. В 1873 году они исследовали южную часть архипелага, а весной 1874 года пересекли его весь с юга на север на санях и составили первую карту.
В 1895–1897 годах англичанин Фредерик Джексон произвёл ряд важных обследований южной, средней и юго-западной частей архипелага, оказавшегося состоящим из гораздо более значительного числа островов, нежели предполагали раньше, но меньших размеров сравнительно с обозначенными на карте Пайера.
В 1936 году на острове Рудольфа была создана база первой советской воздушной экспедиции на Северный полюс, а на острове стала действовать полярная станция.
Ныне земля Франца Иосифа, состоящая из 192 островов общей площадью 16 134 км² и на девяносто процентов покрытая вечными льдами, входит в состав Архангельской области России.