Абрам Федорович родился 20 октября 1880 года в городе Ромны Полтавской губернии в семье финансового служащего. В 1888 году он поступает в реальное училище и в 1897 году получает аттестат, где по всем предметам, кроме черчения и рисования стояли отличные оценки. Шестнадцатилетний юноша покидает родной город и поступает в Санкт-Петербургский Технологический институт.
Летом 1902 года Иоффе получил диплом инженера-технолога. Этот диплом не давал права ни самому заниматься наукой, ни поступить в университет. И хотя у молодого инженера были интерес и любовь к технике, которые он затем пронес через всю жизнь, физика привлекала его больше. Он обратился за советом к одному из своих преподавателей, и тот посоветовал ему поехать учиться в Мюнхен к профессору В. К. Рентгену. И вот в декабре 1902 года Иоффе едет в Физический институт к самому Рентгену.
Для начала Рентген поручил Иоффе выполнить две работы: доказать преимущества одного из двух методов измерения диэлектрической проницаемости и измерить теплоту, выделяемую радием при распаде. Во время этой работы Иоффе в 1903 году выдвинул идею магнитной фокусировки, которая впоследствии нашла широкое применение в электронной оптике. Наблюдения и выводы Иоффе привели Рентгена в восторг, и он посоветовал молодому ученому немедленно приступить к докторской диссертации. Узнав, что у того трудности со средствами, Рентген зачислил его на оплачиваемую должность ассистента института. Была предложена тема диссертации: установить причину пьезоэлектрического эффекта в кристаллах кварца. Защита докторской диссертации прошла успешно: факультет присудил Иоффе степень доктора с высшим отличием, что было очень редким явлением.
Понимая большие возможности своего ученика, ставшего ему близким другом, Рентген предложил ему остаться в Мюнхенском университете в должности профессора. Это предложение обещало твердое положение в обществе и возможность совместной работы с Рентгеном. Иоффе поблагодарил учителя за высокую честь, но предпочел вернуться в Россию.
Однако после возвращения Иоффе не знал даже, где сможет работать. Дело в том, что степень доктора, полученная на Западе, соответствовала в дореволюционной России лишь степени магистра. Только в 1908 году Иоффе становится ассистентом кафедры физики у профессора В. В. Скобельцына.
Самостоятельно определить тематику своих будущих научных исследований было очень сложно. Иоффе так характеризовал научную атмосферу тех лет в учебных заведениях Петербурга: «Профессора и преподаватели физики высших школ обладали обширной эрудицией, но мало внимания уделяли творческой деятельности. Научные работы оставленных при университете часто сводились к повторению опубликованных работ. Руководство Петербургского университета считало, что… не может же наш обыкновенный физик придумывать какие-то новые проблемы, а поэтому задача Физического института - повышать знания и экспериментальное искусство сотрудников».
Иоффе решил продолжать самостоятельные исследования, начатые в Мюнхене, Он согласовал свои планы с Рентгеном и каждое лето до 1914 года (начала Первой мировой войны) выезжал на несколько месяцев в Мюнхен для проведения опытов и обсуждения результатов со своим учителем.
В 1910 году он решил экспериментально проверить, существует ли у катодных лучей - потока электронов магнитное поле. Опыты Иоффе, поставленные безупречно, привели к однозначному выводу о том, что магнитное поле катодных лучей существует, и, следовательно, между потоком свободного электричества и токами в металлах «нет никакой разницы по отношению к вызываемому ими магнитному полю». Эта работа Иоффе заслуженно считается классической.
Затем он предпринимает более детальное исследование фотоэффекта; он хочет доказать квантовую природу света и точно определить заряд электрона, для этого требуется зафиксировать вылет одного электрона под действием одного фотона. В результате этих опытов Иоффе заявил: «Если присоединить к этим опытным данным факты, установленные уже с несомненностью предыдущими исследованиями, то опытное обоснование существования электрона можно считать законченным».
Интересно, что последним из известных физиков, кто не верил в существование электрона, был именно учитель Иоффе - сам Рентген, и переубедить его смог только его любимый ученик.
В 1913 году Иоффе представил к защите магистерскую диссертацию «Элементарный фотоэффект. Магнитное поле катодных лучей (опытное исследование)». Защита прошла блестяще и Иоффе была единогласно присуждена степень магистра физики.
С октября 1913 года он становится руководителем кафедры физики. Иоффе серьезно занимается педагогической работой: читает лекции в университете, Горном и Политехническом институтах. Лекции пользовались большой популярностью. В это же время у него появляются первые ученики - П. Капица, П. Лукирский, Н. Семенов, Я. Френкель и другие, начинает работать знаменитый семинар Иоффе, который сыграл большую роль в организации Физико-технического института (носящего ныне имя Иоффе). В дискуссиях на семинаре ученый стремился учить молодых физиков строгости в суждениях, смелости мысли, полету фантазии и увлеченности наукой.
Весной 1915 года Иоффе успешно защитил докторскую диссертацию «Упругие и электрические свойства кварца», куда была включена лишь небольшая часть его исследований по электропроводности диэлектриков. Ученый вскоре получил степень доктора и осенью 1916 года стал ординарным профессором.
В 1918 году Иоффе ставит перед Народным комиссаром просвещения вопрос об организации исследовательского института по проблемам физики и медицины рентгеновских лучей. В 1918 году был подписан приказ об открытии Государственного рентгенологического и радиологического института.
Основой для комплектования физико-технического отдела кадрами стал семинар А. Ф. Иоффе. По его инициативе также был открыт в 1919 году в Политехническом институте физико-механический факультет для подготовки инженеров-физиков. В 1921 году на базе Рентгенологического института были организованы три отдельных научных учреждения: Медико-биологический, Физико-технический во главе с А. Ф. Иоффе и Радиевый институты.
В 1924 году стали налаживаться прямые связи физики с производством. При ФТИ была создана лаборатория, в которой по совместительству работали сотрудники института. Аналогичные лаборатории создавались на заводах.
В этот же период А. Ф. Иоффе поднимает вопрос о расширении сети физико-технических институтов и образования на основе ЛФТИ новых самостоятельных научных учреждений. В других городах создаются филиалы ЛФТИ: украинский в Харькове, уральский в Свердловске (ныне Екатеринбург) и сибирский в Томске, которые спустя некоторое время стали самостоятельными институтами. Эти научные учреждения возглавили ученики А. Ф. Иоффе и основу их коллективов представляли сотрудники ЛФТИ.
Иоффе любил дальние прогулки пешком, любил выращивать редкие растения, любил хорошую шутку, любил слушать музыку. Но самой большой радостью для него была работа, творчество, которому он умел всегда отдаваться полностью. Наверное, именно такое светлое отношение к жизни и помогло ученому сохранить до последнего часа любовь к людям и ясность мысли, энергию и трудоспособность. Кто-то сказал, что без ясности ума нет ни подлинной доброты, ни истинной любви. Эти слова очень хорошо характеризуют Иоффе.
Абрама Федоровича Иоффе многие известные физики называли «папой Иоффе».