К палеонтологии Ефремов пришёл, познакомившись с академиком П. П. Сушкиным, который открыл для него эту науку и помог сделать в ней первые шаги.
С середины 1920-х годов прошёл с экспедициями огромные просторы Евразии, во время которых были собраны замечательные палеонтологические коллекции. В 19 лет совершил первое открытие — обнаружил останки ветлугазавра и стал вторым человеком в мире, которому это удалось. По результатам находок, в соавторстве с А. П. Быстровым опубликовал монографию по остеологии и анатомии эотриасового лабиринтодонта, за которую авторы впоследствии будут удостоены почётных дипломов Линнеевского общества (Англия).

В первой половине 1930-х годов Ефремов участвовал в геологических экспедициях по Уралу, Сибири и Дальнему Востоку: в 1931 году — начальник отряда Нижне-Амурской, 1932 и 1934 годах — Олёкмо-Тындинской и Верхне-Чарской геологических экспедиций. Некоторые эпизоды этих экспедиций вошли позже в его рассказы «Алмазная труба», «Тень минувшего», «Голец Подлунный».

В 1935 году Иван Антонович экстерном с отличием закончил Ленинградский горный институт.
В том же году, по совокупности научных работ, Ефремову была присвоена степень кандидата биологических наук — раздел «Палеонтология». В это время Иван Антонович жил уже в Москве, поскольку туда переехал Палеонтологический институт

В 33 года — в марте 1941 года — за работу «Фауна наземных позвоночных средних зон перми СССР» Ефремову была присвоена учёная степень «доктор биологических наук».

С началом Отечественной войны, Иван Антонович был эвакуирован в Алма-Ату, а оттуда — во Фрунзе. В эвакуации перенёс тяжёлую форму лихорадки тифозного типа, которая надолго приковала Ефремова к постели и дала осложнение на сердце. Но именно вынужденное бездействие подвигло его к писательской деятельности. Впечатления о своих экспедициях Ефремов решил изложить уже не документально, в форме путеводного дневника, а в жанре рассказа, с сюжетом и элементами вымысла. Всего за год он публикует более десятка таких историй. Ефремов начал писать свои первые «рассказы о необыкновенном», в которых сочетается научная фантастика и приключения. В это время вышли: «Последний Марсель» и «Звездные корабли», «Путями старых горняков» и «Обсерватория Нур-и-Дешт», «Озеро горных духов» и «Бухта Радужных струй». В них он предсказал открытие алмазных месторождений в Якутии и голографию. В «Эллинском секрете» речь шла о таком понятии, как генная память. Во «Встрече над Тускаророй» автор размышлял над проблемой накопления «тяжёлой» воды в океанских глубинах. «Олгой-Хорхой» посвящен поискам гигантского червяка в недрах монгольских степей. А небольшой повестью «Катти Сарк» Ефремов повлиял на судьбу знаменитого парусника, по его словам, способствовал спасению легендарного парусника от забвения – после публикации рассказа в Англии, корабль перевели в категорию музея, отреставрировали и поставили на берегу Темзы, о чем писателю сообщили британские читатели.

Так Иван Антонович начал свой путь в литературу. В те годы он создает свои первые масштабные произведения — историко-приключенческие повести с элементами фантастики «Путешествие Баурджеда» (издана 1949) и «На краю Ойкумены» (издана 1953), объединённые общим названием «Великая дуга». На материале Древнего Египта и Древней Греции, он ставит перед читателем вопросы морально-этического характера, трактуя с гуманистических позиций проблемы взаимоотношений власти и общества, войны и мира, науки и религии.

Одновременно продолжал работать и как палеонтолог: разрабатывает новую отрасль знания, тафономию — учение о закономерности сохранения остатков ископаемых организмов в слоях осадочных пород. По сути, это гибрид двух наук, которым Иван Антонович посвятил всю жизнь – палеонтологии и геологии. Рукопись «Тафономия и геологическая летопись» была завершена в 1943 году, но опубликовать её удалось только в 1950 году. Академия наук разрешила публиковать «Тафономию» Ефремова лишь после того, как его экспедиции в Монголию принесли богатейший материал – несколько железнодорожных вагонов костей динозавров!