Родился в семье ссыльнопоселенцев. Еврей. Получил начальное образование и в 9 лет поступил учеником в переплётную мастерскую, проработал в ней три года. В 1892 г. закончил в Чите городское 3-классное училище. По окончании его сдал экстерном экзамен за четыре класса гимназии, и больше нигде не учился. В 1898 году вступил в РСДРП, организовал социал-демократический кружок на Забайкальской железной дороге. В 1901 году — за границей, корреспондент «Искры». В 1902 году — член Читинского комитета РСДРП. В 1903 году на нелегальном положении, член Петербургского комитета РСДРП. Стал одним из руководителей Боевого центра РСДРП. Организатор стачки текстильщиков в Ярославле (отсюда псевдоним Ярославский). Ярославский был участником Революции 1905—1907 годов. В 1907 году он был арестован и отправлен на каторгу (отбывал в Горном Зерентуе, Нерчинская каторга), затем жил на поселении в Восточной Сибири. После 5 лет каторжных работ с 1913 г. по 1917 г. находился в якутской ссылке. В Якутск он прибыл 14 июня 1913 года и был назначен на жительство в село Марха, но 17 июня губернатор разрешил ему проживать в г. Якутске. В первое время в ссылке работал в должности наблюдателя на метеорологической станции. В 1915—1917 годах заведовал Якутским краеведческим музеем. После Февральской революции 1917 года стал членом Якутского комитета общественной безопасности, затем в мае возглавил Якутский совдеп. С июля 1917 работал в Московской военной организации Московского комитета РСДРП(б). Делегат 6-го съезда РСДРП(б). В дни Октябрьской революции Ярославский — член Московского партийного центра по руководству вооружённым восстанием. 1934-1939 гг. Член КПК при ЦК ВКП (б) 1939-1943 гг. Депутат Верховного Совета СССР 1-го созыва (с 1938 г.) С 1931 г. Председатель общества старых большевиков, историк партии и атеизма, академик АН СССР (1939 г.), член редколлегии газеты «Правда», журналов « Большевик», «Безбожник», главный редактор «Исторического журнала». 1939-1943 гг. Главный редактор «Исторического журнала». 1939-1943 гг. Заведующий кафедрой Высшей партийной школы при ЦК ВКП (б).
1943 г. Лауреат Сталинской премии.

В период ссылки в Якутии Е.М.Ярославский вел разностороннюю научную работу по изучению истории, этнографии, географии, геологии и т.д. Работал на Якутской метеорологической станции. Заведуя Якутским областным музеем обратил особое внимание на систематизацию его фондов: собрал значительные геологические и ботанические коллекции. Автор многих работ по истории революционных событий и социалистического строительства в Якутии. Был членом Якутского отдела Русского географического общества, почетным членом научно-исследовательского общества «Саха кэскилэ», академиком АН СССР. В Якутии он был общепризнанным руководителем ссыльных большевиков, проводил большую революционную работу. В период работы музей пополнился почти 7 тысячами предметов, значительное число было собрано самим Ярославским. Географическое общество и музей, работая в тесном контакте, вошли в сношение с научно-исследовательскими учреждениями, экспедициями и отдельными лицами, исследовавшими Якутскую область.