Получава бакалавърска степен в Щатския университет на Флорида (1925 г.), магистърска - в Щатския университет на Айова (1926 г.), а докторска по философия (физико-математически науки) - в Университета на Уисконсин (1930 г.). После се завръща в Щатския университет на Айова в град Еймс, където работи до 1945 г., първоначално като професор по математика, а по-късно - и по физика.
В края на 30-те години той търси начин да се улеснят изчисленията (решаването на големи системи линейни алгебрични уравнения), необходими за изследователската му работа. Отхвърля аналоговите машини като твърде бавни и неточни и се опира на цифровия подход. През декември 1939 г. заедно със своя сътрудник Клифърд Бери създава прототипа на първата електронноизчислителна машина (ЕИМ), напълно завършена през 1942 г.
В създаването й са използвани четири изцяло нови принципа на действие: двоичната система, регенеративна памет, логически схеми като елементи на програма и електронни елементи като носители на данни.
След 1945 г. той посвещава остатъка от професионалния си живот на множество правителствени и индустриални проекти, като същевременно ръководи две компании, основани от него.
През 1941 г. Атанасов приема Джон Мокли, който се интересува от компютъра му. Какво точно се е случило тогава? Това се разглежда подробно на съдебния процес 26 години по-късно, който е трябвало да изясни дали Джон Мокли и Джон Преспър Екърт са използвали непозволено откритието на Атанасов при създаването на първия (официално дотогава) електронен компютър ЕНИАК през 1942-46 г. Съдът, начело с федералния съдия Ърл Р. Ларсън, се произнася категорично в полза на Джон Атанасов, който е обявен за бащата на компютъра!
"Екърт и Мокли не са изобретили първия автоматичен електронен цифров компютър, а са извлекли основната идея за него от Джон Атанасов." (из заключението на съда в Минеаполис, 1973 г.)
През 1970 г. Джон Атанасов е поканен в България от БАН и му е връчен орден "Кирил и Методий" - първа степен. Това е първата му награда и обществено признание. Второто му посещение у нас е през 1985 г.
Най-голямото отличие през живота си Джон Атанасов получава от ръцете на президента Джордж Буш (баща) - Националния медал за наука и технология.
Ученият умира на 91-годишна възраст през 1995 г.
