Urodzony w żydowskiej rodzinie 11 października 1913 roku Simon wychowywał się w Rochester w stanie Nowy Jork. Do Nowego Jorku przeprowadził się w wieku 23 lat. Zajmował się ilustracjami i komiksami prasowymi. W tym czasie wraz z Lloydem Jacquetem wymyślili postać Human Torch (Ludzkiej Pochodni), płonącego superbohatera, który w latach 60. zostanie przez Marvel przerobiony na jednego z członków drużyny Fantastyczna Czwórka.
Prawdziwą sławę przyniosła mu jednak współpraca z Jackiem Kirbym, którego poznał pod koniec lat 30. Razem wymyślili Kapitana Amerykę - wykorzystywanego w celach propagandowych superbohatera walczącego z nazistami (na okładce pierwszego numeru z grudnia 1940 roku bije się z samym Hitlerem). Komiks odniósł duży sukces wydawniczy i zyskał sobie grono oddanych fanów. Często podkreślany jest fakt, że tworzyli go dwaj twórcy żydowskiego pochodzenia, jeszcze zanim Ameryka przystąpiła do wojny. Serię wydawała oficyna Timely Comics, która w przyszłości przekształci się w Marvel.
Ale superbohater w amerykańskich barwach to nie jedyne dzieło Simona. Wraz z Kirbym współtworzyli oni także słynnego Captain Marvel i Sandmana (nawiązania do tej postaci w masce przeciwgazowej pojawią się w głośnym "Sandmanie" Neila Gaimana). W 1942 roku powołali też do życia drugi komiks o dzielnych amerykańskich żołnierzach walczących na frontach światowej wojny - "Boy Commandos". Zaangażowanie Simona w walkę z nazizmem było na tyle duże, że ostatecznie wstąpił do armii - zajmował się w niej przede wszystkim tworzeniem materiałów propagandowych, w tym komiksu o funkcjonariuszach straży przybrzeżnej.
Po wojnie Simon i Kirby próbowali swoich sił w opowieściach grozy i romansach. Odnieśli na tym polu spory sukces tworząc markę "Young Romance". Ścieżki przyjaciół rozeszły się w 1955 roku, gdy zgnębiony Comic Code rynek znalazł się w kryzysie. Jak w jednym z wywiadów przyznał Kirby "ja utknąłem w komiksie, a Simon chciał robić coś innego". Artysta powracał jednak do komiksu jeszcze wielokrotnie zazwyczaj jako autor krótkich historii. W latach 70. próbował odświeżyć postać Sandmana.
W 1999 roku Joe Simon dostał miejsce w Will Eisner Comic Book Hall of Fame.