Nació en Augusta en 1930. Pasó su infancia en Allendale, Carolina del Sur, donde vivian sus abuelos paternos. Pasó un año con su madre en Columbia, Carolina del Sur y posteriormente, pasó varios años viviendo con su tía Gladys en Lake Murray. Completó sus estudios viviendo de nuevo con su madre.
A partir de 1947 estudió arte en la universidad de Carolina del Sur, la cual abandonó para estudiar en la Parsons School of Design en Nueva York. Fue reclutado para el ejército en 1951 y colocado en primer lugar en Fort Jackson, donde dirigió una galería de arte, y más tarde en Sendai, Japón
En 1953 volvió a Nueva York, donde el y su colega Robert Rauschenberg diseñaban escaparates para los grandes almacenes. Durante esta época experimentó con el collage y tambien comenzó a pintar la bandera americana que se convirtió en un sello distintivo de su obra. Siguió con cuadros de números y metas.
Johns y Rauschenberg anunciaron el arte pop, un movimiento artístico que comenzó a mediados de la década de 1950, con obras que utilizaban objetos familiares en sorprendentes formas nuevas. En reacción contra el expresionismo abstracto, el pop rendía homenaje a los medios de comunicación, la publicidad y los bienes de consumo. Los dos artistas colaboraron tambien con otros artistas como el compositor John Cage y el coreografo Merce Cunningham
En 1957 el museo judío de Nueva York, incluyó una obra de Johns, en la exposición "segunda generación de artistas de la Escuela de Nueva York". Su primera exposición individual tuvo lugar en la galeria Leo Castelli de Nueva York. El Museo de Arte Moderno de Nueva York compró varias obras suyas. Se incluyeron tres obras en la Bienal de Venecia y recibió el premio Marnegie. Al año siguiente expuso en Paris y Milán. Se interesó por la obra de Marcel Duchamp y comenzó a hacer escultura
En 1960 comenzó a estudiar litografía. En 1966 un incendio destruyó su casa y estudio en Carolina del Sur. Un año más tarde se convirtió en asesor artístico de Merce Cunningham Dance company, puesto que conservó hasta 1978.
A partir de 1972 su obra se volvió abstacta, hasta 1980 que cambió una vez más, llegando a ser auto-referencial y profundamente personal, incorporando artefactos, símbolos y recuerdos de su infancia.