Mihajlo Pupin je rodjen 9. oktobra 1854. u selu Idvor, opstina Kovacica, u Banatu. Otac Konstantin (Kosta) i majka Olimpijada, zemljoradnici srednjeg poseda imali su desetoro dece, 5 muskih i 5 zenskih.
Prvo je ucio u Srpskoj veroispovednoj osnovnoj skoli u Idvoru, a zatim u Nemackoj osnovnoj skoli u Perlezu. Posle toga je presao u Gradjansku skolu i Realku (srednju skolu) u Pancevu, u kojoj je zavrsio V razred u leto 1872. godine. Kao odlican ucenik, dobio je vec 1871. stipendiju u Pancevu.
U jesen 1872. posao je na skolovanje u Prag, u Cesku. Osnovni razlozi za to su ucesce u sukobima Omladine srpske sa nemackim vlastima i zelja okoline (majke, ucitelja prote V. Zivkovica i ucitelja fizike i matematike Simona Kosa) da kao darovit ucenik nastavi dalje skolovanje.
U Pragu, Pupin je nastavio sesti razred i prvi semestar sedmog razreda realke. Primio je stipendiju iz Panceva, ali nedovoljnu i neurednu. Ucio je vrlo neuredno zbog ucesca u sukobima ceske i nemacke omladine i tugovanja za zavicajem. Stoga 1874. odlazi u SAD, preko Hamburga, u svojoj 20-toj godini.
Pupin je prvih pet godina po dolasku u SAD imao vrlo teske uslove zivota. Radio je kao fizicki radnik, prvo na poljskim, nosackim i slicnim poslovima, a zatim u jednoj fabrici dvopeka u Njujorku, posecujuci Kuperovu vecernju skolu. Kad je postao pomocni sluzbenik, konkurisao je i polozio prijemni ispit na Kolumbija-koledzu u Njujorku u jesen 1879. Odmah se istakao kao primeran ucenik. Oslobodjen je placanja skolarine, a vec na kraju prve godine dobio je dve novcane nagrade (iz grckog i matematike). Uglavnom se izdrzavao prihodima od poducavanja slabijih ucenika i fizickog rada.
Po zavrsetku skolovanja 1883. godine primio je diplomu prvog akademskog stepena Bachelor of Arts, a dan pre toga primio je americko drzavljanstvo. Dobio je odmah stipendiju, kao odlican ucenik, za studije matematike i fizike u Kembridzu u Velikoj Britaniji (1883-1885), a zatim u Berlinu (1885-1889), gde je polozio doktorat iz oblasti fizicke hemije, sa temom: "Osmoticki pritisak i njegov odnos prema slobodnoj energiji".
Svoju nastavnicku karijeru i naucnu delatnost zapoceo je kao nastavnik fizicke matematike u odeljenju za elektrotehniku na Kolumbija univerzitetu u Njujorku 1889. godine. Pupin je punih cetrdeset godina bio nastavnik i profesor Kolumbija univerziteta, od 1889. do 1929. godine. Redovni profesor je od 1901. godine, odnosno od svoje 43. godine zivota.
Pupin je pored naucne delatnosti, smislio mnogo pronalazaka, od kojih je patentirao 24. Za svoj sveobuhvatni rad dobio je mnoge nagrade i priznanja.
U sukobu pristasa jednosmerne i naizmenicne struje bio je uz Teslu.
Pupin je bio i uspesan pisac. Za svoje autobiografsko delo "Sa pasnjaka do naucenjaka" (naslov u originalu: "From Immigrant to Inventor"), objavljeno 1923. godine, godinu dana kasnije 1924. godine dobio je Pulicerovu nagradu.
Nikada nije zaboravio i nije se odrekao starog zavicaja i pomagao je i Idvor i Srbiju i Jugoslaviju na sve moguce nacine.
Pupin je bio ozenjen Amerikankom Sarom Katarinom Dzekson iz Njujorka. Imao je sa njom cerku Varvaru, udatu Smit.
Umro je 12. marta 1935. u Njujorku i sahranjen na groblju Vudlaun u Bronksu.
