Ծնվել է հայ երկաթուղային բանվորի ընտանիքում Ռուսական Կայսրության Ելիզավետպոլի Գանձակի նահանգի Չարդախլու գյուղում ներկայիս այսպես կոչված ադրբեջանական Հանրապետության տարածքում։ Նախնական կրթությունը ստացել է Գանձակի երկաթուղային դպրոցում։ Նույն գյուղում է ծնվել Համազասպ Խաչատուրի Բաբաջանյանը՝ ԽՍՀՄ զրահատանկային զորքերի գլխավոր մարշալը։ 1915 թվականին Հովհաննես Բաղրամյանը կամավոր ընդգրկվեց Ռուսաստանի բանակում՝ 2-րդ Կովկասյան սահմանային գնդում՝ Ռուսաստանի էքսպեդիցիոն կորպուսի կազմում, և Առաջին համաշխարհային պատերազմի մեծ մասը կռվեց Կովկասյան ճակատում՝ օսմանյան Կայսրության դեմ։ Կարճ ժամանակ մասնակցելով Կովկասյան ռազմաճակատի մարտերին ընդունվում է Թիֆլիսի ենթասպաների դպրոցը։ Այն ավարտելուց հետո, 1917 թվականին կրկին մեկնում է ռազմաճակատ՝ համալրելու Էրզումի շրջանում գործող ռուսական զորքերի շարքերը։ 1917-1918 թվականներին Բաղրամյանը ականատես է լինում Կովկասյան ռազմաճակատում կատարված արմատական փոփոխություններին, մասնակցում հայ ժողովրդի ազատագրության համար մղված կռիվներին , Հայկական բանակի կազմում մասնակցել է 1918 թվականի Սարիղամիշի և Կարսի տարածքում թուրքերի դեմ կռիվներին, ինչպես նաև Սարդարապատի հերոսամարտին, որպես դասակի հրամանատար։ Խորհրդային կարգերի հաստատման առաջին իսկ օրերից նա կարմիր բանակի շարքերում էր։ Իր բարձր ընդունակության, արտակարգ աշխատասիրության, կազմակերպչական կարողության ու կարգապահության, ռազմական գործի նկատմամբ ունեցած մեծ սիրո շնորհիվ նա շատ արագորեն է անցել ծառայության սանդուղքներով։ 1921-23 թվականներին հեծյալ էսկադրոնի հրամանատար էր։ Մի որոշ ժամանակ աշխատում էր նաև Խորհրդային Հայաստանի ռազմական ժողկոմատում։ 1923-31 թվականներին հայկական հեծյալ գնդի հրամանատար էր։ 1925 թվականին ավարտել է Սանկտ Պետերբուրգի (Լենինգրադի) հեծելազորային դպրոցը, 1934 թվականին՝ Ֆրունզեի անվան ռազմական ակադեմիան։ Այդ ընթացքում ծառայել է Հայաստանում տեղակայված խորհրդային զորքերում, Էջմիածինում, Երևանում, Գյումրիում։
