Roumain est né le 4 juin 1907, à Port-au-Prince, dans une famille aisée. Son grand-père, Tancrède Auguste, fut président d'Haïti de 1912 à 1913. Il fréquenta des écoles catholiques à Port-au-Prince et, plus tard, étudia en Belgique, en Suisse, en France et en Allemagne. À vingt ans, il revint en Haïti et fut co-créateur de "La Revue Indigène" avec Émile Roumer, Philippe Thoby-Marcelin, Carl Brouard et Antonio Vieux, dans laquelle ils publièrent des poèmes et des nouvelles.
Il fut très actif dans la lutte contre l'occupation américaine d'Haïti (1915-1934). il est le fondateur du mouvement ouvrier et communiste haïtien.
En 1934, il fonda le Parti communiste haïtien. En raison de ses activités politiques, de sa participation au mouvement de résistance contre la présence américaine, et, surtout, de la création de sa part du Parti communiste haitien, il fut souvent arrêté et finalement contraint à l'exil par le président de l'époque Sténio Vincent.
Pendant ses années d'exil, Roumain travailla et se lia d'amitié avec de nombreux écrivains et poètes de son époque, comme Langston Hughes. Il fréquenta également l'université Columbia à New York. Après le changement de gouvernement en Haitï, il fut autorisé à revenir dans son pays natal. Une fois revenu il fonda le Bureau National d'Ethnologie.
En 1942, le Président Elie Lescot l'investit d'une charge de diplomate à Mexico. Il compléta à la même époque deux de ses livres les plus influents : le recueil de poésie Bois D'Ebène et le roman Gouverneurs de la Rosée, qui se vendit pourtant à moins d'un millier de copies la première année suivant sa publication.
La majorité du travail de Roumain exprime la frustration et la rage d'un peuple qui a été piétiné durant des siècles. Il incluait tous les Haitiens dans ses écrits, et appelait les pauvres à s'unir contre la misère.