1880年10月2日，刘大白出生在一个山明水秀的桃源之乡，这就是浙江省会稽县（现绍兴）平水村。刘大白青少年时姓金，原名金庆？，字伯贞，号清斋。
1895年，刘大白第一次离开了家乡，赴杭州考科举，得过优贡生，还曾膺拔贡于入京谒选，正在这时恰逢其病亡，才没成功。刘大白成年后，曾任绍兴师范学堂和山会小学教员，于1910年2月结束了故乡看云听水的生活和学堂教书生涯，去北京谋职。刘大白在京谋职未成，决定乘船离京，从海道南归。回到绍兴后，和清末老同盟会会员，光复会会员王世裕合编《绍兴公报》，并且与好友任瘦红在该报共事一年多。1913年，刘大白东渡亡命日本，在日本东京期间，刘大白加入“同盟会”，1915年公开发表反对卖国的二十一条条约的文章，受到日本警视厅的监视，又不得不离开东京，转赴南洋，先后受到过新加坡、苏门答腊等地，在那些地方应当地华侨学校的聘请，教授国文，为时有一年多。
直到1916年6月，袁世凯称帝失败而身亡，刘大白才得以能从南洋回国，定居在杭州皮市巷三号，在《杭州报》任职谋生。1920年6月，刘大白从杭州回绍兴之后，他往返于杭州、萧山、绍兴等地，先后在崇文、安定、春晖等中学任教。在1921年至1922年这两年中，刘大白写了许多新诗和随感，发表在《民国日报·觉悟》上，新诗署名刘大白，随感暑名汉胄或靖裔。刘大白的新诗中有不少是涉及底层劳动人民的痛苦生活的。1924年，刘大白加入以柳亚子为首的新南社，同年，他加入文学研究会上海分会。1924年3月，刘大白的第一部诗集《旧梦》由上海商务印书馆出版，共收五百九十七首诗，列入"文学研究会丛书"之一，陈望道，周作人为诗集作序，这是刘大白在1919年--1922年新诗创作全盛时期的作品，在刘大白的新诗集中，基本上有三种类型的诗，一种是抒情诗，还有一种是说理诗，再有是具有平民思想的诗。
1924年2月底，刘大白由杭抵沪，经邵力子的推荐，受聘于上海复旦大学任大学部文科教授，住江湾校舍，后又受聘上海大学，教中国文学。刘大白在复旦大学和上海大学任教后，开始将较多的精力放在学术研究上，孙中山改组国民党后，刘大白为兴办教育事业，与朱少卿一起加入国民党。刘大白在复旦大学任教期间与徐蔚南、陈望道等教员负责编辑《黎明》周刊。刘大白在该刊上发表了大量的政论性文章，运用了“一字之褒，荣于华衮，一字之贬，严于斧钺”的春秋笔法，切中弊，在校内和社会上产生了一定的影响。1926年12月，刘大白另一本新诗集《邮吻》由上海开明书店初版，列入“黎明社丛书”之一，该书共收作者1923年5月至1926年5月三年中写的一百首诗。1928年1月，辞去复旦大学的职务，随即赶杭州任国立浙江大学秘书长之职。1929年8月15日，新任教育部长蒋梦麟请刘大白任教育部常任次长。
刘大白不但是位创作甚丰的诗人，他在文学的评论方面也有超乎一般见解之上的深刻警辟的思想，著有《白屋文话》、《旧诗新话》、《白屋说诗》等谈诗论文的集子。从刘大白以上三本文学论著来看，他对文学遗产的认识是较全面，评价得颇公允的，他对古人留下的遗产，既不一笔抹煞，也不是盲目崇拜，而是取其精华，弃其糟粕，正由于刘大白有这个基础，所以无论是他的旧体诗和新诗，都极少用粉饰之字，镂金错采，敷衍成章，很能显示这位诗人精深博大的功力。由于前阶段的潜心研究，在1929年刘大白出版了多种著作，12月，他编写的《五十世纪中国历年表》由上海商务印书馆出版，这是一部很重要的工具书。同年12月15日辞去了教育部政务次长的职务。1931年开始，刘大白闭门进行写作。
1932年2月13日，刘大白静静地躺在钱塘路九号里的床上，与世长逝，享年五十三岁。
