1911年10月10日，武昌革命爆发。当时的蔡元培还身在德国，正在一所德国小镇的中学里埋头于他的心理学实验。这时，从遥远的东方传来了辛亥革命的隆隆炮声。蔡元培敏锐地感觉到：划时代的转折来临了！
蔡元培马上提前结束了他的研究，赶到德国首都柏林了解国内革命形势的进展。他和那里的中国留学生们一起报章上有关中国革命的报道，相互联络，想办法响应国内的革命。
这时，上海光复后被推为沪军都督的陈其美给蔡元培来电报促其回国，蔡元培即取道西伯利亚，于11月28日抵达上海。
从此，蔡元培投身到了创建民国的事业。
孙中山在筹建临时政府时，本提名章太炎入阁任教育部长，因章太炎性情率直，与同志多有积怨，反对的人很多，于是，孙中山把人选改为大家眼中温和宽厚的蔡元培。
1912年元旦，中华民国南京临时政府成立，孙中山被一众革命党人推为临时大总统。孙中山在组建政府部门的时候，任命学界革命党人中声望卓著的蔡元培当教育总长。
蔡元培本来曾有过“以身许国，功成身退”誓言，这时候孙中山要他去政府中当官，蔡元培先是婉辞。但眼见国家初创、百废待举，还远远没到“功成身退”的时候，而且孙中山派来的代表说，您这样德高望重的人如果不就任，恐怕其他的职位大家都不好就任了。于是1912年1月5日，蔡元培便以民国教育总长的身份，出现在了南京临时政府的首次国务会议上。
这时的南京临时政府初创，可谓无钱无粮。教育总长蔡元培曾问过给予他任命的临时大总统孙中山，教育部在何处办公，结果孙中山答以“此须汝自行寻觅，我不能管也”。后来，时任江苏都督府内务司长的马相伯先生借给蔡元培内务司办公楼的三间屋子，蔡元培的教育部这才开了张。
有一天，总统府通知去领教育部的办公大印。教育部人手少，连跑腿的杂役也派不出。当了总长的蔡元培也不管什么身份，自己挟了块白布，坐着人力车去总统府领了大印，用布包着带回教育部。
办公条件可以简陋，排场也可以不讲，但用人是不能有半点马虎。在延揽部内人员时，蔡元培力求用一流的人才。许寿裳、周树人（鲁迅）、蒋维乔、钟观光、俞大纯等大师级的人物，就是在蔡元培任教育总长时陆续进入了教育部。
有一个年仅23岁的陌生青年，叫王云五，他给蔡元培写了一封信，力陈如何办好民国高等教育。蔡元培细阅之下，觉得信中的意见很中肯，力邀王云五到教育部兼职。
这个王云五，后来成为著名的出版家、曾任商务印书馆总经理。
两人从此也缔结下了近30年的忘年深交，1940年蔡元培在香港逝世，王云五是朋友中唯一随侍病榻的送终者。
一天，蔡元培在报上看到《孔学商榷》一文，看后很是欣赏，一打听，写文章的这个叫胡玉缙的作者是清末学部的部员，蔡元培也邀请他到教育部工作。
蔡元培用人的另一个原则是“为事择人，不设冗员”。诺大的一个教育部，连誊写杂务在内只三十余人，不足其他部门的三分之一。
万事开头难，开头的事情也特别繁杂，如摸底各地的教育状况，有多少各级各类的学校，使用的教材情况。当时，教育部的各位同仁工作都特别紧张，有人说，“其工作气氛颇似书局之编译所，而绝少官衙习气”。
当时，部内除总长和次长外，统称筹备员，无官职和等级之分。每人每月薪俸，均为几十元，次长和总长也不例外，酷似黎元洪领导下的首义之后的湖北军政府。
中国古代至晚清，中式的传统教育主要发展出了以下几种形式：
(一)府学和县学。它们是为开科取士而设立的，是地方性的官学，属于教育、研究和行政的统一体，对于一个地方的教育发展起着指导作用。府学与县学由官府任命教授人员，教学内容专攻儒学。学生主要由学校供给膳食。
(二)书院。它是中国古代特有的教育组织形式，始于唐末五代，至宋代有较大的发展。它的教育目的、教学内容、教学方式和组织管理都有许多不同于府、县学的特点。学习方法以个人钻研为主，学习内容以经学为主，兼学古文、制艺，发展至后期，又兼学历史、舆地、说文、算术、金石。书院经费大都由创建者捐助，少数官办。书院与地方官学相比，规章制度、课程设置较周详，注重精研古学，经费来源主要依靠学田供给。书院掌教人选，大都是素孚众望的学者。
(三)社学和义学。它是元代发展起来的封建社会初等教育单位。至正九年(1349)，达鲁花赤八不沙建立社学一百三十余所。元代社学基本上为官办，明洪武八年(1375)诏府、州、县每五十家立社学一所。