隋炀帝喜爱读书，善于写文章，他的诗也很有韵味。清人沈德潜说隋炀帝“能作雅正语”，认为“比陈后主胜之”。如他的诗《饮马长城窟行示从征群臣》、《早渡淮》内容雅正，隋炀帝的文章也写得很好，在《隋书》中保留了一部分，如他给杨素的手诏等。唐太宗在看了《隋炀帝集》之后，说隋炀帝的“文辞奥博”，要是不知道这是隋炀帝所作，一定会以为作者是像尧舜那样的圣人。隋炀帝不仅本人有较高的文学修养，而且他对文学的爱好，也促进了隋朝文化事业的发展。
隋朝初年，前朝，尤其是南朝淫丽的词藻、浮华的文风影响着文坛，隋文帝虽然下令，想以行政力量改革文风，但实际作用并不大。隋炀帝喜爱文学，对华丽之风曾作过评论，而且他自己写的诗文也清新典雅，词藻虽美却没有淫荡之意，这对当时的文人学士有极大的影响，使一时的文风为之变化，据说都归于“正”了。一直严厉批评隋炀帝的魏徵，也说不能“以人废言”，充分肯定了隋炀帝在改变文风方面所起的作用。
隋文帝没有学问，虽然在开皇三年（５８３年）同意牛弘上表请购求遗书的建议，下诏天下搜集图书，对于发展文化事业有所贡献。但是他并不真正懂得保护和发展文化的意义，所以在平定陈国之后，以平陈所得到的古器“多为妖变”为理由，全部予以毁坏，这实际上是对文化的一大破坏。在他晚年，即仁寿二年（６０２年）六月，以国子学的学生太多，“徒有名录”，“空度岁时”为由，因而大量裁减国子学的学生，结果使国子学学生由近千人降到７０人，太学、四门学以及各州县学，都被废弃，这是对教育事业的严重摧残，对于文化的发展有百害而无一利。在此同时，隋文帝却大崇佛教，使佛教的经籍数量大大超过了儒家经典。
隋炀帝即位后，一反其父所为，并于大业元年（６０５年）闰七月下诏恢复国子学、太学、四门学，增加学生。使几乎被隋文帝扼杀的教育事业重新发展起来。隋炀帝发展教育，尽管是贵族官僚教育，但是对于文化事业的发展，还是有积极作用的，应当予以肯定。
隋炀帝对隋王朝秘阁的藏书十分爱惜，为了使这些文化典籍能够保存下来，他组织了不少字迹工整的读书人到阁中抄写，当时秘阁三万多卷藏书，每一本写５０本副本，并且把这些书分成上、中、下三品。上品用红琉璃为轴，中品以绀琉璃为轴，下品是漆轴。这些书存放在洛阳观文殿东西厢所构造的屋里，东边的屋藏甲、乙两种即经、史之书籍，西边屋藏丙、丁两种即子、集之书籍。在观文阁后面建造二台，东边的台叫妙楷台，贮藏北魏以来的古迹，西边的台叫宝迹台，贮藏北魏以来的古画名画。在宫中的道场则存放佛道典籍。隋炀帝组织对图书、名画、古迹的整理、抄录和珍藏，是中国古代文化史上的大事，他的贡献不应抹煞。可惜的是，隋亡之后，唐初把这些图集古画运往长安时，在黄河的砥柱漂没，只存下十分之一、二。隋代所作存书的《目录》也残缺不全了。在唐初看到残存目录分四部，书１４４６６部，８９６６６卷，这是一个相当可观的数字，比隋初的三万卷多出几乎二倍。
对文化教育事业发展有所贡献，这是隋炀帝积极的，而另一方面，他迫害了造诣颇高的学士。薛道衡的文章深得南方陈国文人的喜爱。平陈战争时，他以淮南道行台尚书吏部郎掌管军中文翰。以后，有人说薛道衡党羽苏威，被谪配岭南。当时晋王杨广在扬州，他要薛道衡从扬州经过，以便向隋文帝请求把薛道衡留在自己身边，而薛道衡不愿到晋王府，所以从江陵南下，使杨广十分生气。但杨广知道薛道衡有才，杨广爱才，所以见了薛道衡还能以礼相待。隋炀帝即位后，薛道衡上表要求致仕（退休），炀帝当时准备让薛道衡当秘书监，谁知他却上了一篇《高祖文皇帝颂》，大赞隋文帝，隋炀帝见后很生气，认为他有意讥讽自己，便让薛道衡当司隶大夫，实际上是在设法罗织罪状。一次，议论新令，久而不决，薛道衡便说，要是高颎在的话，令早已实行了（高颎前不久被杀）。这事被人告发，隋炀帝大怒，说：“你还怀念高颎？”便把薛道衡交付审讯。
薛道衡自认为没有什么大的过失，所以催促早日判断，看望在奏报上去时，隋炀帝会赦免自己。他还告诉家里人做好准备，一旦自己出狱，会有人来访问的。这事也被告发。隋炀帝当下命令薛道衡自尽。薛道衡以为不可能，所以没有自尽，炀帝便让人把他缢杀，把他的妻子迁到且末（今新疆且末）。薛道衡之死，天下人都认为冤枉。而薛道衡之所以被杀，除了他歌颂隋文帝外，主要是隋炀帝妒忌他的文章写得好，隋炀帝不愿意别人的文才超过自己。所以薛道衡死后，炀帝很得意地说：“看他还能写‘空梁落燕泥’这样的句子？”王胄是晋王杨广在平陈之后引为学士的，他的诗、文都有名于当世，常与炀帝和诗，当时后进之士都以王胄、虞绰的诗文为标准，声望之高可见一斑。隋炀帝对王胄之才既喜爱，又不免有妒忌之意。由于王胄曾与杨玄感交往过，所以杨玄感失败后，他也被流配边地。后来偷偷回到江南，被捕后斩杀。隋炀帝在他死后，很怀念他以前做的句子。
隋炀帝认为自己才学超群，天下第一，无人可及。他公开对侍臣说：“天下的人都认为我不过是继承了父皇而富有四海、成为天子的，其实，如果让我同士大夫一起比试文学，这个天子也应由我来当。”这样狂妄自大的君主是丝毫听不进他人意见的。唐代宰相魏徵在说到隋炀帝失天下时，指出他“恃才矜己”也是原因之一。
