初，帝欲大营汾阳宫，令御史大夫张衡具图奏之。衡承间进谏曰：“比年劳役繁多，百姓疲弊，伏愿留神，稍加抑损。”帝意甚不平，后日衡谓侍臣曰：“张衡自谓由其计画，令我有天下也。”乃录齐王暕携皇甫诩从驾及前幸涿郡祠恒岳时，父老谒见者衣冠多不整，谴衡以宪司不能举正，出为榆林太守。久之，衡督役筑楼烦城，因帝巡幸，得谒帝。帝恶衡不损瘦，以为不念咎，谓衡曰：“公甚肥泽，宜且还郡。”复遣之榆林。未几，敕衡督役江都宫。礼部尚书杨玄感使至江都，衡谓玄感曰：“薛道衡真为枉死。”玄感奏之；江都郡丞王世充又奏衡频减顿具。帝于是怒，锁诣江都市，将斩之，久乃得释，除名为民，放还田里。以王世充领江都宫监。
世充本西域胡人，姓支氏。父收，幼从其母嫁王氏，因冒其姓。世充性谲诈，有口辩，颇涉书传，好兵法，习律令。帝数幸江都，世充能伺候颜色为阿谀，雕饰池台，奏献珍物，由是有宠。
夏，六月，甲寅，制江都太守秩同京尹。
冬，十二月，己未，文安宪侯牛弘卒。弘宽厚恭俭，学术精博，隋室旧臣，始终信任，悔吝不及者，唯弘一人而已。弟弼，好酒而，尝因醉射杀弘驾车牛。弘来还宅，其妻迎谓之曰：“叔射杀牛。”弘无所怪问，直答云：“作脯。”坐定，其妻又曰：“叔忽射杀牛，大是异事！”弘曰：“已知之矣。”颜色自若，读书不辍。
敕穿江南河，自京口至馀杭，八百馀里，广十馀丈，使可通龙舟，并置驿宫、草顿，欲东巡会稽。
上以百官从驾皆服裦褶，于军旅间不便，是岁，始诏“从驾涉远者，文武官皆戎衣，五品以上，通著紫袍，六品以下，兼用绯绿，胥史以青，庶人以白，屠商以皂，士卒以黄。”
帝之幸启民帐也，高丽使者在启民所。启民不敢隐，与之见帝。黄门侍郎裴矩说帝曰：“高丽本箕子所封之地，汉、晋皆为郡县；令乃不臣，别为异域。先帝欲征之久矣，但杨谅不肖，师出无功。当陛下之时，安可不取，使冠带之境，遂为蛮貊之乡乎！今其使者亲见启民举国从化，可因其恐惧，胁使入朝。”帝从之，敕牛弘宣旨曰：“朕以启民诚心奉国，故亲至其帐。明年当往涿郡，尔还日，语高丽王：宜早来朝，勿自疑惧，存育之礼，当如启民。苟或不朝，将帅启民往巡彼土。”高丽王元惧。藩礼颇阙，帝将讨之；课天下富人买武马，匹至十万钱；简阅器仗，务令精新，或有滥恶，则使者立斩。
大业七年辛未，公元六一一年春，正月，壬寅，真定襄侯郭衍卒。
二月，己未，上升钓台，临杨子津，大宴百僚。乙亥，帝自江都行幸涿郡，御龙舟，渡河入永济渠，仍敕选部、门下、内史、御史四司之官于前船选补，其受选者三千余人，或徒步随船三千馀里，不得处分，冻馁疲顿，因而致死者什一二。