苏轼在杭州呆了三年，任满后，被调往密州、徐州、湖州等地，任知州。

这样持续了大概十年，苏轼遇到了生平第一桩祸事。当时有人故意把他的诗句扭曲，大文章。元丰二年（1079），苏轼到任湖州还不到三个月，就因为作诗讽刺新法，以“文字毁谤君相”的罪名，被捕下狱，史称“乌台诗案”。

苏轼下狱后生死未卜，在等待最后判决的时候，其苏迈每天去监狱给他送饭。由于父不能见面，所以早在暗中约好：平时只送蔬菜和，如果有死刑判决的坏消息，就改送鱼，以便心里早准备。

苏轼坐牢103天，几次濒临被砍的境地。幸亏北宋在太祖赵匡胤年间即定下不杀言官、士大夫的国策，苏轼才算躲过一劫。

狱以后，苏轼被降职为黄州团练副使（相当于现代民间的自卫队副队长）。这个职位相当低微，而此时苏轼经此一狱已变得心灰意懒，在办完公事之后便带领家人开垦荒地，田帮补生计。“东坡居士”的别号便是他在这时为自己起的。

宋神宗元丰七年（1084），苏轼离开黄州，奉诏赴汝州就任。由于长途跋涉，旅途劳顿，苏轼的幼儿不幸夭折。汝州路途遥远，且路费已尽，再加上丧之痛，苏轼便上书朝廷，请求暂时不去汝州，先到常州居住，后被批准。当他准备南返常州时，神宗驾崩。

哲宗即位，太后听政，新党势力倒台，司光重新被起用为相。苏轼于是以礼郎中被召还朝。在朝半月，升起居舍人，三个月后，升中书舍人，不久又升翰林学士。在此期间，苏轼在人生的顺境之中，但依然持他的淡泊。“人在玉堂”时，却怀念黄州东坡雪堂“手堂前桃李，无限绿青”；他还告诫自己说：“居士，居士，莫忘小桥。”元祐六年（1091）三月，自杭州知州为翰林学士承旨时作《八声甘州·寄参廖》词，偏要表白自己：“谁似东坡老，白首忘机。”苏轼这在顺境中淡泊自守的品格难能可贵。

俗话说：“京官不好当。”当苏轼看到新兴势力拼命压制王安石集团的人及尽废新法后，认为其与所谓“王党”不过一丘之貉，再次向皇帝提谏议。

苏轼至此是既不能容于新党，又不能见谅于旧党，因而再度自求外调。他以龙图阁学士的份，再次到阔别了十六年的杭州当太守。苏轼在杭州行了一项重大的利建设，疏浚西湖，用挖的泥在西湖旁边筑了一堤坝，也就是著名的“苏堤”。

苏轼在杭州过得很惬意，自比唐代的白居易。但元祐六年（1091），他又被召回朝。但不久又因为政见不合，被外放颖州。

元祐八年（1093）新党再度执政，他以“讥刺先朝”罪名，被贬为惠州安置、再贬为儋州（今海南省儋县）别驾、昌化军安置。徽宗即位，调廉州安置、舒州团练副使、永州安置。元符三年（1100）大赦，复任朝奉郎，北归途中，卒于常州，谥号文忠，享年六十六岁。