快哉亭取名苏轼的《快哉此风赋》。宋西宁十年（1077年），苏轼调任徐州知州后，常约宾朋来此避暑。一天，苏市登城步入新改建的亭内，李邦直请他命名。苏轼挥毫作赋："贤者之乐，快哉此风。虽庶民之不共，眷佳客以攸同。穆如其来，既偃小人之德；飒然而至，岂独大王之雄？如夫鹢退宋都之上，云飞泗水之湄，寥寥南郊，怒号千万，飒飒东海，鼓舞与四维。因此隅晋人一映之小，笑玉川两腋之卑。野马相欢，搏羽毛于汗漫，应龙所行，作麟角以参差。"。从此把阳春亭易名为快哉亭。

　　昔日的快哉亭，建筑在古城墙的角上，北成为奎楼，为徐州古城的五楼之一，与彭祖楼、霸王楼、黄楼、燕子楼、布于古城周围。奎楼祀奎星，为文人崇祀之神。古时每年五月十六日有庙会，香火甚盛。因楼建在古城东南处，有成拐角楼。徐州的古城墙在历史上享有盛名，1928年被当时的驻军扒砖卖钱拆除。今快哉亭下的城墙已修复，游人在快哉亭举目眺望，古城内外景色尽收眼底，为古今登临观赏胜地。北宋诗人陈师道在《登快哉亭》师中写道：
　　城与清江曲，泉流乱石间。
　　夕阳初隐地，暮霭已依山。
　　度鸟欲何向，奔云亦自闲。
　　登临兴不尽，稚子故须还。