首联写诗人在晚秋时节，冒着早晨的霜露，走在幽深的山谷之中，字里行间流泻出一种跋涉之苦。其实，诗人现实的生活道路也是如此。首句的“杪秋”本已点明季节，但作者却仍嫌不足，在句尾又以“霜露重重”加重笔墨，进一步渲染了秋之已深。次句的“幽”字，则是强调了诗人所行山谷远离市井，幽深僻静。

接着，具体写经荒村所见。厚厚的黄叶覆盖着小溪上的桥面，荒村唯有古树处处可见，寒天的野花，稀疏零落，大地更显得空旷。山谷深处的泉水声微流缓，水声时断时续，更衬出大地的寂静。几句诗，写尽了南谷秋色和荒村的荒僻景象，给人以衰败、寥落之感。

诗人处境险恶，眼前如此萧疏荒寂的景色，很自然地触动了他的身世之感。作者在《始得西山宴游记》中曾这样说道：“自余为僇人，居是州，恒惴栗。”他也想驱除胸中的郁闷。可是，今天南谷之行却没有使他得到“心凝形释，与万化冥合”的轻松，反而更加重了他的孤独落漠之感。诗最后写的“机心久已忘，何事晾麋鹿”，表面上的超脱放达之态，实际上却反映了欲遣愁绪而不能，从而愁上加愁的心境罢了。

全诗紧扣题目，以标题中的“荒”字笼盖全篇，使诗人笔下的画面，涂上了一层惨淡之色，霜露、幽谷、黄叶、溪桥、古木、寒花和幽泉，无一不在它的笼罩之下，因而有力地突出了荒村的特点；而这个特点，又处处不离“杪秋”这个季节，使景物都具有浓厚的时令特色。

诗人笔下的景色写得真实、自然，同时又处处渗透着诗人的主观情憬。诗人特有的心境与眼前寥落衰败的景象相互交融，达到了情景交融的艺术境界。

全诗大体分两层笔墨。前八句，着重在描写南涧时所见景物。时方深秋，诗人独自来到南涧游览。涧中寂寞，仿佛秋天的肃杀之气独聚于此。虽日当正午，而秋风阵阵，林影稀疏，仍给人以萧瑟之感。诗人初到时若有所得，忘却了疲劳。但忽闻失侣之禽鸣于幽谷，眼见涧中水藻在波面上荡漾，却引起了无穷联想。诗的后八句，便着重抒写诗人由联想而产生的感慨。诗人自述迁谪离京以来，神情恍惚，怀人不见而有泪空垂。人孤则易为感伤，政治上一失意，便动辄得咎。如今处境索寞，竟成何事？于此徘徊，亦只自知。以后谁再迁谪来此，也许会理解这种心情。诗人因参加王叔文政治集团而遭受贬谪，使他感到忧伤愤懑，而南涧之游，本是解人烦闷的乐事，然所见景物，却又偏偏勾引起他的苦闷和烦恼。所以苏轼认为“柳子厚南迁后诗，清劲纡徐，大率类此”（《东坡题跋》卷二《书柳子厚南涧诗》）。这是道出了柳宗元贬后所作诗歌在思想内容方面的基本特色的。

清人何焯在所著《义门读书记》中，也曾对此诗作过较好的分析。他说：“‘秋气集南涧’，万感俱集，忽不自禁。发端有力。‘羁禽响幽谷’一联，似缘上‘风’字，直书即目，其实乃兴中之比也。羁禽哀鸣者，友声不可求，而断迁乔之望也，起下‘怀人’句。寒藻独舞者，潜鱼不能依，而乖得性之乐也，起下‘去国’句。”他这种看法，既注意到了诗人在诗歌中所反映的思想情绪，又注意到了这种思想情绪在诗歌结构安排上的内在联系，是符合作品本身的实际的。“秋气集南涧”一句，虽是写景，点出时令，一个“集”字便用得颇有深意。悲凉萧瑟的“秋气”怎么能独聚于南涧呢？这自然是诗人主观的感受，在这样的时令和气氛中，诗人“独游”到此，自然会“万感俱集”，不可抑止。他满腔忧郁的情怀，便一齐从这里开始倾泻出来。诗人由“秋气”进而写到秋风萧瑟，林影参差，引出“羁禽响幽谷”一联。诗人描绘山鸟惊飞独往，秋萍飘浮不定，不正使人仿佛看到诗人在溪涧深处踯躅徬徨、凄婉哀伤的身影吗？这“羁禽”二句，虽然是直书见闻，“其实乃兴中之比”，开下文着重抒写感慨的张本。诗人以“羁禽”在“幽谷”中哀鸣，欲求友声而不可得，比之为对重返朝廷之无望，因而使他要“怀人泪空垂”了。这诗写得平淡简朴，而细细体会，蕴味深长，“平淡有思致”。苏轼称赞此诗“妙绝古今”，“熟视有奇趣”，道出了它的艺术特色。