《最好的时光》的英文片名为《ThreeTimes》，正好呼应片中三个时代背景。片中讲述了三段未果的恋情，三段怀旧的心事，那些最好的时光，就“像初秋的阳光和溪水潺潺流过白烁烁的野芒花，是如此叫我们珍重爱惜。”但是，人生匆匆，待回首时，已是关山万重。
故事第一段《恋爱梦》发生在1966年，当兵的张震回乡度假，在撞球室认识了记分员舒淇，开始了一段青涩恋爱。这一段其实是侯孝贤年轻时候的故事。这段故事的最后一个镜头是服兵役的少年张震与桌球小姐舒淇手拖手站立在细雨中的车站前等车，是侯孝贤电影中少见的甜美结局。
而故事第二段《自由梦》拉回到1910年，清末民初，讲述文人张震和艺妓舒淇的际遇。影片中艺妓欲赎身嫁人的不自由，男子志在远方的追求自由，各自有梦。这段故事来自侯孝贤认识的某位台湾政坛人物祖父的往事。《自由梦》完全采用默片手法，从头至尾只有配乐和少量哀怨悱恻的南管古歌，对白采用文言文竖排字幕插入，电影手法十分独特怀旧。这一段故事中洋溢着浓郁的古典情怀，比他以前的《海上花》更细腻动人。
第三个故事《青春梦》则发生在现代，LomoGrapher张震遭遇音乐人舒淇，虽然舒淇陷在一段同性恋情中，但现代台北人轰轰烈烈的爱情还是发生了。这一段，则是台湾著名艺人谭艾珍女儿欧阳靖的真实故事。片中舒淇的造型，都与欧阳靖本人完全相同。“虽说是新时代，许多人根本看不清自己的位置，无论男女感情、性观念都是如此。年轻一辈好像什么都知道，又好像什么都不知道，很短暂，很苍白。”侯孝贤说。
侯孝贤在这部电影的创作中，继续抱持他一贯的“倾听的、注视的态度”，不受市场影响，不注重故事情节，甚至没有明显的开始、中间和结局，它们犹如一件件质朴的手工艺品，追求的只是一种电影内在的韵律和诗意，表达的也只是他个人对于社会的理解、对于人生的诠释。
“生命中有许多吉光片羽，无从名之，难以归类，也不能构成什么重要意义，但它们就是在我心中萦绕不去。比如年轻时候我爱敲杆，撞球间里老放着歌《Smoke Gets in Your Eyes》。如今我已近六十岁，这些东西在那里太久了，变成像是我欠的，必须偿还，于是我只有把它们拍出来。 我称它们是，最好的时光。最好，不是因为最好所以我们眷念不已，而是倒过来，是因为永远失落了，我们只能用怀念召唤它们，所以才成为最好。我有预感，这样的片型，我会再拍个几部。”——侯孝贤台北2005.4
