お墓参りの時間については、特に決まりはございません。
お参りは午前中にしたほうが良いというのは、他の用事や何かの楽しみのついでにお参りするのではなく、仏様のことを優先して考えるべきだという、古くからの教えなのでしょう。

今回は遊びでお墓参りが後になってしまうのではなく、お仕事のご都合ということですから、お墓参りが午後になってしまっても差し支えないかと存じます。

形に囚われるのではなく、故人へのお気持ち、心がこもっているかどうかが肝心かと存じます。
心を込めてお墓のお掃除をし、故人をご供養されてはいかがでしょうか。