Con la falta de variedad de roles y reparto, así como la decepcionante salida de su debut como director, James Caan comenzó a sentirse frustrado con la industria cinematográfica. Después de “Hide in Plain Sight”, que reforzó su opinión de que el dinero, no la calidad, impulsaba la industria, Caan protagonizó la película de Neil Simon de 1979 “capitulo dosPero el marketing hizo a un lado a Caan y, en cambio, centró la atención en su coprotagonista, Marsha Mason, quien se sintió traicionado por el productor Ray Stark y Simon, quienes sintió que subestimaron su inteligencia.
Caan habló sobre los directores que no le gustaban. Él y Alan J. Pakula, quien lo dirigió en “Comes a Horseman”, no se llevaban bien, y Caan comparó la experiencia cinematográfica con la prisión, por Piedra rodante. Incluso abandonó el set de otra película, “The Holcroft Covenant”, y fue reemplazado por Michael Caine, según el New York Times.
Caan también estaba frustrado con la volatilidad de la industria y su imagen pública en constante cambio. Hablando con Rolling Stone en 1981, Caan dijo que actuaba por respeto y satisfacción, no por felicidad. Sin embargo, cada vez que restauró su nombre a través de un buen trabajo, se encontró en un tabloide, solo para empañar su progreso.