Années 1960, dans l'Alabama. Duff Anderson, un jeune Afro-Américain, gagne sa vie en travaillant dans les chemins de fer. Un jour, il rencontre Josie, la fille d'un pasteur Noir, passionnée par son métier d'institutrice. Contre la volonté du père de cette dernière, qui s'oppose fermement à cette relation, Duff et Josie s'éprennent rapidement l'un de l'autre et décident bientôt de se marier. Ils s'installent en ville, où Duff se fait embaucher dans une scierie. Mais l'homme se rebelle rapidement car il semble avoir quelques difficultés à vivre entouré de Blancs. Son refus de se soumettre aux règles finit par lui coûter son emploi...