Для начала удалим наш последний коммит:
git reset --soft HEAD~1
Теперь наш репозиторий находится в состоянии до коммита. Удалим ненужный файл из стейджинга:
git reset HEAD filename
Теперь файл удален из стейджинга и можно спокойно коммитать
Profit!