Pojď se mnou na kafe je sice v mnoha situacích neomalené, ale není to žádným způsobem otázka.
To by pak otázkou bylo každé sdělení, protože každé sdělení jde nějak popřít, odmítnout....

Nechápu, proč je ta věta nesmysl.
Pojď ke mně. Pojď domů. Jdi už spát. Pojď se mnou na squash.
Jsou to úplně normální příkazy, když se tedy chcete vyhnout gramatickým kategoriím, tak by mě fakt zajímalo, jak v tom můžete vidět otázku a nesmysl.