A differenza dell'inglese colloquiale, una preposizione usata con il pronome interrogativo in italiano deve precedere il pronome:

Con chi andate al concerto?

Whom are you going to the concert with?