Ich möchte noch kurz Vollzug melden für diejenigen, die ein ähnliches Problem haben: Es lag am Sprachpaket. Der Host Europe Server wird mit englischem Sprachpaket ausgeliefert. Nachdem ich via Remote Desktop das deutsche Sprachpaket installiert und den Server neu gestartet hatte, ließ sich auch via JTL die MS SQL Datenbank installieren.
Ich hatte vorher noch vermutet, es könne am Plesk und der darin enthaltenen Datenbank-Verwaltung liegen, sich Lizenzen o.ä. überschneiden. Plesk gab jede Menge Fehlermeldungen, war aber am Ende wie gesagt offenbar weder beteiligt noch verantwortlich. Der Host Europe Support hatte ohnehin auch empfohlen, die MS SQL Installation _nicht_ über Plesk zu machen, da Plesk bei MS SQL fehleranfällig ist. Ich habe dann letztlich "ganz normal" aus der JTL-Installation heraus die DB angelegt.
Danke für den Tipp zur Sprachumstellung.