Первый прототип, оснащенный двигателем Mercedes D.I совершил полет в конце осени 1915 года, позже самолет оснастили двигателем Mercedes D.II с мощьностью 120 л.с. и он под обозначением D.II поступил на производство, чтобы заменить морально устаревшие к тому времени монопланы Фоккера. Первые машины начали поступать в строевые части уже в июне 1916 года.
Большинству пилотов новый самолет очень понравился, особенно в сравнении со старыми Фоккерами, Хальберштадт имел большую скорость и значительно превосходил их по скороподъемности, был очень отзывчив и прост в управлении, что делало его очень маневренным в руках опытных германских летчиков.
К концу 1916 года самолет стал устаревать, что вызвало перевод самолета этого типа на менее напряженные участки фронта и постепенное выведение из боевого состава эскадрилий. В целом, самолет заслужил высокие оценки противостоящих авиаторов союзников на всех фронтах где он появлялся в воздхе. Всего было построено 96 машин Halberstadt D.II оснащенных двигателем Mercedes D.II.