У 1861 році при переході Єлисаветграда із військового відомства у цивільне Ковалівський парк та бульвар також начебто передали місту. Проте наступні п'ятдесят років міська дума постійно судилася з військовими, а потім – з інженерною дистанцією, яка опікувалася корпусами кавалерійського училища, за цю територію. Хід цих судових справ надзвичайно докладно описав Олександр Пашутін у своєму «Історичному нарисі». Рішення судів щороку були різними. Тож військові і цивільні керівники розважалися тим, що постійно шкодили один одному.
Військові, наприклад, влаштували у парку тир для юнкерів, що заважало мешканцям сусідніх будинків. Потім міська влада дозволила Єлисаветградському товариству охорони народного здоров'я відкрити тут дитячий садок. А коли садок з майданчиками і каруселями було створено, стали вимагати від юнкерів, щоб ті прибрали коней, бо від них багато бруду і пилу, що заважає дітям. Наступного року суд виграло вже військове відомство і заборонило цивільним заходити на територію плацу…
Проте більшість городян від цієї «війни», здається, не страждали, а навіть навпаки. Дуже зручно: тут тобі і дитячі майданчики, і юнкери на конях, і оркестр, і навіть феєрверки, що влаштовували військові на честь приїзду членів царської родини. Олександр Шульгін згадував дитячі роки в Єлисаветграді: «Ходили ми, особливо останні роки, коли жили в дуже просторому помешканні на Дворянській вулиці (мається на увазі Дворцова – авт.), до своєрідного парку, де був великий простір (полігон), на якому робили свої вправи на конях юнкери. Я дуже любив коней, і це була для мене велика розвага».
З боку бульвару, у павільйоні, знаходився буфет прохолодних напоїв і морозива Г. Аксенфельда. Саме його ми бачимо на багатьох фото Дворцового бульвару. З 1902 року у Ковалівському парку щороку проходило Свято деревонасадження, в якому брали участь гімназисти та студенти усіх (!) навчальних закладів міста. Спочатку саджали у самому парку, у наступні роки після спільного молебну відправлялися звідси у інші райони міста. На одному з таких свят був присутній навіть Великий князь Костянтин Романов.