У заяві до Єлисаветградської міської управи, яка датована 7 серпня 1895 року, земський гласний Павло Зелений писав, що у місті є одна вулиця, назву якої треба змінити – Безпопівська. Так тоді називали частину нинішньої вулиці Гоголя від вулиці Великої Перспективної до Ковалівки. «Таку назву ця вулиця отримала, мабуть, від того, що при заселенні міста на ній жили та мали будинки переважно сектанти, які не сприймали священства. Але зараз цих сектантів на най немає, і навіть будинки належать іншим особам», - писав Зелений. Павло Олександрович просив перейменувати Безпопівську вулицю на Абазівську – на честь Миколи Савовича Абази, херсонського губернатора. Однак, це клопотання залишили без задоволення.
Перейменували Безпопівську вулицю лише через 14 років. У номері за 6 січня 1910 року газета «Голос Юга» надрукувала наступну замітку: «Начальник губернії затвердив постанову міської думи про перейменування Безпопівської вулиці і частини Успенської вулиці до собору – вулицею імені М.В. Гоголя».
В «Історичному нарисі м. Єлисаветграда» ця вулиця зазначена як Василівська-Безпопівська. В Єлисаветграді офіційно було дозволено селитися старообрядцям, які в інших місцях піддавалися гонінням. «Безпопівство» - це одна з течій старообрядництва, яка виникла наприкінці XVII століття. Вулицю, на якій вони оселилися, стали називати Василівською-Безпопівською (назву Василівська ми пояснили в одній із своїх попередніх публікацій), а згодом – просто Безпопівською. У тому ж «Історичному нарисі м. Єлисаветграда» вказано, у 1850 році Безпопівську молитовню з Безпопівської вулиці перенесли на Преображенське кладовище. Община старовірів спершу проживала у гуртожитку, який був приблизно напроти будинку, у якому ще кілька років тому був КРЕП №1.
На цій частині вулиці Гоголя збереглося більше двох десятків красивих будинків, споруджених до 1917 року. Майже усі вони неатрибутовані, і лише про кілька з них можна з впевненістю сказати, хто там проживав.