У Мері і Роберта народилося шестеро дітей: Мері (дівчинка померла маленькою від дифтерії), Едвард, Томас, Вільгельм, Хелен і Хільда.
Крім заводу з «цирком» (столовою, яка за потреби перетворювалася на манеж чи театр) і власного будинку прямо біля воріт заводу, Ельворті збудували в Єлисаветграді благодійний притулок для жінок та дітей (ця споруда на вулиці Преображенській, навпроти дитячої лікарні, теж збереглася). На їхній землі і майже повністю за їхній кошт було побудоване Пашутінське училище. Це приміщення теж є, проте побачити його непросто - воно вбудоване у середину корпусу «Акустіки» на вул. Ельворті.
Рорберт Ельворті давав робітникам свого заводу безпроцентні позики на побудову житла і землю в районі Новомиколаївки. Цей мікрорайон – робітнича слобода - існує і досі. І досі стоїть школа (зараз №3), яку Ельворті побудували для дітей своїх працівників. І досі прикрашає цей мікрорайон парк, розбитий Ельворті…
На початку ХХ століття, коли по всій країні утворювалися профспілки, набирав обертів робітничій рух, ця біда не оминула і Ельворті. У травні 1905-го до тижневого страйку машинобудівників приєднався тільки один цех заводу Ельворті – ливарний. Проте 15 жовтня 1905 р., під час кульмінації загальноросійського політичного страйку, робітники висунули вимоги скорочення робочого дня з 11,5 до 9 годин і збільшення зарплатні на 20%.
Роберт Ельворті походив не з аристократичної родини багатіїв, добробут його предків – небагатих сквайрів – віками залежав від добросусідських стосунків з робітниками і орендарями. Тож він зробив щось зовсім протилежне тому, що робили власники великих заводів по всій імперії. Він не тільки виконав усі вимоги робітників, а й навіть запропонував їм більше. Він почав ще більше турбуватися про добробут їх родин. Мері почала ще більше займатися благодійністю. Тож у подальшому робітники Ельворті не брали участі у політичних страйках.
Проте сам Роберт, за свідченнями сучасників, переніс ці події досить важко. Саме тоді він вирішив відійти від одноосібного керівництва заводом і створив акціонерне товариство. Він залишався у раді директорів і більшість акцій заводу належала йому, проте це дозволило перебудувати роботу так, щоб родина могла постійно жити в Англії, а в Єлисаветград приїздити кілька разів на рік.
Наймолодша донька Роберта і Мері Хільда Кларксон Вебб згадувала: «Пасха вважалася «Єлисаветградським сезоном», коли всі, хто бажав, приїжджали сюди. Великою подією Великодніх святкувань було проведення ярмарку, на якому батько виставляв сільськогосподарську техніку і коней зі своєї садиби.
До цього часу батько купив два автомобіля першого випуску. У сімейному альбомі збереглося два знімки 1903 року, де він в автомобілі «Клемент», на одному фото в Веймасі, а на іншому в Єлисаветграді. Я пам'ятаю, як батько вивозив нас до степу, і я, ще дитина, мало не випала з машини на вибоїстій дорозі.
(…) Росіянам неймовірно подобалися всілякі свята. У 1912 році наші батьки святкували срібне весілля. Їхній друг організував банкет, на який були запрошені 213 осіб. Коли увійшли батьки, почав грати оркестр. Звучали тости російською мовою в їх честь, і вони всім відповідали. Напевно, наших батьків довго пам'ятали в Єлисаветграді за все те добро, що вони зробили.
Батько вважав своїм незмінним правилом: капітал, зароблений в Росії, вкладати або витрачати теж у Росії»