그레이트하우스는 미국 켄터키 주 우드포드(Woodford)에서 1846년 9월 태어났다. 그는 매우 어린 나이에 변호사가 되었으며, 자신의 사무실을 열 수 있도록 법이 정한 나이가 되기까지 지역 검사로 일했다. 그는 캘리포니아로 이주하여 법률가로서 다양한 경험을 하였고, 미국 연방대법원에서도 근무했다.

1886년 미국 클리블랜드 대통령에 의해 일본 주재 총영사로 임명된 그레이트하우스는 4년 동안 요코하마에서 일했다. 그는 1890년 조선정부의 법률고문(내부협판)으로 초빙되어 한국에 왔다. 그는 6년 간 고종의 법률 및 외교고문으로 일하면서 외국과의 분쟁이 발생하거나 조약을 채결할 때 조선정부의 입장을 대변하고자 노력했다. 그는 1896년부터 법관양성소 교수로 재직하며 근대적 재판 절차를 도입하는 등 우리나라 사법 근대화에 기여했다. 특히 그는 명성황후가 일제의 자객에 의해 살해된 을미사변(1895년) 재판에 참여하여 이 사건이 일본에 의해 계획적으로 모의되고 실행되었음을 밝혀내는데 크게 기여했다. 그는 1899년 10월 21일에 별세하여 양화진에 안장되었다.