1901년 12월 10일 황해도 옹진에서 출생했으며, 성결교 성서학원을 졸업하고 1941년부터는 서울무교동교회 목사로 시무하였다. 일제 치하 1943년에 6개월 옥고를 치르기도 했으며, 해방 후 서울신학교 교수로 재직 중 6·25 를 만나 공산당에게 납북되었다.

한문사숙양정학원 졸업. 육도학원 강사.
1922년 3월 동명학원 설립
동아일보 경성지국 경영
서울성서학원 졸업

정진경목사가 질병으로 학교를 중퇴하고 인생의 회의때문에 자살 충동을 수시로 느낄대 김유연목사가 보낸 한편의 시를 읽고 새 희망을 갖고 삶을 개척하여 후일 교계가 존경하는 인물로 태어났다.
그는 유모어에 능하는 등 성품이 온화하면서도 해학적인 글을 많이 썻고 교사 강습회 강사 1949년 합동찬송가 발간 성결교 대표로 참여했다.

1945년 11월 성결교 재건총회에서 부의장에 당선된 김목사는 신학교 교수로 출강하면서 신공덕교회(현 신덕교회)를 맡아 목회를 하는 등 교수로서, 설교가로서, 문인으로서,에큐메니칼운동의 화해자로 평가를 받았다.

1950년 6.25가 터지자 8월 아들과 사위 등 본교회 전도사까지 피난시키면서도 자신은 교회종을 울리며 강단을 지키다가 8월 12일 사택을 점령한 공산군 내무서원들에게 끌려가 순교했다.
유족으로는 찬송가공회 총무직을 오랫동안 수행한 장남 김성호목사를 위시하여 모든 후손들이 하나님의 사명지에서 선한 열매를 많이 맺으며 복된 증인들로 하나님께 영광돌리고 있다.