Родился 19 ноября 1942 года в Бронксе в еврейской семье предпринимателя средней руки. В 18 лет закончил Высшую школу искусства, после чего ещё два года учился в Технологическом институте моды Нью-Йорка.

С 1962 по 1968 годы работал в различных модных домах Нью-Йорка, время от времени подрабатывал уличным художником. В 1968 году вместе с другом детства Барри Шварцем Келвин основывает в Нью-Йорке фирму Calvin Klein, Ltd, занимающуюся изначально мужской верхней одеждой, перейдя постепенно на дизайн одежды для женщин

Фирма Кельвина Кляйна быстро развивалась, три года подряд (с 1973 по 1975) он становится обладателем премии «Coty». В 1978 годуКляйн первый в мире начал представлять на подиумах и продавать «дизайнерские джинсы». Лейбл «Calvin Klein» на заднем кармане дорогих джинсов стал одной из первых ласточек того, что позже назвали «логоманией».

Кельвин Кляйн заработал репутацию довольно скандального человека, один из самых известных скандалов связан с провокационным рекламным плакатом — «Тайная вечеря от Кляйна», копирующий знаменитую картину Да Винчи, с полуобнажёнными моделями обоих полов в джинсах вместо апостолов. В ходе судебных разбирательств Кельвину пришлось выплатить церкви иск в размере миллиона долларов. В 1992 году он выпускает рекламный плакат с полураздетыми юной моделью Кейт Мосс и рэпером Марки Марком. Новая модель одежды подходила для обоих полов, поэтому Кляйна считают родоначальником стиля «Унисекс». Следующий скандал разгорелся в 1999 году, когда дизайнер начинает выпуск новой серии нижнего белья для детей и подростков, рекламные плакаты которой многие сочли чрезмерно фривольными.

В 2003 году Кельвин Кляйн продал свою фирму за 430 млн долларов американской корпорации Phillips-Van Heusen Corporation, занимающийся выпуском рубашек. На сегодня его фирма оценивается в 34,7 миллиардов долларов, что делает её самой богатой модельной фирмой мира.

В 1964 году, Кельвин первый раз женился на Джейн Сентер, и у них родилась дочь Марси (сегодня она работает одним из продюсеров шоу «Saturday Night Live»). Однако, долго этот брак не просуществовал, спустя десять лет, в 1974, они развелись, а спустя 4 года Марси была похищена с целью выкупа в размере 100 тысяч долларов (её держали в заложниках 9 часов, пока выкуп не был заплачен, но похитители были схвачены).

В 1986 году Кельвин женится на своей ассистентке Келли Ректор, второй брак Кляйна просуществовал в два раза дольше первого, в 2006 году он вновь развёлся

В 2010 Кляйн начал встречаться с бывшим порно-актёром и бисексуалом Ником Грубером, который был моложе его на 48 лет, но у Грубера были проблемы с наркотиками и в 2012 пара разошлась.