1903年生於台南下營，1918年回下營公學校服務，擔任教職，受其同校教員澤田武雄（石川欽一郎學生）鼓勵而赴日學習美術。1922年留學於日本國立東京美術學校（今東京藝術大學美術學部）學習西畫與油畫，1929年前往法國學習素描、油畫，老師藤島武二的嚴謹及老師岡田三郎助家中工藝的收藏品，皆對顏水龍日後的創作影響甚大。1927年與陳澄波、楊三郎、倪蔣懷、陳植棋、李梅樹、郭柏川、范洪甲、陳承藩、陳慧坤、張秋海、 張舜卿、廖繼春等十三人組織「赤島杜」畫會。
1929年，得林獻堂資助，留學法國。期間作品受到馬爾香（Jean Marchend）與勒澤（Fernand Lger）影響最大。而後於坎城認識畫家梵‧鄧肯（Van Dongen），也師承其裝飾性色彩。1933年，顏水龍任職於大阪的「株式會社壽毛加社」從事廣告設計，其創作也逐漸走向以工藝美術為主。1934年時與楊三郎、廖繼春等人，創立了台陽美術協會，致力推動台灣美術活動。1940年更與張萬傳、陳德旺、范倬造、黃清亭、洪瑞麟、藍運登、謝國鏞等人組織「台灣造形美術協會」。1944年起，顏水龍先後於台南工業專門學校（今成功大學）、台南家政專科學校（今台南應用科技大學）任教。
1950年代，為了研究台灣原始藝術的工藝之美，而獲准前往原住民保護區蘭嶼，是第一位登上蘭嶼的畫家。而接觸原住民藝術的可貴經驗，使顏水龍的作品有較多的原住民題材，同時強調原始藝術的裝飾之美，表現出了他對人文的關懷。1961年起，他陸續製作了一連串的馬賽克壁畫。包括台中體育大學體育場外牆的《運動》、1964年在太陽堂餅店牆上的《向日葵》、1966年在台北日新大戲院牆上的《旭日東昇》，和1969年於台北劍潭公園牆上的《從農業社會到工業社會》作品。1984年，顏水龍自實踐家專（今實踐大學）教職退休，之後大部分時間都專於繪畫，也舉辦了多次的回顧展。
1997年9月病逝於台中榮總，享年95歲。
