村名の由来は大和朝廷があった頃に饗宴に出た料理である「胆振鉏いぶりさえ」が「いぶりさい→さい」になったとする説が有力である。
仏ヶ浦という景勝地があり、1989年に日本の秘境100選に選ばれている。