【(1)】
AB=b−a なので
OH⋅AB=31(a+b+c)⋅(b−a)=31[(a⋅b−∣a∣2)+(∣b∣2−a⋅b)+(c⋅b−c⋅a)].
条件より ∣a∣2=∣b∣2=1、a⋅b=b⋅c=c⋅a=cosθ なので、各括弧は (cosθ−1)+(1−cosθ)+(cosθ−cosθ)=0 となり OH⋅AB=0。
同様に AC=c−a として
OH⋅AC=31[(a⋅c−∣a∣2)+(b⋅c−a⋅b)+(∣c∣2−c⋅a)]=31[(cosθ−1)+0+(1−cosθ)]=0.
AB, ACは平面ABC上の一次独立な2方向のベクトルであるから、OHはこれらの両方と直交し、OH⊥平面ABCが成り立つ。
【(2)】
∣OH∣2=91∣a+b+c∣2=91(∣a∣2+∣b∣2+∣c∣2+2(a⋅b+b⋅c+c⋅a))=91(3+6cosθ)=31+2cosθ.
0<θ<32π より 1+2cosθ>0 なので
∣OH∣=31+2cosθ.
【(3)】
∣AB∣2=∣b−a∣2=2−2cosθ であり、対称性よりBC, CAも同じ長さなので△ABCは正三角形。よって
SABC=43∣AB∣2=23(1−cosθ).
OH⊥平面ABCなので、体積は
V(θ)=31⋅SABC⋅∣OH∣=31⋅23(1−cosθ)⋅31+2cosθ=61(1−cosθ)1+2cosθ.
t=cosθ (−21<t<1) とおき、f(t)=(1−t)2(1+2t)(V2 に比例する量)を考える。
f′(t)=−2(1−t)(1+2t)+2(1−t)2=2(1−t){−(1+2t)+(1−t)}=2(1−t)(−3t)=−6t(1−t).
−21<t<0 で f′(t)>0、0<t<1 で f′(t)<0 なので t=0 で f は最大となる。t=0 は範囲内にあり、これは θ=2π に対応する。
このとき
V(2π)=61(1−0)1+0=61.
(検算:θ=π/2 のとき a,b,c は互いに直交する単位ベクトルなので、OABCは単位立方体の1頂点を切り取った四面体となり、体積は確かに 61 である。)
したがって、V(θ) は θ=2π のとき最大値 61 をとる。