質問

実数x,yがx^2+y^2-6x-8y+21＜0を満たすとき、
x^2+y^2の最大値・最小値を求めよ。

★希望★完全解答★

お便り２００４／１０／４
from=wakky

ｘ^2＋ｙ^2－６ｘ－８ｙ＋２１≦０
（＜０は誤りと思われます。）
これを変形すると
（ｘ－３）^2－９＋（ｙ－４）^2－１６＋２１≦０
（ｘ－３）^2＋（ｙ－４）^2≦４
つまり、中心（３，４）半径２の円の周と内部の領域を示していますね。
ｘ^2＋ｙ^2＝ｋ^2とおくと
これは中心が原点で半径ｋの円です。
つまり
円：（ｘ－３）^2＋（ｙ－４）^2＝４・・・①
の上にあって、原点からの距離が一番近い点と遠い点がわかれば、
それを半径とする原点中心の円の半径ｋの範囲がわかります。
つまりｋ^2の最大・最小が分かります。
原点からの距離が一番遠い点、近い点というのは
原点と中心（３，４）を通る直線と円①の２つの交点ですね。
その交点を求めて、原点からの距離を求めれば終わりです。
答は
９≦（ｘ^2＋ｙ^2）≦４９

感覚的な見方をすると
原点と円①の中心の距離は５で半径は２だから
ｋの最小値は　５－２＝３　３^2＝９
ｋの最大値は　５＋２＝７　７^2＝４９ということです。
それを数学ぽっくしたのが上の回答です。