\(x\)と\(y\)の2変数2次式の因数分解は、以下の式のように、\(x\)と\(y\)の一次式の積で表すことができます。なぜこの形に決まるかと言えば、2次式が因数分解できるなら、1次式と1次式の積となるからです。
$$px^2+q x y+r y^2+s x +t y+u =(a x+b y+c)(d x+e y+f)$$
右辺について、横が\((a x+b y+c)\)、縦\((d x+e y+f)\)の長方形で表すと、以下のようになります。

ここで、赤色をつけた部分に注目すると、\((ax+by)(dx+ey)\)の因数分解と全く同じです。すなわち、2次の項だけに着目して、
$$
px^2+qxy+ry^2=(ax+by)(dx+ey)
$$
と因数分解を行うことで、\(p,\,q,\,r\)の3つから、\(a,\,b,\,d,\,e\)を求め、そのあと\(c,\,f\)を算出できます。
別のアプローチもあります、次のように\(x\)の文字を排除して、\(y\)と定数の因数分解から先にすることも可能です。

上記の緑色の部分は、与式のyと定数部分の因数分解となっています。
$$
ry^2+ty+u=(by+c)(ey+f)
$$
こっちで、\(r,\,t,\,u\)から\( b,\,c,\,e,\,f\)の4つを求めてから、後に\(a,\,d\)を求めるということもできるのです。
もしも、与えられた問題で\(ac\)、\(be\)、\(cf\)のいずれかが素数であれば、上記のいずれかを用いて簡単に\(a,b,c,d,e,f\)を決定できます。教科書のとおりのタスキがけでないと解けないということはありません。
\(3x^2-2x y-y^2-11x-y+6\)の因数分解の場合
与式を因数分解したものが\((a x+b y+c)(d x+e y+f)\)であるとすします。
与式の中の2次の項だけに着目し\(3x^2-2x y-y^2\)を因数分解すると、\((x-y) (3 x+y)\)となります。したがって、4つの数字が決まります。あとは、\(c\)と\(f\)の2つだけです。
$$( x- y+c)(3 x+ y+f)$$
この式を展開すれば、
$$3 x^2 – 2 x y – y^2+(3c+f)x+(c-f)y+cf$$
となるので、与式と係数比較をすれば、\(c=-3, \,f=-2\)を決定することができます。
