統計計算や数値解析など科学技術計算の分野では、誤差論という分野があるほど、誤差が大きな問題になります。
絶対誤差と相対誤差
誤差とは、本当の値（理論値）と近似値（計算値、測定値）との違いのことですが、誤差が大きいか小さいかを評価する尺度は２つあります。例えば理論値が１０ｍの棒の計算値が１１ｍだとしたとき、
絶対誤差＝測定値－理論値＝１１－１０＝１ｍ
相対誤差＝（測定値－理論値）／理論値＝（１１－１０）／１０＝０.１
で定義されます。
絶対誤差は計算が単純で誤差がｍになるので物理的評価が容易です。ところが棒の長さが２０ｍならば、１ｍの絶対誤差は相対誤差では０.０５になります。そのため、棒の長さがまちまちなときは相対誤差のほうが適切な評価尺度になることがあります。
誤差の種類
自然界のデータは連続的な数値が多くあります。それをコンピュータで扱うときは、浮動小数点数で表現しますが、浮動小数点数は有限のビット数ですので、本当の数値ではなく近似値ですから、誤差を含んでいます。さらに、浮動小数点数同士の計算での誤差が生じます。
代表的な誤差には、丸め誤差、情報落ち誤差、桁落ち誤差、打切り誤差などがあります。
- 丸め誤差
- 丸め誤差とは、１０進数の場合での四捨五入のような理由により、厳密には真の値をとることができない誤差のことです。
- コンピュータでは、一つの数値を２バイトや４バイトなど有限の長さをもつ「語」に保存されるため、πや√２などの無理数を正しく表現できません。
- 科学技術計算では、浮動小数点型（説明）のデータを用いますが、これは２進法により数値を表現します。そのため、１０進数の０.１や１／３などは２進数では循環小数になるので、真の値にはなりません。
- 浮動小数点の演算では、有効数字が限定されます。そのため、３.１４１５９２６５３５などを正確に表現することができません。
｜ａ－ｂ｜＜ε （ε＝０.０００１のような小さな数）
のようにする必要があるのです。
浮動小数点数
固定小数点型では，取扱える数値が限定されますし，非常に大きな数や小さい数を取扱うことができませんので，科学技術計算などでは困ります。このような数値を表現するには，浮動小数点型を用います。
浮動小数点型では，０.６０２２×１０２４のように，数値をＲ＝Ｍ×ＢＥという形式で表現します。ここでＭを仮数，Ｂを底，Ｅを指数といいます。内部表現では，Ｍは０～１の１６進数，Ｍは１６，Ｅは１６進数にした値に６４を加えるなど，面倒な変換が必要になりますが，それを右図のような形式で表現します。
この場合は，０００００００のときは－６４ですので１０－７７，１１１１１１１のときは６３で１０７６となるので，浮動小数点型で取扱える数は，
－１０７６～－１０－７７，０，１０－７７～１０７６
の範囲になります。絶対値が１０７６を超えるとオーバーフロー，絶対値が１０－７７より小さいとアンダーフローとなり，取扱うことができません。
また（後述のように），１０進小数点数を２進数に変換すると丸め誤差を生じます。２進数の２４桁は１０進数の７桁程度ですので，有効数字は７桁程度になります。たとえば，３.１４１５９２６５３５などの値を入力しても，コンピュータ内部ではそれを正確に受け取ることはできないのです。 - 情報落ち誤差
- 絶対値の非常に大きな数と小さな数の加算を行ったとき，小さい数が計算結果に反映されないために発生する誤差のことです。
浮動小数点の仮数部の有効桁数を３桁としたとき、１２３００００も０.０１２３も有効桁数が３ですが、
１２３００００＋０.０１２３＝１２３００００.０１２３
の結果は正しく計算できません。
絶対値が大きく異なる多数の数値を加減算するときには、絶対値の小さい順に行うのが適切です。 - 桁落ち誤差
- 桁落ち誤差とは、近い値をもつ浮動小数点数の減算などにより、有効桁数が小さくなることによる誤差です。
例えば、ａ＝１２.３４５６７には、εa＝０.０００００５の絶対誤差があります。それで、ａの相対誤差は、
｜εa／ａ｜＝０.０００００５／１２.３４５６７＝０.００００００４
になります。同様に、ｂ＝１２.３４５５６の絶対誤差は、εｂ＝０.０００００５になります。 それに対して、ａ－ｂ＝０.０００１１になり、有効桁数は２桁になるので、その相対誤差は、
（｜εa｜＋｜εa｜）／（ａ－ｂ）＝０.００００１／０.０００１１＝０.０９
となってしまいます。 - 打切り誤差
- 浮動小数点数の計算処理の打ち切りを、指定した規則で行うことによって発生する誤差のことです。
例えば、方程式 ｆ(ｘ)＝０ を解くには、ｘ0→ｘ1→ｘ2→・・・→ｘnのように逐次的に真の根に近づくアルゴリズムを用います。
このとき、浮動小数点演算ですので、ｆ(ｘn)＝０ になることは期待できませんし、無限ループになってしまうこともあります。それを回避するために、小さい数εを与えて、
｜ｆ(ｘn)｜＜ε
｜ｘn－ｘn-1｜＜ε
｜(ｘn－ｘn-1)／ｘn｜＜ε
などのようにします。このような理由により容認した誤差を打切り誤差といいます。
数値解析のような浮動小数点演算を行うアルゴリズムでは、前述した計算量を小さくするとともに、このような誤差の累積が演算過程により増大しないように工夫することが重要です。また、その利用にあたっては、実用の観点から打切りの基準を考えること、εの値を考慮することが必要です。