生物学的ニューロンと人工ニューロン
生物学的ニューロン
生物の脳や神経系は、多数の神経細胞（Neuron、ニューロン）によって構成されています。ニューロンは、ほかの神経細胞から信号を受け取り、それらを統合し、一定の条件を満たすと電気的な信号を発生させ、ほかの神経細胞へと情報を伝達します。
ニューロンは主に次の構造を持っています。
①: 樹状突起（Dendrite）
樹状突起は、細胞体から木の枝のように伸びた突起です。
多くのニューロンでは、樹状突起に形成されたシナプスを介して、ほかのニューロンから信号を受け取ります。
樹状突起が枝分かれしていることには重要な意味があります。表面積を増やすことで、多数のシナプスを形成し、多くの神経細胞から情報を受け取ることができるためです。
さらに、一部の樹状突起には、樹状突起スパイン（Dendritic Spine）と呼ばれる小さな棘状の構造があります。このスパインは、多くの興奮性シナプスにおいてシナプス後部を形成します。
例えば、大脳皮質や海馬に存在するニューロンでは、樹状突起スパインの構造や受容体の状態が、シナプス伝達や学習・記憶に関係していることが知られています。
特に、スパインの形態や内部の分子構成は必ずしも固定されておらず、神経活動に伴って変化することがあります。こうした変化は、シナプス可塑性と密接な関係があります。また、樹状突起は単に信号を受け取るだけの受動的な構造ではありません。樹状突起上にはさまざまなイオンチャネルが存在し、入力信号を局所的に増幅したり、非線形な処理を行ったりする場合があります。
したがって、樹状突起は信号を受信すると同時に、情報処理にも関与する構造だと理解するのが適切です。
②: 細胞体（Soma）
細胞体はニューロンの中心的な部分で、細胞核、ミトコンドリア、小胞体、ゴルジ体などの細胞内小器官を含んでいます。
細胞体には、主に二つの役割があります。
第一は、細胞としての生命活動を維持することです。タンパク質の合成やエネルギー代謝など、ニューロンが機能するために必要な細胞活動が行われています。
第二は、樹状突起などから伝わってきた電気的な信号の統合に関与することです。
ニューロンは、多数のシナプスから興奮性や抑制性の入力を受け取っています。これらの入力によって生じた膜電位の変化は、樹状突起や細胞体を通じて伝わり、最終的に活動電位を発生させるかどうかに影響します。
ただし、細胞体だけですべての信号処理が行われるわけではありません。実際には樹状突起や軸索起始部も重要な役割を持っています。
③: 軸索（Axon）
軸索は、ニューロンから伸びる比較的長い突起です。多くのニューロンでは、軸索起始部付近で発生した活動電位が軸索を伝わり、軸索終末へ到達します。
ここで重要なのは、活動電位が単なる電気の流れではなく、細胞膜に存在する電位依存性イオンチャネルによって再生されながら伝播する現象だという点です。活動電位が発生すると、近隣の膜領域にも電位変化が伝わり、順次イオンチャネルが活性化します。この過程が軸索に沿って連鎖することで、信号が伝播します。
また、一部の軸索は髄鞘と呼ばれる絶縁性の構造によって覆われています。髄鞘の間にはランビエ絞輪という隙間があり、活動電位が主にこの部分で再生されます。この伝導様式を跳躍伝導と呼びます。髄鞘は主にグリア細胞によって形成され、信号伝導の高速化と効率化に重要な役割を果たしています。
なお、すべてのニューロンが同じ形態や信号伝達経路を持っているわけではありません。軸索を持たないニューロンや、典型的な樹状突起・軸索の配置とは異なるニューロンも存在します。
④: シナプス（Synapse）
シナプスとは、ニューロンと別のニューロン、あるいは筋細胞などの標的細胞との間で、情報を伝達するために特化した接続構造です。シナプスには、大きく分けて化学シナプスと電気シナプスの2種類があります。
化学シナプス
中枢神経系に多く存在する化学シナプスでは、神経伝達物質（Neurotransmitter）を利用して信号を伝えます。
その基本的な過程は次のとおりです。
1.活動電位が軸索終末に到達し軸索終末の細胞膜が脱分極する
2.電位依存性Ca²⁺チャネルが開き、カルシウムイオンが流入する
3. シナプス小胞が細胞膜と融合し、神経伝達物質が放出される
4.シナプス後細胞の受容体に結合し伝達物質が受容体に結合し、イオンチャネルなどの状態を変える
5.シナプス後細胞の応答、膜電位や細胞内の信号伝達が変化する
神経伝達物質としては、グルタミン酸、GABA、グリシン、アセチルコリン、ドーパミンなどが知られています。これらの伝達物質は、結合する受容体の種類や細胞の状態などに応じて異なる作用を引き起こします。
特に、グルタミン酸は中枢神経系における主要な興奮性神経伝達物質であり、GABAは主要な抑制性神経伝達物質として機能しています。ただし、伝達物質の作用を一律に「興奮」または「抑制」と決められるわけではありません。
電気シナプスでは、ギャップ結合と呼ばれる細胞間チャネルを通じて、イオン電流などが細胞間を直接伝わります。化学シナプスと比較すると伝達が速く、複数の細胞活動を同期させる働きなどがあります。
神経細胞はシナプスを通じて互いに接続されており、神経回路を構成しています。
あるニューロンに複数の信号が入力されると、その信号の大きさや時間的な関係、興奮性・抑制性の作用などによって膜電位が変化します。条件が満たされると活動電位が発生し、軸索を通じて伝播します。
このような神経系における信号の伝達と処理の仕組みが、人工ニューラルネットワークを考案するうえで重要な着想となりました。
人工ニューロン
一般的な人工ニューロンの式
| x | 入力値 | 外部や前の層から数値を受け取る |
| w | それぞれの入力に対する重み | 各入力に対してその寄与や大きさや方向性を決める |
| Σ | 加重和 | 各入力と重みの積を合計する |
| b | バイアス | 加重和に定数を加え、出力の条件を調整する |
| f | 活性化関数 | 計算結果を変換し、ニューロンの出力を決定する |
| y | 出力値 |
人工ニューロンは電気信号を直接処理しているわけではなく、数値に対する演算を行っています。最も基本的な人工ニューロンでは、複数の入力xを受け取り、それぞれに重みwを掛けて合計Σし、バイアスbを加えた値を活性化関数fに渡すことで出力yを計算します。
生物学的ニューロンと人工ニューロンの対応
人工ニューロンは、生物学的な電気信号や細胞の活動を、数値と数学的な関数によって表現します。
主な対応関係は次のとおりです。
| 生物学的ニューロン | 人工ニューロン |
| 樹状突起への信号 | 入力値 |
| シナプスの結合強度 | 重み |
| 細胞体での信号統合 | 加重和 |
| 発火のしやすさ | バイアス・閾値 |
| 活動電位の発生 | 活性化関数による出力 |
ただし、これはあくまで概念上の対応です。
生物学的な神経細胞には、活動電位の時間的な変化、複雑なシナプス活動、神経伝達物質、細胞内の生化学反応などが存在します。一方、一般的な人工ニューラルネットワークのニューロンは、基本的には数値の入力を受け取って関数を計算する仕組みです。
したがって、人工ニューロンは生物学的なニューロンを忠実に再現したものではなく、その一部の特徴を抽象化した計算モデルと理解することが重要です。
McCulloch–Pittsニューロン
神経細胞を計算モデルとして表現する発想は、1940年代には既に研究されていました。
特に重要なのが、1943年にウォーレン・マカロックとウォルター・ピッツが発表した論文『A Logical Calculus of the Ideas Immanent in Nervous Activity.』です。
この論文では、神経細胞が発火するかしないかという「全か無かの法則」に着目し、ニューロンの活動を1（発火）と0（非発火）の二値で表現しました。
ここで は、時刻tにおけるニューロンiの活動を表します。つまり、実際のニューロンの複雑な電気化学的現象を、0と1の二値に置き換えたわけです。
各ニューロンは複数の神経細胞から信号を受け取り、一定数の興奮性シナプスが活動し、所定の閾値を超えた場合に発火します。一方、抑制性シナプスが活動した場合には発火が阻止されると仮定しました。また、信号伝達には時間遅延が存在し、神経回路の構造と発火条件は変化しないものとしました。
この単純化によって、複数のニューロンを組み合わせることで論理和（OR）、論理積（AND）、抑制による否定条件などの論理演算を実現できることを示しました。
| 1 | 信号の伝達 |
| 2 | OR(論理和) |
| 3 | AND(論理積) |
| 4 | AND NOT(抑制) |
個々のニューロンは非常に単純な動作しかしなくても、複数のニューロンを組み合わせれば複雑な論理演算を表現できます。
さらに、この研究では、現在のフィードフォワード型ネットワークに相当する一方向の神経回路だけでなく、循環構造（フィードバック）を持つ神経回路についても考察しています。通常の一方向の神経回路では、出力は有限の過去の入力によって決定されます。一方、循環構造を持つ神経回路では、一度発生した神経活動が回路内を繰り返し伝達されるため、外部からの入力が途絶えた後も活動が維持される場合があります。これにより、過去の入力に関する情報を回路内に保持することが可能になります。さらに、学習などによって変化するシナプスの機能を、固定された循環回路によって再現できることも示しました。
ただし、これは現代のニューラルネットワークで用いられる学習アルゴリズムを提案したという意味ではありません。ここでは、実際の学習に伴うシナプスの変化と、固定された循環回路によって同等の機能を実現することを区別しており、数学的な等価性が必ずしも生物学的な仕組みの説明になるわけではないとしています。
本研究は、神経細胞を情報処理の基本単位として数学的にモデル化し、神経回路による論理演算や情報の保持を理論的に示したことで、後の人工ニューラルネットワーク研究の基礎を築いた重要な研究です。
Warren Sturgis McCulloch, Walter Harry Pitts (1943) “A Logical Calculus of the Ideas Immanent in Nervous Activity.”
https://www.cs.cmu.edu/~epxing/Class/10715/reading/McCulloch.and.Pitts.pdf
パーセプトロン
1950年代には、フランク・ローゼンブラットが論文『The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain』を発表し、生物の神経系における情報処理と学習能力を数学的にモデル化した人工ニューラルネットワーク「パーセプトロン」を提案しました。
パーセプトロンは、外部から刺激を受け取る感覚ユニット（Sユニット）、信号を統合する連合ユニット（Aユニット）、反応を出力する応答ユニット（Rユニット）などから構成されます。Aユニットは複数の興奮性・抑制性信号を受け取り、それらの正味の強度が一定の閾値以上になると発火し、次のユニットへ信号を伝達します。
さらにローゼンブラットは、経験や強化によってAユニットの信号伝達の有効性が変化する仕組みを導入しました。具体的には、Aユニットの出力信号の有効性を表す値「V」を定義し、信号の振幅、頻度、伝達遅延、伝達成功確率などに対応するものとして考えました。この値は、ユニットの活動や強化によって変化し、過去の経験がその後の反応に影響を与える仕組みを実現します。
また、学習に伴う値の変化を説明するために、活動したユニットの値が増加するαシステム、各応答に対応するユニット群に一定の増加量を活動に応じて分配するβシステム、活動したユニットが非活動ユニットの値を減少させることで値を獲得し、ユニット群全体の値を一定に保つγシステムという、3種類の学習機構を検討しました。
この研究は、閾値に基づいて発火する人工ニューロンの考え方を、経験や強化によって反応を変化させる学習可能な神経回路へと発展させたものであり、後のニューラルネットワーク研究の重要な基礎となりました。
なお、以降で扱う単純パーセプトロンは、入力の線形結合に閾値関数を適用する形に単純化された分類モデルです。関連こそありますが、その構造や学習機構は必ずしも同一ではありません。
Rosenblatt, F. (1958). “The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain.”
https://homepages.math.uic.edu/~lreyzin/papers/rosenblatt58.pdf
入力・重み・バイアス
パーセプトロンが情報を処理するためには、入力（Input）、重み（Weight）、バイアス（Bias）の3つを理解する必要があります。
入力（Input）
入力とは、パーセプトロンに与えられる情報を数値として表現したものです。
通常、次のように表記します。
例えば、果物がリンゴかどうかを判定するために、次のような特徴量を入力するとします。
それぞれを0〜1の範囲に正規化すると、ある果物について次の入力が考えられます。
ここでは赤さが0.9、丸さが0.8、大きさが0.6です。
重要なのは、ニューロンが直接「赤い」「丸い」といった概念を受け取るのではなく、それらを数値で表現した特徴量を受け取るという点です。
重み（Weight）
重みは、それぞれの入力をどの程度重視するかを決めるパラメータです。
例えば
とします。
この場合、赤さの重みは0.7、丸さは0.5、大きさは−0.2です。
各入力への重みの解釈は次のようになります。
- 正の重み：入力が大きくなると、ほかの条件が同じなら出力前の値を増加させる
- 負の重み：入力が大きくなると、出力前の値を減少させる
- ゼロの重み：その入力は計算に影響しない
先ほどの果物の例では、赤さと丸さが判定を肯定的な方向に動かし、大きさは反対方向に働いています。ただし、負の重みが「その特徴量は重要ではない」ことを意味するわけではありません。負の値が大きい重みも、分類にとって重要な役割を果たす場合があります。
バイアス（Bias）
バイアスは、入力の加重和に加える定数です。
バイアスの役割は、ニューロンが1を出力するための条件を調整することです。
例えば、重みをすべて1として考えてみましょう。
バイアスを−1.5に設定すると、
となり、入力が両方1の場合だけzが0以上になります。
一方、バイアスを−0.5に設定すると、
となり、少なくとも片方が1であればzが0以上になります。
このように、重みが各入力の影響力を調整するのに対し、バイアスは判定する境界の位置を調整します。
またバイアスと閾値の関係について
閾値を使用する表現は、
です。
これを左辺に移項すると、
となります。
ここで、
と定義すれば、
と表現できます。
つまり、閾値とバイアスは、単純な閾値モデルでは同等の役割を果たします。
現代のニューラルネットワークでは、学習可能なパラメータとしてバイアスを使用する表記が一般的です。
加重和と活性化関数
加重和（Weighted Sum）
パーセプトロンは、入力値と重みの積を足し合わせて、バイアスを加えます。
これを総和記号で表すと、
です。
また、ベクトルを使用すれば、
と簡潔に表記できます。
これはパーセプトロンだけでなく、現代の全結合ニューラルネットワークでも基本となる計算です。
活性化関数（Activation Function）
活性化関数は、加重和から計算された値を受け取り、ニューロンの出力を決定する関数です。
一般式は、
です。
古典的な単純パーセプトロンでは、ステップ関数を使用します。
これは、入力が閾値に達すると0から1へ切り替わる関数です。
ステップ関数は分類結果を0か1で表現するため、二値分類に適しています。ただし、0の位置で微分できず、それ以外の場所では微分値が0であるため、現代の多層ニューラルネットワークで一般的な勾配ベースの誤差逆伝播法には適していません。
そのため、現代のニューラルネットワークでは、シグモイド関数やReLUなどの活性化関数が広く使用されています。また、多クラス分類の出力層では、複数の出力を確率分布へと変換するソフトマックス関数などが利用されます。
単純パーセプトロンの学習則
ここまで説明したのは、与えられた入力と重みから出力を計算する仕組みです。しかし、機械学習では、どのような重みを使用すれば正しく分類できるのかを、データから学習する必要があります。
パーセプトロンでは、予測結果と正解が異なったときに重みとバイアスを修正することで学習を進めます。この仕組みをパーセプトロン学習則（Perceptron Learning Rule）と呼びます。
学習アルゴリズム
学習には、入力データxと正解ラベル tを使用します。
まず、現在の重みから予測値yを計算します。
そして、この誤差に応じて重みを更新します。
バイアスも更新します。
ここで μは学習率（Learning Rate）です。
学習率は、1回の更新で重みをどの程度変更するかを決めます。
なぜこの更新則で学習できるのか正解と予測結果の関係を考えます。
| 正解t | 予測y | 誤差t-y | 更新の方向 |
| 0 | 0 | 0 | 更新しない |
| 1 | 1 | 0 | 更新しない |
| 1 | 0 | +1 | 入力方向に重みを増やす |
| 0 | 1 | -1 | 入力方向に重みを減らす |
例えば、本来1を出力すべきデータに対して0を出力した場合、正の誤差が生じます。
このとき、
となります。
すると、同じ入力に対する加重和は、バイアス更新も含めて、
だけ増加します。
つまり、正解が1であるデータを、1と判定しやすい方向に変化させるわけです。反対に、誤って1を出力した場合には、加重和を減少させる方向に修正します。
エポック（Epoch）と学習の繰り返し
学習では、一般的に複数のデータを使用します。1回の学習の流れは次のようになります。
- 学習データを1件取り出す
- 現在の重みから出力を計算する
- 正解と予測結果を比較する
- 誤分類なら重みとバイアスを更新する
- 次の学習データへ進む
全データを処理したら、学習データ全体を1回処理することを1エポック（Epoch）と呼びます。必要に応じて次のエポックに進みます。
パーセプトロンの収束定理
パーセプトロンには、重要な数学的性質があります。
学習データが線形分離可能である場合、適切な条件のもとで、パーセプトロン学習アルゴリズムは有限回の更新で全学習データを正しく分類する重みを見つけられます。
これはパーセプトロンの収束定理（Perceptron Convergence Theorem）と呼ばれています。一方、データが線形分離できない場合には、更新を繰り返しても、すべてのデータを正しく分類できる重みを見つけることはできません。この点が、パーセプトロンの能力を理解するうえで重要になります。
なお、古典的なパーセプトロン学習則は、誤分類をきっかけとして更新するアルゴリズムです。ステップ関数をそのまま微分して学習するわけではありません。後に多層ニューラルネットワークで重要になる勾配降下法や誤差逆伝播法とは区別して理解する必要があります。
線形分離と決定境界
線形分離（Linear Separability）とは
線形分離とは、異なるクラスに属するデータを、直線や平面などによって完全に分けられる性質です。
例えば、2つの特徴量を持つデータを考えてみます。
パーセプトロンがどちらのクラスに分類するかは、
が0以上かどうかによって決定されます。
そのため、分類結果が切り替わる境界は、
です。
これを決定境界（Decision Boundary）と呼びます。
2次元での決定境界
の場合、先ほどの式は、
と変形できます。
これは直線の方程式です。
つまり、2入力の単純パーセプトロンは、2次元平面上に1本の直線を引いて分類します。
線形分離できる例：AND演算
AND演算では、次の4つの入力を分類します。
| AND | ||
| 0 | 0 | 0 |
| 0 | 1 | 0 |
| 1 | 0 | 0 |
| 1 | 1 | 1 |
この4点は、次の直線で分離できます。
ANDの分類イメージ。クラス1の点を直線で分離できる
このように、4つの点を直線によって2つのクラスに分けられるため、AND演算は線形分離可能です。
OR演算についても同様で、
という直線を利用することで分類できます。
入力の次元が増えた場合
2次元での決定境界は直線ですが、3次元では平面になります。
一般に、高次元での線形の決定境界は超平面と呼ばれます
一般的には、
という式で表されます。
つまり、入力する特徴量の数が増えても、単純パーセプトロンの決定境界は線形のままです。
ここで注意すべきなのは、入力の次元を増やすことと、非線形な分類ができるようになることは別の問題だということです。
元の特徴量に非線形な特徴変換を施せば、変換後の空間で線形分類することによって複雑な分類が可能になる場合もあります。
しかし、元の入力をそのまま使用する単一のパーセプトロンには、線形分類という制約があります。
XOR問題と単層パーセプトロンの限界
XOR（排他的論理和）とは
XOR（Exclusive OR）は、2つの入力が異なるときだけ1を出力する論理演算です。
| XOR | ||
| 0 | 0 | 0 |
| 0 | 1 | 1 |
| 1 | 0 | 1 |
| 1 | 1 | 0 |
ANDやORとは異なり、XORは入力の片方だけが1のときに1を出力します。
XORが線形分離できない理由
XORの4点はクラス0とクラス1が対角線上に配置されます。
図を見ると、出力が1になる点と0になる点が交互に配置されていることがわかります。そのため、1本の直線で2つのクラスを分離することはできません。
これがXOR問題です。
数式による証明
XORを単一のパーセプトロンで表せると仮定します。
その出力は、
です。
XORの4つの条件を満たすには、以下の不等式が必要になります。
入力(0,0) → 出力0
入力(1,0) → 出力1
入力(0,1) → 出力1
入力(1,1) → 出力0
2番目と3番目の不等式から、
です。
両辺を足すと、
となります。
しかし、最初の条件より b < 0 なので、
です。
したがって、
でなければなりません。
一方、4番目の条件では、
が必要です。
これは矛盾しています。したがって、どのような重みとバイアスを選んでも、単一のパーセプトロンでXORを完全に表現することは不可能です。
歴史的な影響
1969年、マービン・ミンスキーとシーモア・パパートは、著書”Perceptrons: An Introduction to Computational Geometry”において、パーセプトロンの計算能力とその限界について数学的な分析を行いました。
XORは、その限界を説明する代表的な例として知られています。この研究は、当時のパーセプトロンに対する期待を見直す契機の一つとなりました。
問題となったものは、単純な線形分類器としてのパーセプトロンの能力です。
単一のパーセプトロンではXORを表現できませんが、適切な非線形活性化関数を持つ隠れ層を設けた多層ニューラルネットワークであれば、XORを表現することができます。