Feedforward Deep Networks: AI Inspired by the Human Brain
ফিডফরওয়ার্ড ডিপ নেটওয়ার্ক: মানব মস্তিষ্ক থেকে অনুপ্রাণিত AI
Hello again! Following up on our last discussion about Representation Learning, today we will see how that incredible idea is translated into a structured network. And interestingly, we will see how this network is heavily inspired by our own biological brain!
Introduction to Feedforward Deep Networks
To make a computer learn features automatically, we use a structure called a Feedforward Network. Think of it like an assembly line in a factory. On the left, we have the raw input $x$. In the middle, we have the processing feature layers $\phi(x)$, and on the right, the final product (the output node). Information only flows forward, never backward!
Here is a big catch: If we only use simple linear math in our layers (like $\phi_i(x) = \theta_i^T x$), it won't work well. Why? Imagine a pizza factory. If one worker puts a pizza box inside another box, and the next worker puts it in a third box... at the end of the day, you just have a pizza inside a box. Combining multiple linear layers just results in another single linear layer. Nothing new was created!
To make the network powerful, we must inject Nonlinearity into it! (In our analogy, nonlinearity is the oven that actually bakes the pizza and changes its state). We usually do this by wrapping our math in a non-linear function, often written as $r(\cdot)$.
Going Deeper: If we keep stacking these feature layers one after another (Layer 1 $\rightarrow$ Layer 2 $\rightarrow$ ... $\rightarrow$ Layer L), we get what is called a Feedforward Deep Network.
Take a look at how machine learning has evolved over time. In deep learning, the computer learns simple features (like edges) in the first layers, and then combines them in deeper layers to understand highly abstract concepts (like a face or a car)!
The Biological Motivation: Brains vs. Computers
The entire concept of Artificial Neural Networks actually comes from biology! Look at a real neuron from the human brain:
Our brain cells are like tiny, squishy biological computers. They receive electrical signals from neighbors through branches called dendrites. If the total signal is strong enough, the neuron "fires" a spike down its axon to pass the message along.
Computer scientists looked at this and said, "Hey, we can write an equation for that!" And thus, the Abstract Neuron Model was born.
- How the Math works: In a computer, our artificial neuron takes multiple inputs ($x_1, x_2, \dots, x_d$). Each input has a "weight" indicating how important it is. If the sum of these weighted inputs passes a certain threshold ($b$), the neuron activates!
- Mathematically, it looks like this: $y = r(\theta^T x - b)$. Here, $r(\cdot)$ is our Activation Function (the oven!).
When we connect thousands of these abstract mathematical neurons in layers, we get a complete Artificial Neural Network!
[!NOTE] IMPORTANT NOTES FOR NOTEBOOK Concept: Feedforward Deep Networks & Neuron Models Key Point 1: Feedforward networks require nonlinear activation functions ($r(\cdot)$) to prevent collapsing into a simple linear model. Without them, deep networks are useless. Key Point 2: Modeled after biological brain neurons, these networks employ a mathematical formulation where a weighted sum of inputs minus a bias threshold is passed through an activation function. Advantage: Deep architectures allow systems to automatically construct highly complex, hierarchical representations from scratch, learning abstract concepts layer by layer. Disadvantage: Heavily simplifies biological brain complexity, and the resulting deep hidden representations often act as an uninterpretable "black box".
হ্যালো সবাইকে! গত পোস্টে আমরা রিপ্রেজেন্টেশন লার্নিং (Representation Learning) নিয়ে কথা বলেছিলাম। আজ আমরা দেখবো কীভাবে সেই অসাধারণ আইডিয়াটিকে একটি সত্যিকারের নেটওয়ার্কের রূপ দেওয়া যায়। এবং সবচেয়ে মজার বিষয় হলো—কীভাবে আমাদের মানব মস্তিষ্ক এই আর্টিফিশিয়াল নেটওয়ার্ক তৈরিতে অনুপ্রেরণা জুগিয়েছে!
ফিডফরওয়ার্ড ডিপ নেটওয়ার্ক (Feedforward Deep Networks)
কম্পিউটারকে নিজে নিজে ফিচার শেখানোর জন্য আমরা ফিডফরওয়ার্ড নেটওয়ার্ক ব্যবহার করি। একে তুমি একটি কারখানার অ্যাসেম্বলি লাইনের সাথে তুলনা করতে পারো। এর স্ট্রাকচারটা হলো—বামপাশে থাকে ইনপুট বা কাঁচামাল $x$, মাঝখানে থাকে প্রসেসিং বা ফিচার লেয়ার $\phi(x)$, এবং ডানপাশে থাকে আউটপুট বা চূড়ান্ত প্রোডাক্ট। এখানে ডেটা শুধু সামনের দিকেই যায়, কখনো পেছনে ফেরে না!
এখানে একটা বড় শর্ত আছে: আমরা যদি শুধু লিনিয়ার ফাংশন বা রৈখিক সমীকরণ (যেমন $\phi_i(x) = \theta_i^T x$) ব্যবহার করি, তবে তা মোটেও কাজ করবে না! কেন? ধরো, একটি পিৎজা ফ্যাক্টরির কথা। একজন শ্রমিক একটি পিৎজা বক্সের ভেতরে আরেকটি বক্স রাখলো, পরের জন সেটিকে আরেকটি বক্সের ভেতর রাখলো... দিনশেষে তোমার কাছে শুধু একটা বক্সের ভেতর বক্সই থাকবে, নতুন কিছু তৈরি হবে না। একাধিক লিনিয়ার লেয়ার পরপর যোগ করলে দিনশেষে তারা মিলে একটি একক লিনিয়ার লেয়ারেই পরিণত হয়।
নেটওয়ার্ককে শক্তিশালী করতে হলে আমাদের অবশ্যই Nonlinearity বা অ-রৈখিকতা যোগ করতে হবে! (আমাদের পিৎজার উদাহরণে, নন-লিনিয়ারিটি হলো সেই ওভেন যা পিৎজাকে বেক করে সম্পূর্ণ নতুন একটা রূপ দেয়)। এর জন্য আমরা সাধারণত একটি নন-লিনিয়ার ফাংশন ব্যবহার করি, যাকে $r(\cdot)$ দিয়ে প্রকাশ করা হয়।
আরও গভীরে যাওয়া (Going Deeper): আমরা যদি এই ফিচার লেয়ারের পর আরও লেয়ার পরপর যুক্ত করতে থাকি (লেয়ার ১ $\rightarrow$ লেয়ার ২ $\rightarrow$ ... $\rightarrow$ লেয়ার L), তবে যে বিশাল স্ট্রাকচার তৈরি হয়, তাকেই বলা হয় Feedforward Deep Networks।
সময়ের সাথে সাথে কীভাবে মেশিন লার্নিংয়ের বিবর্তন হয়েছে, তা নিচের ডায়াগ্রামটি দেখলে খুব সুন্দরভাবে বোঝা যায়। ডিপ লার্নিংয়ে কম্পিউটার প্রথমে সাধারণ ফিচার (যেমন- সোজা দাগ, বাঁকা দাগ) শেখে এবং ভেতরের গভীর লেয়ারগুলোতে গিয়ে অত্যন্ত জটিল বা অ্যাবস্ট্রাক্ট ফিচারগুলো (যেমন- মানুষের মুখ বা গাড়ি) বুঝে নিতে পারে!
জীববিজ্ঞানের অনুপ্রেরণা (মস্তিষ্ক বনাম কম্পিউটার)
তুমি জানলে অবাক হবে, আমরা যে কৃত্রিম নিউরাল নেটওয়ার্ক নিয়ে কথা বলছি, সেটির মূল অনুপ্রেরণা কিন্তু এসেছে আমাদের জীবদেহের মস্তিষ্ক থেকেই! নিচে মানব মস্তিষ্কের একটি বাস্তব নিউরনের ছবি দেখো:
আমাদের ব্রেইনের কোষগুলো যেন ছোট ছোট নরম কম্পিউটারের মতো। এরা ডেনড্রাইটের মাধ্যমে সিগন্যাল গ্রহণ করে। যদি সিগন্যাল যথেষ্ট শক্তিশালী হয়, তবে নিউরনটি "ফায়ার" করে এবং অ্যাক্সনের মাধ্যমে অন্য কোষে সংকেত পাঠায়।
কম্পিউটার বিজ্ঞানীরা এটা দেখে বললেন, "আরে, আমরা তো এর জন্য একটা গাণিতিক সমীকরণ লিখে ফেলতে পারি!" আর এভাবেই জন্ম হলো Abstract Neuron Model-এর।
- ম্যাথ কীভাবে কাজ করে: কম্পিউটারে আমাদের কৃত্রিম নিউরন অনেকগুলো ইনপুট ($x_1, x_2, \dots, x_d$) গ্রহণ করে। প্রতিটি ইনপুটের একটি "ওয়েট" বা গুরুত্ব থাকে। ইনপুটের সাথে ওয়েটের গুণফল যখন একটি নির্দিষ্ট থ্রেশহোল্ড (threshold) বা মাত্রা $b$-কে অতিক্রম করে, তখনই নিউরনটি অ্যাক্টিভেট বা উদ্দীপিত হয়!
- গাণিতিকভাবে একে লেখা হয়: $y = r(\theta^T x - b)$। এখানে $r(\cdot)$-কে বলা হয় অ্যাক্টিভেশন ফাংশন (আমাদের সেই ওভেন!)।
যখন আমরা এইরকম শত শত গাণিতিক নিউরনকে একসাথে স্তরে স্তরে বা লেয়ারে যুক্ত করি, তখনই তৈরি হয় একটি পূর্ণাঙ্গ Artificial Neural Network!
[!NOTE] IMPORTANT NOTES FOR NOTEBOOK Concept: Feedforward Deep Networks & Neuron Models Key Point 1: Feedforward networks require nonlinear activation functions ($r(\cdot)$) to prevent collapsing into a simple linear model. Without them, deep networks are useless. Key Point 2: Modeled after biological brain neurons, these networks employ a mathematical formulation where a weighted sum of inputs minus a bias threshold is passed through an activation function. Advantage: Deep architectures allow systems to automatically construct highly complex, hierarchical representations from scratch, learning abstract concepts layer by layer. Disadvantage: Heavily simplifies biological brain complexity, and the resulting deep hidden representations often act as an uninterpretable "black box".