2026-07-14 #AI #Machine Learning #Algorithms #Classification

Logistic Regression: Why It's Actually for Classification!
লজিস্টিক রিগ্রেশন (Logistic Regression): নাম রিগ্রেশন হলেও কাজ ক্লাসিফিকেশনের!

Today I learned about Logistic Regression! Surprisingly, it’s a classification algorithm that uses a Sigmoid curve to predict probabilities. Let me share how it works.
আজ আমি লজিস্টিক রিগ্রেশন নিয়ে দারুন একটা কনসেপ্ট শিখলাম। নাম রিগ্রেশন হলেও এটি আসলে ক্লাসিফিকেশনের কাজ করে। চলো দেখি কীভাবে কাজ করে এটি!

Hello! Today I learned about an amazing algorithm called Logistic Regression. I always thought it was similar to Linear Regression because of its name, but I found out that the name is actually a bit misleading. Let me share what I discovered!

1. What is Logistic Regression, Really?

Despite having "regression" in its name, Logistic Regression is actually a classification technique. It helps us figure out which category or class a data point belongs to. For example:

  • Is this email spam or not spam?
  • Will this patient survive or not?
  • Is this image a cat or a dog?

The reason it’s called "regression" is that it fits a linear model in the feature space behind the scenes. More interestingly, it views classification probabilistically—instead of just a hard "yes/no", it tells us something like "There is an 80% probability that this belongs to class A."

2. Three Ways to Express Probability

I learned that there are three ways to express probability, and logistic regression uses all of them!

  1. Standard Probability ($p$): Ranges from 0 to 1. Example: 0.7 probability of landing Heads.
  2. Odds ($p / q$): Ranges from 0 to $+\infty$. Used a lot in betting. If $p=0.7$, the odds are $0.7/0.3 \approx 2.33$.
  3. Log Odds / Logit ($\log(p/q)$): Ranges from $-\infty$ to $+\infty$. This is the magic scale that Logistic Regression uses! It's perfectly symmetric around zero.

3. The Logit and Logistic Functions (The Bridge)

This part was mind-blowing to me. We need a bridge between regular numbers and probabilities.

  • Logit Function: Takes a probability $p$ and converts it into Log Odds $z$. $$z = \log\left(\frac{p}{1-p}\right)$$
  • Logistic Function: Takes any real number $z$ (from our linear equation) and squeezes it back into a probability $p$ between 0 and 1! $$p = \frac{e^z}{1+e^z} = \frac{1}{1+e^{-z}}$$ These two are inverse functions of each other!

4. The Sigmoid Curve

When we plot the standard logistic function, it forms a beautiful S-shaped curve, also known as the Sigmoid Curve.

  • When $z = 0$, $p = 0.5$ (right in the middle).
  • As $z \to +\infty$, $p \to 1$.
  • As $z \to -\infty$, $p \to 0$.

5. How the Model Works

Here is how I understand the entire flow:

  1. Take your input features $x$.
  2. Project them using a linear equation to get a real number $z$: $z = \alpha + \beta_1 x_1 + \dots + \beta_d x_d$
  3. Pass $z$ through the logistic function to get a probability $p$.
  4. If $p > 0.5$, classify it as Class 1; otherwise, Class 0. This 0.5 threshold creates a linear decision boundary in the feature space!

6. Model Training

Unlike Linear Regression, there is no closed-form solution to find the best coefficients ($\beta$). Instead, we use Maximum Likelihood Estimation (MLE) to numerically approximate the best weights, or Stochastic Gradient Descent (SGD) for large datasets.

7. Real-World Examples

I saw two great examples of this in action:

  • Sepsis Patient Survival (1D): Using a patient's APACHE II score to predict survival. Linear regression fails here because it draws a straight line that goes above 1 and below 0. Logistic regression's S-curve handles this perfectly.
  • Fisher Iris Dataset (2D): Classifying flowers based on Sepal Length and Sepal Width. The decision boundary is a straight line perpendicular to the weight vector $\beta$. The intercept $\alpha$ decides how far the boundary is from the origin.

8. Pros and Cons

Advantages:

  • It doesn't assume anything about the distribution of classes.
  • It easily extends to multiple classes (Multinomial Logistic Regression).
  • It outputs probabilities, giving us a measure of confidence.
  • It is fast to train and resistant to overfitting.

Disadvantage:

  • It strictly draws a linear decision boundary. If the data needs a circular or curved boundary, it struggles.

[!NOTE] IMPORTANT NOTES FOR NOTEBOOK Concept: Logistic Regression Key Point 1: It's a classification algorithm that predicts probabilities using the logistic (sigmoid) function $p = 1/(1+e^{-z})$. Key Point 2: It transforms a linear combination of features ($z = \alpha + \beta x$) into the 0-1 probability range. Key Point 3: The decision boundary is a straight line (or hyperplane) where the probability is 0.5. Advantage: Fast, gives probabilistic outputs, and doesn't assume feature independence. Disadvantage: Cannot solve non-linearly separable problems directly due to its linear decision boundary.

This was a really fascinating topic to learn!

হ্যালো! আজ আমি Logistic Regression নিয়ে দারুণ কিছু জিনিস শিখলাম। নাম শুনে আমি সবসময় ভাবতাম এটা হয়তো লিনিয়ার রিগ্রেশনের মতোই কোনো রিগ্রেশন টেকনিক। কিন্তু আজ জানলাম, নামটা আসলে একটু বিভ্রান্তিকর! চলো দেখি আমি কী কী জানলাম!

১. লজিস্টিক রিগ্রেশন আসলে কী?

নামে "রিগ্রেশন" থাকলেও, এটি মূলত একটি ক্লাসিফিকেশন (Classification) অ্যালগরিদম! এর কাজ হলো কোনো একটা ডেটা কোন ক্লাসে বা দলে পড়বে তা বের করা। যেমন:

  • একটি ইমেইল কি স্প্যাম নাকি স্প্যাম নয়?
  • একজন রোগী কি বাঁচবে নাকি মারা যাবে?
  • ছবিতে থাকা প্রাণীটি কি বিড়াল নাকি কুকুর?

তাহলে একে রিগ্রেশন বলা হয় কেন? কারণ এটি ভেতরে ভেতরে ফিচার স্পেসে একটি লিনিয়ার মডেল ফিট করে। আর এর সবচেয়ে দারুণ দিক হলো, এটি শুধু "হ্যাঁ" বা "না" বলে না, বরং প্রোবাবিলিটি বা সম্ভাবনা আকারে উত্তর দেয় (যেমন: "৮০% সম্ভাবনা যে এটি ক্লাস A")।

২. সম্ভাবনা (Probability) প্রকাশের তিনটি উপায়

আমি শিখলাম যে সম্ভাবনাকে তিনটি উপায়ে প্রকাশ করা যায়: ১. স্ট্যান্ডার্ড প্রোবাবিলিটি ($p$): যার মান 0 থেকে 1 এর মধ্যে থাকে। ২. অডস (Odds - $p/q$): এর মান 0 থেকে $+\infty$ পর্যন্ত হতে পারে। যেমন জেতার সম্ভাবনা যদি 0.7 হয়, তবে অডস হবে $0.7/0.3 \approx 2.33$। ৩. লগ অডস বা লজিট ($\log(p/q)$): এর মান $-\infty$ থেকে $+\infty$ পর্যন্ত হতে পারে। লজিস্টিক রিগ্রেশন এই স্কেলটাই ব্যবহার করে!

৩. লজিট ও লজিস্টিক ফাংশন

এই পার্টটি আমার কাছে সবচেয়ে ইন্টারেস্টিং লেগেছে। আমাদের সাধারণ সংখ্যাগুলোকে প্রোবাবিলিটিতে রূপান্তর করতে একটি ব্রিজ বা সেতুর প্রয়োজন হয়:

  • লজিট ফাংশন (Logit Function): এটি প্রোবাবিলিটি $p$ কে নিয়ে লগ অডস $z$-এ রূপান্তর করে। $$z = \log\left(\frac{p}{1-p}\right)$$
  • লজিস্টিক ফাংশন (Logistic Function): এটি ঠিক উল্টো কাজ করে। যেকোনো সংখ্যা $z$-কে নিয়ে 0 থেকে 1 এর মধ্যে থাকা প্রোবাবিলিটি $p$-তে রূপান্তর করে! $$p = \frac{e^z}{1+e^z} = \frac{1}{1+e^{-z}}$$

৪. সিগময়েড কার্ভ (Sigmoid Curve)

লজিস্টিক ফাংশনের গ্রাফ প্লট করলে একটি দারুণ S-আকৃতির কার্ভ পাওয়া যায়, যাকে Sigmoid Curve বলা হয়।

  • যখন $z = 0$, তখন $p = 0.5$ (ঠিক মাঝামাঝি)।
  • $z$ অনেক বড় হলে $p$ এর মান 1 এর কাছাকাছি যায়।
  • $z$ অনেক ছোট হলে $p$ এর মান 0 এর কাছাকাছি যায়।

৫. মডেলটি কীভাবে কাজ করে?

পুরো প্রসেসটি যেভাবে কাজ করে: ১. তোমার ইনপুট ফিচারগুলো নাও। ২. সেগুলোকে একটি লিনিয়ার ইকুয়েশনে বসিয়ে $z$ এর মান বের করো: $z = \alpha + \beta_1 x_1 + \dots + \beta_d x_d$ ৩. এরপর $z$-কে লজিস্টিক ফাংশনের ভেতর দিয়ে পাস করিয়ে প্রোবাবিলিটি $p$ বের করো। ৪. যদি $p > 0.5$ হয়, তবে সেটিকে ক্লাস 1, নাহলে ক্লাস 0 হিসেবে প্রেডিক্ট করো। এই 0.5 থ্রেশোল্ডটিই ফিচার স্পেসে একটি লিনিয়ার ডিসিশন বাউন্ডারি (Linear Decision Boundary) তৈরি করে।

৬. মডেল ট্রেইনিং

লিনিয়ার রিগ্রেশনের মতো এখানে সরাসরি কোনো গাণিতিক সূত্র (Closed-form solution) দিয়ে বেস্ট প্যারামিটার ($\beta$) বের করা যায় না। এর বদলে এখানে Maximum Likelihood Estimation (MLE) বা বড় ডেটাসেটের জন্য Stochastic Gradient Descent (SGD) এর মতো ইটারেটিভ পদ্ধতি ব্যবহার করা হয়।

৭. বাস্তব উদাহরণ

আমি দুটি চমৎকার উদাহরণ দেখেছি:

  • Sepsis রোগীর মৃত্যু (1D): রোগীর APACHE II স্কোর দিয়ে মৃত্যুর সম্ভাবনা বের করা। লিনিয়ার রিগ্রেশন এখানে ফেইল করে কারণ এর লাইন 0-এর নিচে বা 1-এর উপরে চলে যায়, যা অসম্ভব। লজিস্টিক রিগ্রেশনের S-কার্ভ এখানে পারফেক্টলি কাজ করে।
  • Fisher Iris ফুল ক্লাসিফিকেশন (2D): সিপাল লেন্থ আর সিপাল উইডথ দিয়ে ফুলের ক্লাস বের করা। এখানে ডিসিশন বাউন্ডারি হলো একটি সোজা লাইন, যা ওয়েট ভেক্টর $\beta$-এর উপর লম্বভাবে থাকে।

৮. সুবিধা ও অসুবিধা

সুবিধা:

  • এটি ক্লাসের ডিস্ট্রিবিউশন নিয়ে কোনো অনুমান (assumption) করে না।
  • মাল্টিপল ক্লাস খুব সহজেই হ্যান্ডেল করতে পারে (Multinomial Logistic Regression)।
  • প্রেডিকশনের সাথে সাথে আত্মবিশ্বাসের মাত্রাও (probability) জানিয়ে দেয়।
  • অত্যন্ত ফাস্ট এবং ওভারফিটিং প্রতিরোধী।

অসুবিধা:

  • এটি কেবল লিনিয়ার ডিসিশন বাউন্ডারি আঁকতে পারে। ডেটা যদি নন-লিনিয়ার হয়, তবে এটি ভালো কাজ করে না।

[!NOTE] IMPORTANT NOTES FOR NOTEBOOK Concept: Logistic Regression Key Point 1: নাম রিগ্রেশন হলেও এটি আসলে একটি ক্লাসিফিকেশন অ্যালগরিদম যা প্রোবাবিলিটি প্রেডিক্ট করে। Key Point 2: এটি লিনিয়ার মডেল থেকে পাওয়া ভ্যালুকে ($z$) লজিস্টিক ফাংশনের ($p = 1/(1+e^{-z})$) মাধ্যমে 0 থেকে 1 এর মধ্যে নিয়ে আসে। Key Point 3: এর ডিসিশন বাউন্ডারি সবসময় লিনিয়ার (সোজা লাইন বা হাইপারপ্লেন) হয়। Advantage: ফাস্ট, প্রোবাবিলিস্টিক আউটপুট দেয় এবং ওভারফিটিং সহজে হয় না। Disadvantage: নন-লিনিয়ার ডেটার জন্য এটি কার্যকর নয়।

লজিস্টিক রিগ্রেশনের এই গাণিতিক কনসেপ্টগুলো জেনে আমার কাছে পুরো বিষয়টা একদম ক্লিয়ার হয়ে গেছে, আশা করি তোমারও কাজে লাগবে!

GitHub LinkedIn Portfolio Blog