Need Help po Data Science/Engineering

ItsukiNakano

Eternal Poster
Mga master, paano po 'to pag training mukang maganda naman sa dataset namin,
1720178189414.webp


pero pag tinesting sa ibang dataset or real world testing nag aaverage lang siya ng 70% accuracy. baka po may makatulong or makapag bigay ai para po matanungan
 
Ang mababang performance ng model sa ibang dataset o sa real-world testing ay isang common issue sa machine learning. Narito ang ilang mga posibleng rason at solusyon para mapa-improve ang performance ng iyong model:

1. Overfitting: Ang model ay maaaring overfit sa training data, kaya mataas ang performance nito sa dataset na ito ngunit mababa sa iba. Para labanan ang overfitting, maaari mong subukan ang mga sumusunod:
- Gumamit ng regularization techniques tulad ng L1 regularization (Lasso) o L2 regularization (Ridge).
- Bumawas sa complexity ng model o features.
- Gamitin ang cross-validation para magkaroon ng mas reliable na estimate ng performance ng model.

2. Underfitting: Kung masyadong simple ang iyong model, maaaring hindi nito ma-capture ang complexities ng data. Narito ang ilang mga paraan para labanan ang underfitting:
- Dagdagan ang complexity ng model (tulad ng pagdagdag ng mas maraming hidden layers sa neural network).
- Dagdagan ang bilang ng mga features o gawing mas descriptive ang mga features.

3. Data Preprocessing: Siguraduhing maayos ang preprocessing ng data upang mabawasan ang noise at maiwasan ang data leakage. Halimbawa:
- Standardize o normalize ang mga features.
- Handle missing values o outliers nang maayos.
- Gumamit ng feature engineering para lumikha ng mas informative na mga feature.

4. Hyperparameter Tuning: Subukan mag-experiment sa mga hyperparameters ng model tulad ng learning rate, batch size, epochs, etc. Upang mahanap ang optimal na configuration ng iyong model.

5. Iba't ibang Algorithms: Subukan ang iba't ibang algorithms o models para makita kung alin ang magbibigay ng mas magandang performance sa iyong data.

6. Data Augmentation: Kung limitado ang iyong dataset, maaari mong subukan ang data augmentation techniques para magkaroon ng mas maraming training examples.

7. Ensemble Methods: Gamitin ang ensemble methods tulad ng bagging o boosting upang mag-combine ng multiple models at mapabuti ang performance.

8. Domain Knowledge: Maglaan ng oras sa pag-unawa sa domain ng iyong data upang mas maunawaan kung paano mo pwedeng i-improve ang iyong model.

Sa pamamagitan ng paggamit ng mga nabanggit na strategies at techniques, maaari mong ma-improve ang performance ng iyong model sa ibang dataset o real-world testing. Patuloy na mag-experiment at mag-adjust hanggang makamit mo ang inaasam mong accuracy sa iyong model.
 
Baka hindi galing sa real-world scenario yung dataset ninyo o kulang sa variety? O kulang yung quantity?
 

Similar threads

About this Thread

  • 2
    Replies
  • 320
    Views
  • 2
    Participants
Last reply from:
dee-u

Trending Topics

Online now

Members online
948
Guests online
1,071
Total visitors
2,019

Forum statistics

Threads
2,273,869
Posts
28,952,155
Members
1,234,981
Latest member
AprilSiading
Back
Top