5_maruza_prezentasiya

1.

5-MA’RUZA
Ma’lumotlarni qisqartirish
va o‘zgartirish
Yetishmayotgan qiymatlar • transformatsiya • diskretlashtirish • binarizatsiya
preprocessing
ZARMED universiteti • 2026–2027 o‘quv yili
“Yaxshi model
yaxshi tayyorlangan
ma’lumotdan
boshlanadi.”
Preprocessing ≠ bezak
Preprocessing = metodologiya

2.

Darsning maqsadi va kutiladigan natijalar
Asosiy maqsad
Talaba nimalarni biladi?
Talaba nima qila oladi?
Xom ma’lumotni modelga tayyor holatga keltirish
tamoyillarini tushunish.
Missing, shovqin, transformatsiya, discretization va
binarizatsiya farqlarini.
Masalaga mos preprocessing ketma-ketligini asoslab
tanlay oladi.
Ma’ruza yakunidagi kompetensiya
• Yetishmayotgan qiymat sababini va qayta ishlash usulini farqlaydi.
• Min–max, standartlashtirish va kategoriyani kodlash g‘oyasini tushuntiradi.
• Diskretlashtirish va binarizatsiya qachon foydali ekanini baholaydi.
• Data leakage’ni preprocessing bosqichida aniqlaydi va oldini oladi.
Ma’lumotlarni intellektual tahlil qilish • 5-ma’ruza
2

3.

Reja
Dastlabki ishlov berish
Preprocessing va qisqartirish maqsadi
Yetishmayotgan va shovqinli
ma’lumot
Missing, outlier, nomuvofiqlik
3
Transformatsiya va masshtablash
Normalization, standardization
4
Diskretlashtirish va binarizatsiya
Binlar, 0/1 indikatorlar
5
Pipeline va leakage
Fit/transform tartibi
1
2
Ma’lumotlarni intellektual tahlil qilish • 5-ma’ruza
3

4.

Preprocessing: modeldan oldingi majburiy bosqich
Muammo
Xom ma’lumot format, missing, dublikat va shovqin bilan
keladi.
Maqsad
Axborotni saqlagan holda ma’lumotni modelga moslashtirish.
Qisqartirish
O‘zgartirish
Nazorat
Agregatsiya, sampling, dublikatni olib tashlash.
Scale, log, encoding, discretization.
Har bir qadam qayta bajariladigan bo‘lishi kerak.
Ma’lumotlarni intellektual tahlil qilish • 5-ma’ruza
4

5.

Ma’lumotlarni qisqartirish: kamroq hajm, saqlangan mazmun
Agregatsiya
Sampling
Dublikatlar
Keraksiz ustun
Daqiqalik sensorlarni kunlik
o‘rtachaga aylantirish.
Millionlab yozuvlardan vakil namuna
tanlash.
Bir xil obyektni takror sanash ta’sirini
yo‘qotish.
Vazifaga aloqasiz maydonni
chiqarish.
Asosiy savol: “Qaysi qisqartirish axborotni yo‘qotmasdan hisoblashni soddalashtiradi?”
• Qisqartirish — shunchaki o‘chirish emas.
• Namuna vakilligi va statistik taqsimot saqlanishi kerak.
• O‘lchamlilikni qisqartirish keyingi ma’ruzada batafsil ko‘riladi.
Ma’lumotlarni intellektual tahlil qilish • 5-ma’ruza
5

6.

Yetishmayotgan qiymatlar: avval sabab, keyin usul
MCAR
Yo‘qolish boshqa kuzatuvlarga bog‘liq emas.
MAR
Yo‘qolish kuzatilgan belgilar bilan izohlanishi mumkin.
MNAR
Yo‘qolish noma’lum qiymatning o‘zi yoki yashirin omil bilan
bog‘liq.
Ma’lumotlarni intellektual tahlil qilish • 5-ma’ruza
6

7.

Imputatsiya: “to‘ldirish” emas, asoslangan taxmin
Median
Moda
Model bilan
Outlierlar mavjud bo‘lsa sonli qiymat uchun
barqaror.
Kategoriyali atribut uchun sodda yondashuv.
KNN yoki regressiya murakkab tuzilmani hisobga
oladi.
“Missing”ning o‘zi signal bo‘lishi mumkin → missing indicator
Muhim qoida
Noto‘g‘ri yondashuv
Imputer parametrini faqat train to‘plamida fit qiling.
Butun dataset bo‘yicha median hisoblab, keyin split qilish — leakage.
Ma’lumotlarni intellektual tahlil qilish • 5-ma’ruza
7

8.

Shovqin, anomal qiymat va mavhumlik — bir xil narsa emas
Shovqin
Tasodifiy o‘lchov xatosi yoki keraksiz o‘zgaruvchanlik.
Anomal qiymat
Noyob hodisa ham, haqiqiy xato ham bo‘lishi mumkin.
Mavhumlik
Bir ma’no bir necha yozuvda: M, Male, Erkak, 1.
Qoidani avtomatik qo‘llamang: avval predmet sohasidagi ma’noni tekshiring.
Ma’lumotlarni intellektual tahlil qilish • 5-ma’ruza
8

9.

Transformatsiya va masshtablash
Min–max
Standartlashtirish
x′=(x−xmin)/(xmax−xmin)
Ko‘pincha [0,1].
z=(x−μ)/σ
O‘rtacha 0, std 1.
Log transform
Encoding
Qiyshaygan taqsimotni yumshatishi
mumkin.
Kategoriyani model tushunadigan
ko‘rinishga.
Masofa asosidagi algoritmlarda masshtab tanlovi
juda muhim.
Ma’lumotlarni intellektual tahlil qilish • 5-ma’ruza
9

10.

Diskretlashtirish: uzluksiz qiymatdan intervallarga
Teng kenglik
Diapazon bir xil kenglikdagi binlarga bo‘linadi.
Teng chastota
Har bir bin taxminan bir xil obyekt soniga ega.
Predmet sohasi
Chegaralar real biznes/soha ma’nosiga asoslanadi.
Afzallik: talqin oson. Xavf: axborot yo‘qotilishi.
Ma’lumotlarni intellektual tahlil qilish • 5-ma’ruza
10

11.

Binarizatsiya va one-hot encoding
Binarizatsiya
Shart yoki hodisani 0/1 ko‘rinishga keltirish.
One-hot encoding
Har bir nominal kategoriya uchun alohida indikator ustuni.
Ordinal encoding
Faqat real tartib bo‘lsa: past < o‘rta < yuqori.
Nominal atributga 1–2–3 berish → soxta tartib va soxta masofa.
Ma’lumotlarni intellektual tahlil qilish • 5-ma’ruza
11

12.

Pipeline: preprocessingni qayta bajariladigan jarayonga aylantirish
Boshlanish
Transformatsiya
Yakun
• Data turi va sifat nazorati
• Encoding
• Model
• Train/test split
• Scaling
• Baholash
• Imputatsiya
• Discretization
• Real ma’lumot
Ma’lumotlarni intellektual tahlil qilish • 5-ma’ruza
12

13.

Data leakage: test axboroti train jarayoniga sizib kirmasin
Noto‘g‘ri
Preprocessing.fit(all data) → split
To‘g‘ri
Split → fit(train) → transform(train/test)
Cross-validation ichida ham preprocessing har fold’da qayta fit qilinadi.
Ma’lumotlarni intellektual tahlil qilish • 5-ma’ruza
13

14.

Amaliy misol: talaba ma’lumotlarini tayyorlash
study_hours • attendance • assignments • group • passed
1. Missing
2. Kategoriya
3. Masshtab
4. Target
study_hours va attendance →
median imputatsiya
group → one-hot encoding
sonli ustunlar → StandardScaler
passed alohida saqlanadi
Natija: modelga tayyor sonli matritsa + leakage’ni nazorat qiladigan pipeline
• Har bir qadamning sababi tushuntiriladi.
• Qadamlar ketma-ketligi hujjatlashtiriladi.
• Parametrlar train’dan o‘rganiladi.
Ma’lumotlarni intellektual tahlil qilish • 5-ma’ruza
14

15.

Python / scikit-learn: preprocessing pipeline g‘oyasi
num_pipe = Pipeline([
('imputer', SimpleImputer(strategy='median')),
('scaler', StandardScaler())
])
cat_pipe = Pipeline([
('imputer', SimpleImputer(strategy='most_frequent')),
('encoder', OneHotEncoder(handle_unknown='ignore'))
])
Pipeline
Bir xil qadamlar train va testda izchil qo‘llanadi.
ColumnTransformer
Sonli va kategoriyali ustunlarga turli ishlov.
Leakage nazorati
fit faqat train’da; testga transform.
Ma’lumotlarni intellektual tahlil qilish • 5-ma’ruza
15

16.

Keng tarqalgan xatolar
0 bilan to‘ldirish
1–2–3 kodlash
Fit before split
Missing sababini tekshirmasdan
Nominalga soxta tartib berish
Test statistikasi treningga kiradi
Outlier = xato
Tasodifiy binlar
Hujjatsiz qadamlar
Noyob hodisani yo‘qotish mumkin
Diskretlashtirish axborotni yo‘qotadi
Tajriba qayta takrorlanmaydi
Har bir preprocessing qarori: “Nega?”, “Qayerda fit?”, “Nima yo‘qotiladi?” savollariga javob bersin.
Ma’lumotlarni intellektual tahlil qilish • 5-ma’ruza
16

17.

Xulosa: yaxshi preprocessing — yaxshi tajriba dizayni
Sifat
Missing, shovqin va nomuvofiqlikni aniqlang.
Mazmun
Transformatsiya axborot ma’nosini saqlasin.
Soddalik
Diskretlashtirish va binarizatsiyani asosli qo‘llang.
Metodologiya
Train/test chegarasini preprocessingda ham saqlang.
Takrorlanish
Pipeline va parametrlarni hujjatlashtiring.
Ma’lumotlarni intellektual tahlil qilish • 5-ma’ruza
17

18.

Foydalanilgan manbalar va mustaqil ishlash
Asosiy manbalar
Mustaqil topshiriqlar
• [1] Witten I.H., Frank E., Hall M.A. Data Mining. Elsevier, 2011.
• Datasetda missing ulushini tahlil qiling.
• [3] Géron A. Hands-On Machine Learning. 2nd ed., 2019.
• Bir atributni min–max va standard scaling bilan taqqoslang.
• [5] Tan P.-N. va boshq. Introduction to Data Mining. 2nd ed., 2019.
• Diskretlashtirishning 2 usulini sinang.
• [10] scikit-learn: preprocessing, imputation, pipelines.
• One-hot encoding natijasini tahlil qiling.
• [11] Weka: preprocessing va filters.
• Leakage-safe mini-pipeline tuzing.
Keyingi mavzu
Hajmni qisqartirish va tasniflashga kirish: feature selection, supervised learning,
klassifikatsiya.
Ma’lumotlarni intellektual tahlil qilish • 5-ma’ruza
18