Деректерді талдау. Деректерді басқару

1. № 6 Дәріс Деректерді талдау. Деректерді басқару

1

2. 6.1 Деректерді талдау

Деректерді талдау - бұл процесс зерттеу, сүзу,
түрлендірулер және деректерді модельдеу пайдалы
ақпаратты алу үшін және шешім қабылдау.
Деректерді талдаудың көптеген аспектілері мен
тәсілдері
бар,
ғылым
мен
қызметтің
әртүрлі
салаларындағы әртүрлі әдістерді қамтиды.
2

3. Деректерді жинау жоспарын құру: 1) Проблемаларды анықтау және зерттеу мақсаттарын тұжырымдау. 2) Қызықтыратын тақырыпты алдын

ала зерттеуді
жүзеге
асыру.
3)
Зерттеу
тұжырымдамаларын
дамыту.
4) Зерттеуді егжей-тегжейлі жоспарлауды жүзеге
асыру.
3

4. 5) Ақпарат көздерін таңдау және қосымша мәліметтерді жинау. 6) Алынған деректерді бағалаңыз және бастапқы деректер қаншалықты

қажет екенін шешіңіз.
7) Алғашқы мәліметтерді жинау әдісін анықтаңыз:
сауалнама,
бақылау,
эксперимент.
8)
Алғашқы
ақпаратты
тікелей
жинау.
9) Зерттеу нәтижелерін ұсыну (презентация).
4

5. Болжау әдістері: 1) сарапшылардың пайымдаулары мен бағалауларына қатысты интуитивті; 2) әдебиетте бұрыннан сипатталған және

олардың негізінде болжау үлгілері
қазірдің өзінде құрылып жатқан
формалды.
5

6. Шешім ағаштары деректерді талдау саласында кеңінен қолданылады. Шешім ағаштары - бұл әрбір нысан шешім шығаратын бір түйінге

сәйкес келетін
иерархиялық,
дәйекті
құрылымдағы
ережелерді көрсету тәсілі.
6

7. 1) Деректер сипаттамасы: Шешім ағаштары деректер туралы ақпаратты ықшам пішінде сақтауға мүмкіндік береді, оның орнына біз

Тапсырма сыныптары (ағаш әдісі):
1) Деректер сипаттамасы: Шешім ағаштары
деректер туралы ақпаратты ықшам пішінде
сақтауға мүмкіндік береді, оның орнына біз
объектілердің нақты сипаттамасын қамтитын
шешім ағашын сақтай аламыз.
7

8. Шешім ағаштары жіктеу тапсырмаларында өте жақсы, яғни объектілерді бұрын белгілі класстардың біріне тағайындау. Мақсатты

2) Жіктелуі:
Шешім
ағаштары
жіктеу
тапсырмаларында өте жақсы, яғни
объектілерді бұрын белгілі класстардың
біріне
тағайындау.
Мақсатты айнымалының дискретті
мәндері болуы керек.
8

9. Егер мақсатты айнымалының үздіксіз мәндері болса, шешім ағаштары мақсатты айнымалының тәуелсіз (кіріс) айнымалыларға

3) Регрессия:
Егер мақсатты айнымалының үздіксіз мәндері
болса, шешім ағаштары мақсатты айнымалының
тәуелсіз (кіріс) айнымалыларға тәуелділігін
орнатуға
мүмкіндік
береді.
Мысалы, бұл сыныпқа сандық болжау
есептері кіреді (мақсатты айнымалы мәндерді
болжау).
9

10. Шешім ағаштарын жүзеге асыратын алгоритмдерге CART, C4.5, NewId, ITrule, CHAID, CN2 және т.б. Бірақ ең кең тарағандары мыналар:

CART
(Classification and Regression Tree) – екілік шешім ағашын
құру алгоритмі – дихотомиялық классификация моделі.
Мұндай ағаштың әрбір түйіні бөлінген кезде екі ғана бала
болады. Алгоритм классификация және регрессия
есептерін
шешеді.
C4.5 - түйіннің еншілестерінің саны шексіз болатын
шешім ағашын құру алгоритмі.
10

11. Data Mining – деректердегі жасырын үлгілерді (ақпараттық үлгілерді) іздеуге негізделген шешімдерді қабылдауды қолдау процесі.

6.2 Data Mining негіздері
Data Mining – деректердегі жасырын
үлгілерді
(ақпараттық
үлгілерді)
іздеуге
негізделген шешімдерді қабылдауды қолдау
процесі.
Бұл анық емес, объективті және практикалық
үлгілер үшін деректердің үлкен көлемін іздеуге
арналған технология.
11

12. Data Mining тапсырмалары кейде “заңдылықтар” немесе “әдістер” деп аталады. Data Mining негізгі міндеттері: * жіктеу *

кластерлеу
* болжау
* ассоциация
* визуализация
* талдау және ауытқуларды анықтау
* бағалау
* қарым-қатынасты талдау
* қорытындылау.
12

13. 1) жасанды нейрондық желілер; 2) шешім ағаштары; 3) символдық ережелер; 4) ең жақын көрші және k-ең жақын көрші әдістері; 5)

Data Mining әдістері мен алгоритмдері:
1) жасанды нейрондық желілер;
2) шешім ағаштары;
3) символдық ережелер;
4) ең жақын көрші және k-ең жақын көрші әдістері;
5) тірек векторлық машина;
6) Байес желілері;
7) сызықтық регрессия;
8) корреляциялық және регрессиялық талдау;
9) кластерлік талдаудың иерархиялық әдістері
10) кластерлік талдаудың иерархиялық емес әдістері, соның ішінде k-орта
және k-медиан алгоритмдері;
11) ассоциация ережелерін іздеу әдістері, соның ішінде Apriori алгоритмі;
12) шектеулі санау әдісі, эволюциялық бағдарламалау және генетикалық
алгоритмдер, деректерді визуализациялаудың әртүрлі әдістері және басқа
да көптеген әдістер.
13

14. Data Mining екі немесе үш кезеңнен тұруы мүмкін: 1-кезең. Үлгілерді анықтау (еркін іздеу). 2-кезең: Белгісіз мәндерді болжау

үшін
анықталған үлгілерді пайдалану (болжамдық
модельдеу).
3-кезең: Ерекшеліктерді талдау - үлгілерде
кездесетін ауытқуларды анықтауға және
түсіндіруге арналған кезең.
14

15. 6.2.1 Data Mining құралдарын визуализациялау. Data Mining алгоритмдерінің әрқайсысы арнайы визуализация тәсілін пайдаланады.

6.2.1
Data
Mining
визуализациялау.
құралдарын
Data Mining алгоритмдерінің әрқайсысы
арнайы визуализация тәсілін пайдаланады.
Data Mining әдістерінің әрқайсысын пайдалану
кезінде, дәлірек айтқанда, оны бағдарламалық
қамтамасыз етуді жүзеге асыру кезінде біз
сәйкес әдістер мен алгоритмдердің жұмысы
нәтижесінде алынған нәтижелерді түсіндіре
алатын визуализаторлармыз.
15

16. Шешім ағаштары үшін мұндай визуализатор шешім ағашы, ережелер тізімі немесе күтпеген жағдайлар кестесі болып табылады.

Нейрондық желілер үшін құралға байланысты бұл желі
топологиясы, оқу процесін көрсететін қателік шамасының
графигі болуы мүмкін.
Кохонен карталары үшін: кіру, шығу карталары, басқа да
арнайы карталар.
Сызықтық регрессия үшін регрессия сызығы визуализатор
ретінде пайдаланылады.
Кластерлеу үшін: дендрограммалар, шашырау
диаграммалары.
Әдістің өнімділігін бағалау үшін шашыраңқы графиктер
мен диаграммалар жиі пайдаланылады.
16

17. Деректерді визуалды ұсынудың немесе көрсетудің барлық осы әдістері келесі функциялардың бірін орындай алады: 1) модельді

құрудың иллюстрациясы (мысалы,
нейрондық желінің құрылымын (графигін) бейнелеу);
2) алынған нәтижелерді түсіндіруге көмектесу;
3) құрастырылған модельдің сапасын бағалау құралы
болып
табылады;
4) жоғарыда аталған функцияларды біріктіру (шешім
ағашы, дендрограмма).
17

18. Data Mining технологиясын қолданар алдында оның проблемаларын, шектеулерін және онымен байланысты маңызды мәселелерін мұқият

талдау керек,
сонымен қатар бұл технология не істей
алмайтынын түсіну керек.
18

19. Қойылған сұрақтарға технология жауап бере алмайды. Ол аналитикті алмастыра алмайды, тек оның жұмысын жеңілдету және жақсарту

үшін күшті
құрал береді.
19

20. Data Mining қосымшасын әзірлеу мен пайдаланудың күрделілігі Бұл технология көп салалы сала болғандықтан, Data Mining қамтитын

қосымшаны әзірлеу үшін
әртүрлі сала мамандарын тарту, сонымен
қатар олардың жоғары сапалы өзара
әрекеттесуін қамтамасыз ету қажет.
20