2.79M

Category:

software

Apache Kafka

1.

А вы Кафку
пробовали?
Apache Kafka – распределённый брокер сообщений
Григорий Кошелев
СКБ Контур
CodeFest, Новосибирск, 2019
1

2.

План
1.
2.
3.
4.
5.
Зачем нам Apache Kafka
Введение в Кафку
Архитектура
Неочевидности
Выводы
2

4.

Зачем нам Apache Kafka
- Vostok Hercules
https://github.com/vostok
4

5.

Зачем нам Apache Kafka
- Vostok Hercules
- Логи
https://github.com/vostok
5

6.

Зачем нам Apache Kafka
- Vostok Hercules
- Логи
- Метрики
https://github.com/vostok
6

7.

Зачем нам Apache Kafka
- Vostok Hercules
- Логи
- Метрики
- Трассировки
https://github.com/vostok
7

8.

Зачем нам Apache Kafka
- Vostok Hercules
-
Логи
Метрики
Трассировки
Бизнес-события
https://github.com/vostok
8

9.

Зачем нам Apache Kafka
- Vostok Hercules
- Search & Recommendation Systems (SRS)
9

10.

Зачем нам Apache Kafka
- Vostok Hercules [Kafka 2.0+]
- Search & Recommendation Systems (SRS)
10

11.

Зачем нам Apache Kafka
-Vostok Hercules [Kafka 2.0+]
-Search & Recommendation Systems (SRS) [Kafka
0.11.x]
11

13.

Блиц-опрос
Кто использует Apache Kafka?
13

14.

Блиц-опрос
Кто использует Apache Kafka?
Версия…
< 0.11?
14

15.

Блиц-опрос
Кто использует Apache Kafka?
Версия…
< 0.11?
0.11.x?
15

16.

Блиц-опрос
Кто использует Apache Kafka?
Версия…
< 0.11?
0.11.x?
1.x.x?
16

17.

Блиц-опрос
Кто использует Apache Kafka?
Версия…
< 0.11?
0.11.x?
1.x.x?
2.x.x?
17

19.

Введение в Apache Kafka
Kafka Producer
Producer
19

20.

Введение в Apache Kafka
Kafka Consumer
Producer
Consumer
20

21.

Введение в Apache Kafka
Kafka Cluster
Producer
Cluster
Consumer
21

22.

Введение в Apache Kafka
Kafka Broker
Producer
Cluster
Broker
Consumer
22

23.

Введение в Apache Kafka
Cluster
Producer
Broker
Consumer
23

24.

Введение в Apache Kafka
Kafka Topic
Producer
Cluster
Topic
Broker
Consumer
24

25.

Введение в Apache Kafka
Pub-Sub с poll-механикой чтения
Cluster
Producer
Topic
Broker
Consumer
25

26.

Архитектура Apache Kafka
-
Topic
Broker
Producer
Consumer
26

27.

Архитектура Kafka Topic
topic = {partition}
partition 0
0 1 2 3 4 5
partition 1
0 1 2 3 4 5 6 7
partition 2
0 1 2 3 4 5 6
27

28.

Архитектура Kafka Topic
topic = {partition}
partition 0
0 1 2 3 4 5 6
partition 1
0 1 2 3 4 5 6 7
partition 2
0 1 2 3 4 5 6
28

29.

Архитектура Kafka Topic
topic = {partition}
partition 0
0 1 2 3 4 5 6
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5 6 7
29

30.

Архитектура Kafka Topic
topic = {partition}
partition 0
0 1 2 3 4 5 6
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5 6 7
30

31.

Архитектура Kafka Topic
topic = {partition}
partition 0
0 1 2 3 4 5 6
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5 6 7
offset = 0
31

32.

Архитектура Kafka Topic
topic = {partition}
partition 0
0 1 2 3 4 5 6
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5 6 7
offset = 1
32

33.

Архитектура Kafka Topic
topic = {partition}
partition 0
0 1 2 3 4 5 6
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5 6 7
offset = 2
33

34.

Архитектура Kafka Topic
topic = {partition}
partition 0
0 1 2 3 4 5 6
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5 6 7
offset = 3
34

35.

Архитектура Kafka Topic
partition = {segment}
35

36.

Архитектура Kafka Topic
partition = {segment}
0 1 2 3 4 5 6 7 8 9 … … … n … … …
36

37.

Архитектура Kafka Topic
partition = {segment}
0 1 2 3 4 5 6 7 8 9 … … … n … … …
segment
37

38.

Архитектура Kafka Topic
partition = {segment}
0 1 2 3 4 5 6 7 8 9 … … … n … … …
segment
38

39.

Архитектура Kafka Topic
partition = {segment}
0 1 2 3 4 5 6 7 8 9 … … … n … … …
segment
39

40.

Архитектура Kafka Topic
partition = {segment}
0 1 2 3 4 5 6 7 8 9 … … … n … … …
base offset
40

41.

Архитектура Kafka Topic
segment = (base_offset, data, index, timeindex)
00000000001234567890.log
00000000001234567890.index
00000000001234567890.timeindex
41

42.

Архитектура Kafka Topic
segment = (base_offset, data, index, timeindex)
00000000001234567890.log
00000000001234567890.index
00000000001234567890.timeindex
42

43.

Архитектура Kafka Topic
segment = (base_offset, data, index, timeindex)
00000000001234567890.log
00000000001234567890.index
00000000001234567890.timeindex
43

44.

Архитектура Kafka Topic
segment = (base_offset, data, index, timeindex)
00000000001234567890.log
00000000001234567890.index
00000000001234567890.timeindex
log
44

Архитектура Kafka Topic
segment = (base_offset, data, index, timeindex)
00000000001234567890.log
00000000001234567890.index
00000000001234567890.timeindex
log
Index record = (relative offset, posit
45

46.

47.

48.

49.

50.

Архитектура Kafka Topic
segment = (base_offset, data, index, timeindex)
00000000001234567890.log
00000000001234567890.index
00000000001234567890.timeindex
50

51.

Архитектура Kafka Broker
cluster = {broker}
broker 1
broker 2
broker 3
51

52.

Архитектура Kafka Broker
Controller – координирует работу кластера
broker 1
broker 2
broker 3
52

53.

Архитектура Kafka Broker
topic = {partition}
broker 1
broker 2
broker 3
partition 0
partition 1
partition 2
partition 3
53

54.

Архитектура Kafka Broker
replication factor = 3
broker 1
broker 2
broker 3
partition 0
partition 0
partition 0
partition 1
partition 1
partition 1
partition 2
partition 2
partition 2
partition 3
partition 3
partition 3
54

55.

Архитектура Kafka Broker
Добавление partition
broker 1
broker 2
broker 3
partition 0
partition 0
partition 0
partition 1
partition 1
partition 1
partition 2
partition 2
partition 2
partition 3
partition 3
partition 3
partition 4
partition 4
partition 4
55

56.

Архитектура Kafka Broker
broker 1 – leader для partition 0.
broker 1
broker 2
broker 3
partition 0
partition 0
partition 0
partition 1
partition 1
partition 1
partition 2
partition 2
partition 2
partition 3
partition 3
partition 3
partition 4
partition 4
partition 4
leader
56

57.

Архитектура Kafka Broker
broker 2 – leader для partition 1
broker 1
broker 2
broker 3
partition 0
partition 0
partition 0
partition 1
partition 1
partition 1
partition 2
partition 2
partition 2
partition 3
partition 3
partition 3
partition 4
partition 4
partition 4
leader
57

58.

Архитектура Kafka Broker
broker 3 – leader для partition 2
broker 1
broker 2
broker 3
partition 0
partition 0
partition 0
partition 1
partition 1
partition 1
partition 2
partition 2
partition 2
partition 3
partition 3
partition 3
partition 4
partition 4
partition 4
leader
58

59.

Архитектура Kafka Broker
broker 3 – leader для partition 3
broker 1
broker 2
broker 3
partition 0
partition 0
partition 0
partition 1
partition 1
partition 1
partition 2
partition 2
partition 2
partition 3
partition 3
partition 3
partition 4
partition 4
partition 4
leader
59

60.

Архитектура Kafka Broker
broker 2 – leader для partition 4
broker 1
broker 2
broker 3
partition 0
partition 0
partition 0
partition 1
partition 1
partition 1
partition 2
partition 2
partition 2
partition 3
partition 3
partition 3
partition 4
partition 4
partition 4
leader
60

61.

Архитектура Kafka Broker
Репликация с лидера на другие брокеры
broker 1
broker 2
broker 3
partition 0
partition 0
partition 0
partition 1
partition 1
partition 1
partition 2
partition 2
partition 2
partition 3
partition 3
partition 3
partition 4
partition 4
partition 4
leader
61

62.

Архитектура Kafka Broker
ISR (in sync replica) – реплика, синхронизированная с
лидероbrмoker 1
broker 2
broker 3
partition 0
partition 0
partition 0
leader
partition 1
partition 1
partition 1
ISR
partition 2
partition 2
partition 2
partition 3
partition 3
partition 3
partition 4
partition 4
partition 4
62

63.

Архитектура Kafka Broker
Все реплики синхронизированы
broker 1
broker 2
broker 3
partition 0
partition 0
partition 0
leader
partition 1
partition 1
partition 1
ISR
partition 2
partition 2
partition 2
partition 3
partition 3
partition 3
partition 4
partition 4
partition 4
63

64.

Архитектура Kafka Broker
Недоступность лидера у partition 2
broker 1
broker 2
broker 3
partition 0
partition 0
partition 0
leader
partition 1
partition 1
partition 1
ISR
partition 2
partition 2
partition 2
failed
partition 3
partition 3
partition 3
partition 4
partition 4
partition 4
64

65.

Архитектура Kafka Broker
Выбор нового лидера в случае недоступности
broker 1
broker 2
broker 3
partition 0
partition 0
partition 0
leader
partition 1
partition 1
partition 1
ISR
partition 2
partition 2
partition 2
failed
partition 3
partition 3
partition 3
partition 4
partition 4
partition 4
65

66.

Архитектура Kafka Broker
Репликация с нового лидера
broker 1
broker 2
broker 3
partition 0
partition 0
partition 0
leader
partition 1
partition 1
partition 1
ISR
partition 2
partition 2
partition 2
failed
partition 3
partition 3
partition 3
partition 4
partition 4
partition 4
66

67.

Архитектура Kafka Broker
broker 1
broker 2
broker 3
partition 0
partition 0
partition 0
leader
partition 1
partition 1
partition 1
ISR
partition 2
partition 2
partition 2
failed
partition 3
partition 3
partition 3
partition 4
partition 4
partition 4
67

68.

Архитектура Kafka Broker
Синхронизация реплики с лидером после
восстаbнroоkвerл1ения
broker 2
broker 3
partition 0
partition 0
partition 0
leader
partition 1
partition 1
partition 1
ISR
partition 2
partition 2
partition 2
failed
partition 3
partition 3
partition 3
partition 4
partition 4
partition 4
68

69.

70.

Архитектура Kafka Broker
Перебалансировка лидеров
broker 1
broker 2
broker 3
partition 0
partition 0
partition 0
leader
partition 1
partition 1
partition 1
ISR
partition 2
partition 2
partition 2
failed
partition 3
partition 3
partition 3
partition 4
partition 4
partition 4
70

71.

Архитектура Kafka Producer
71

72.

Архитектура Kafka Producer
message = (key, value)
72

73.

Архитектура Kafka Producer
message = (key, value)
73

74.

Архитектура Kafka Producer
message = (key, value)
partition = murmur2(key) % partitions
74

75.

Архитектура Kafka Producer
message = (key, value)
partition = murmur2(key) % partitions // key != null
75

76.

Архитектура Kafka Producer
message = (key, value)
partition = murmur2(key) % partitions // key != null
https://ru.wikipedia.org/wiki/MurmurHash2
76

77.

Архитектура Kafka Producer
message = (key, value)
partition = murmur2(key) % partitions // key != null
partition = round_robin(partitions)
77

78.

Архитектура Kafka Producer
message = (key, value)
partition = murmur2(key) % partitions // key != null
partition = round_robin(partitions) // key == null
78

79.

Архитектура Kafka Producer
message = (key, value)
79

80.

Архитектура Kafka Producer
replica 0
0 1 2 3 4 5 6 7 8
replica 1
0 1 2 3 4 5 6 7 8
replica 2
0 1 2 3 4 5 6 7 8
80

81.

Архитектура Kafka Producer
replica 0
0 1 2 3 4 5 6 7 8
replica 1
0 1 2 3 4 5 6 7 8
replica 2
0 1 2 3 4 5 6 7 8
leader
81

82.

Архитектура Kafka Producer
replica 0
0 1 2 3 4 5 6 7 8
leader
replica 1
0 1 2 3 4 5 6 7 8
ISR
replica 2
0 1 2 3 4 5 6 7 8
ISR
82

83.

Архитектура Kafka Producer
Acknowledgement (ack) – подтверждение записи
replica 0
0 1 2 3 4 5 6 7 8
replica 1
0 1 2 3 4 5 6 7 8
replica 2
0 1 2 3 4 5 6 7 8
acks = 0
83

84.

Архитектура Kafka Producer
Acknowledgement (ack) – подтверждение записи
replica 0
0 1 2 3 4 5 6 7 8
replica 1
0 1 2 3 4 5 6 7 8
replica 2
0 1 2 3 4 5 6 7 8
acks = 0
84

85.

Архитектура Kafka Producer
Acknowledgement (ack) – подтверждение записи
replica 0
0 1 2 3 4 5 6 7 8 9
replica 1
0 1 2 3 4 5 6 7 8
replica 2
0 1 2 3 4 5 6 7 8
процесс записи
acks = 0
85

86.

Архитектура Kafka Producer
Acknowledgement (ack) – подтверждение записи
replica 0
0 1 2 3 4 5 6 7 8 9
replica 1
0 1 2 3 4 5 6 7 8
replica 2
0 1 2 3 4 5 6 7 8
процесс записи
acks = 0
86

87.

Архитектура Kafka Producer
Acknowledgement (ack) – подтверждение записи
replica 0
0 1 2 3 4 5 6 7 8
replica 1
0 1 2 3 4 5 6 7 8
replica 2
0 1 2 3 4 5 6 7 8
процесс записи
acks = 1
87

88.

Архитектура Kafka Producer
Acknowledgement (ack) – подтверждение записи
replica 0
0 1 2 3 4 5 6 7 8 9
replica 1
0 1 2 3 4 5 6 7 8
replica 2
0 1 2 3 4 5 6 7 8
процесс записи
acks = 1
88

89.

Архитектура Kafka Producer
Acknowledgement (ack) – подтверждение записи
replica 0
процесс записи
0 1 2 3 4 5 6 7 8 9
успешная запись
replica 1
0 1 2 3 4 5 6 7 8
replica 2
0 1 2 3 4 5 6 7 8
acks = 1
89

90.

Архитектура Kafka Producer
Acknowledgement (ack) – подтверждение записи
replica 0
процесс записи
0 1 2 3 4 5 6 7 8 9
успешная запись
replica 1
0 1 2 3 4 5 6 7 8
replica 2
0 1 2 3 4 5 6 7 8
acks = 1
90

91.

Архитектура Kafka Producer
Acknowledgement (ack) – подтверждение записи
replica 0
процесс записи
0 1 2 3 4 5 6 7 8 9
успешная запись
replica 1
0 1 2 3 4 5 6 7 8 9
replica 2
0 1 2 3 4 5 6 7 8 9
acks = 1
91

92.

Архитектура Kafka Producer
Acknowledgement (ack) – подтверждение записи
replica 0
процесс записи
0 1 2 3 4 5 6 7 8
успешная запись
replica 1
0 1 2 3 4 5 6 7 8
replica 2
0 1 2 3 4 5 6 7 8
acks = all
92

93.

Архитектура Kafka Producer
Acknowledgement (ack) – подтверждение записи
replica 0
процесс записи
0 1 2 3 4 5 6 7 8 9
успешная запись
replica 1
0 1 2 3 4 5 6 7 8
replica 2
0 1 2 3 4 5 6 7 8
acks = all
93

94.

95.

96.

97.

98.

99.

Архитектура Kafka Producer
Acknowledgement (ack) – подтверждение записи
replica 0
процесс записи
0 1 2 3 4 5 6 7 8 9
успешная запись
replica 1
0 1 2 3 4 5 6 7 8 9
acks = all
replica 2
0 1 2 3 4 5 6 7 8 9
min.insync.replicas = 3
99

100.

Архитектура Kafka Consumer
100

101.

Архитектура Kafka Consumer
partition 0
0 1 2 3 4 5 6 7
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5
101

102.

Архитектура Kafka Consumer
partition 0
0 1 2 3 4 5 6 7
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5
след. сообщение
102

103.

Архитектура Kafka Consumer
partition 0
0 1 2 3 4 5 6 7
след. сообщение
прочитано
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5
103

104.

Архитектура Kafka Consumer
partition 0
0 1 2 3 4 5 6 7
след. сообщение
прочитано
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5
104

105.

Архитектура Kafka Consumer
partition 0
0 1 2 3 4 5 6 7
след. сообщение
прочитано
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5
105

106.

Архитектура Kafka Consumer
partition 0
0 1 2 3 4 5 6 7
след. сообщение
прочитано
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5
106

107.

Архитектура Kafka Consumer
partition 0
0 1 2 3 4 5 6 7
след. сообщение
прочитано
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5
107

108.

Архитектура Kafka Consumer
partition 0
0 1 2 3 4 5 6 7
след. сообщение
прочитано
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5
108

109.

Архитектура Kafka Consumer
partition 0
0 1 2 3 4 5 6 7
след. сообщение
прочитано
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5
109

110.

Архитектура Kafka Consumer
partition 0
0 1 2 3 4 5 6 7
след. сообщение
прочитано
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5
110

111.

Архитектура Kafka Consumer
partition 0
0 1 2 3 4 5 6 7
след. сообщение
прочитано
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5
111

112.

Архитектура Kafka Consumer
partition 0
0 1 2 3 4 5 6 7
след. сообщение
прочитано
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5
112

113.

Архитектура Kafka Consumer
partition 0
0 1 2 3 4 5 6 7
след. сообщение
прочитано
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5
113

114.

Архитектура Kafka Consumer
partition 0
0 1 2 3 4 5 6 7
след. сообщение
прочитано
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5
114

115.

Архитектура Kafka Consumer
partition 0
0 1 2 3 4 5 6 7
след. сообщение
прочитано
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5
115

116.

Архитектура Kafka Consumer
Commit offset
partition 0
0 1 2 3 4 5 6 7
116

117.

Архитектура Kafka Consumer
Commit offset
partition 0
0 1 2 3 4 5 6 7
прочитано
117

118.

Архитектура Kafka Consumer
Commit offset
partition 0
0 1 2 3 4 5 6 7
commit offset
прочитано
118

119.

Архитектура Kafka Consumer
Commit offset
partition 0
0 1 2 3 4 5 6 7
commit offset
прочитано
119

120.

Архитектура Kafka Consumer
Commit offset
partition 0
0 1 2 3 4 5 6 7
commit offset
прочитано
120

121.

Архитектура Kafka Consumer
Commit offset
partition 0
0 1 2 3 4 5 6 7
commit offset
прочитано
не закоммичено
121

122.

Архитектура Kafka Consumer
Commit offset
partition 0
0 1 2 3 4 5 6 7
commit offset
прочитано
не закоммичено
122

123.

Архитектура Kafka Consumer
Commit offset
partition 0
0 1 2 3 4 5 6 7
commit offset
прочитано
не закоммичено
123

124.

Архитектура Kafka Consumer
Consumer Group
partition 0
0 1 2 3 4 5 6 7
commit offset
прочитано
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5
не закоммичено
124

125.

Архитектура Kafka Consumer
Consumer Group
partition 0
0 1 2 3 4 5 6 7
commit offset
прочитано
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5
не закоммичено
125

126.

Архитектура Kafka Consumer
Consumer Group
partition 0
0 1 2 3 4 5 6 7
commit offset
прочитано
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5
не закоммичено
126

127.

Архитектура Kafka Consumer
Consumer Group
partition 0
0 1 2 3 4 5 6 7
commit offset
прочитано
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5
не закоммичено
127

128.

Архитектура Kafka Consumer
Consumer Group
partition 0
0 1 2 3 4 5 6 7
commit offset
прочитано
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5
не закоммичено
128

129.

Архитектура Kafka Consumer
Consumer Group
partition 0
0 1 2 3 4 5 6 7
commit offset
прочитано
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5
не закоммичено
129

130.

Архитектура Kafka Consumer
Consumer Group
partition 0
0 1 2 3 4 5 6 7
commit offset
прочитано
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5
не закоммичено
130

131.

Архитектура Kafka Consumer
Consumer Group
partition 0
0 1 2 3 4 5 6 7
commit offset
прочитано
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5
не закоммичено
131

132.

Архитектура Kafka Consumer
Consumer Group
partition 0
0 1 2 3 4 5 6 7
commit offset
прочитано
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5
не закоммичено
132

133.

Архитектура Kafka Consumer
Consumer Group
partition 0
0 1 2 3 4 5 6 7
commit offset
прочитано
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5
не закоммичено
133

134.

Архитектура Kafka Consumer
Consumer Group
partition 0
0 1 2 3 4 5 6 7
commit offset
прочитано
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5
не закоммичено
134

135.

Архитектура Kafka Consumer
Consumer Group
partition 0
0 1 2 3 4 5 6 7
commit offset
прочитано
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5
не закоммичено
135

136.

Архитектура Kafka Consumer
Consumer Group
partition 0
0 1 2 3 4 5 6 7
commit offset
прочитано
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5
не закоммичено
136

137.

Архитектура Kafka Consumer
Consumer Group
partition 0
0 1 2 3 4 5 6 7
commit offset
прочитано
partition 1
0 1 2 3 4 5 6 7 8
partition 2
0 1 2 3 4 5
не закоммичено
137

138.

138

139.

Я
139

140.

МЫ ХОТИМ ВЫБРАТЬ
POSTGRESQL ДЛЯ
НОВОГО ПРОЕКТА…
Я
140

141.

МЫ ХОТИМ ВЫБРАТЬ
POSTGRESQL ДЛЯ
НОВОГО ПРОЕКТА…
НЕТ!
УЖЕ ЕСТЬ KAFKA!!!
Я
141

142.

МЫ ХОТИМ ВЫБРАТЬ
POSTGRESQL ДЛЯ
НОВОГО ПРОЕКТА…
НЕТ!
УЖЕ ЕСТЬ KAFKA!!!
НО У НАС ВСЕГО
100-500 RPS…
Я
142

143.

МЫ ХОТИМ ВЫБРАТЬ
POSTGRESQL ДЛЯ
НОВОГО ПРОЕКТА…
НО У НАС ВСЕГО
100-500 RPS…
НЕТ!
УЖЕ ЕСТЬ KAFKA!!!
ТОЛЬКО KAFKA!!!
И НЕЧЕГО ДУМАТЬ!!
Я
143

144.

МЫ ХОТИМ ВЫБРАТЬ
POSTGRESQL ДЛЯ
НОВОГО ПРОЕКТА…
НО У НАС ВСЕГО
100-500 RPS…
НЕТ!
УЖЕ ЕСТЬ KAFKA!!!
ТОЛЬКО KAFKA!!!
И НЕЧЕГО ДУМАТЬ!!
… И ДАННЫЕ В ОБЩЕМ-ТО
РЕЛЯЦИОННЫЕ…
Я
144

145.

МЫ ХОТИМ ВЫБРАТЬ
POSTGRESQL ДЛЯ
НОВОГО ПРОЕКТА…
НО У НАС ВСЕГО
100-500 RPS…
… И ДАННЫЕ В ОБЩЕМ-ТО
РЕЛЯЦИОННЫЕ…
НЕТ!
УЖЕ ЕСТЬ KAFKA!!!
ТОЛЬКО KAFKA!!!
И НЕЧЕГО ДУМАТЬ!!
KAFKA! KAFKA!
KAFKA!
Я
145

146.

Неочевидности в Kafka
146

147.

Неочевидности в Kafka
… или что мы пережили за год эксплуатации
147

148.

Неочевидности в Kafka
… или что мы пережили за год эксплуатации
(в очень кратком изложении)
148

149.

Настройки – Как разломать кластер
149

150.

Настройки – Как разломать кластер
log.dirs
150

151.

Настройки – Как разломать кластер
log.dirs
replica 0
0 1 2 3 4 5 6 7 8
replica 1
0 1 2 3 4 5 6 7
151

152.

Настройки – Как разломать кластер
log.dirs
replica 0
0 1 2 3 4 5 6 7 8
replica 1
0 1 2 3 4 5 6 7
152

153.

Настройки – Как разломать кластер
log.dirs
replica 0
0 1 2 3 4 5 6 7 8
replica 1
0 1 2 3 4 5 6 7
153

154.

Настройки – Как разломать кластер
log.dirs
replica 0
0 1 2 3 4 5 6 7 8
replica 1
0 1 2 3 4 5 6 7
154

155.

Настройки – Как разломать кластер
log.dirs
replica 0
0 1 2 3 4 5 6 7 8
replica 1
0 1 2 3 4 5 6 7
unclean.leader.election.enable=false
155

156.

Настройки – Как разломать кластер
log.dirs
replica 0
0 1 2 3 4 5 6 7 8
replica 1
0 1 2 3 4 5 6 7
unclean.leader.election.enable=false
KIP-106 - Change Default unclean.leader.election.enabled
from True to False (0.11)
156

157.

Настройки – Как разломать кластер
log.dirs
replica 0
replica 1
0 1 2 3 4 5 6 7
157

158.

Настройки – Как разломать кластер
log.dirs
replica 0
replica 1
0 1 2 3 4 5 6 7
158

159.

Настройки – Как разломать кластер
log.dirs
replica 0
replica 1
0 1 2 3 4 5 6 7
Брокер упал ☹
159

160.

Настройки – Как разломать кластер
log.dirs
replica 0
replica 1
0 1 2 3 4 5 6 7
https://issues.apache.org/jira/browse/KAFKA-3410
160

161.

Настройки – Как разломать кластер
log.dirs
replica 0
replica 1
0 1 2 3 4 5 6 7
(исправлено в 1.1)
https://issues.apache.org/jira/browse/KAFKA-3410
161

162.

Настройки – Настройки по
умолчанию (1)
162

163.

Настройки – Настройки по
умолчанию (1)
- default.replication.factor = 1
163

164.

Настройки – Настройки по
умолчанию (1)
- default.replication.factor = 1
- auto.create.topics.enable = true
164

165.

Настройки – Настройки по
умолчанию (2)
165

166.

Настройки – Настройки по
умолчанию (2)
- Настройки Broker, Consumer и Producer должны быть
166

167.

Настройки – Настройки по
умолчанию (2)
- Настройки Broker, Consumer и Producer должны быть
согласованы
167

168.

Настройки – Настройки по
умолчанию (2)
- Настройки Broker, Consumer и Producer должны быть
согласованы
- message.max.bytes
168

169.

Настройки – Настройки по
умолчанию (2)
- Настройки Broker, Consumer и Producer должны быть
согласованы
- message.max.bytes (Broker, 1_000_012)
169

170.

Настройки – Настройки по
умолчанию (2)
- Настройки Broker, Consumer и Producer должны быть
согласованы
- message.max.bytes (Broker, 1_000_012)
- max.request.size
170

171.

Настройки – Настройки по
умолчанию (2)
- Настройки Broker, Consumer и Producer должны быть
согласованы
- message.max.bytes (Broker, 1_000_012)
- max.request.size (Producer, 1_048_576)
171

172.

173.

Настройки – Умножение
- message.max.bytes (Broker, 1_000_012)
- max.request.size (Producer, 1_048_576)
- max.partition.fetch.bytes (Consumer, 1_048_576)
173

174.

Настройки – Умножение
- message.max.bytes (Broker, 1_000_012)
- max.request.size (Producer, 1_048_576)
- max.partition.fetch.bytes (Consumer, 1_048_576)
- batch.size (Producer, 16_384)
174

175.

176.

API – Блокирующий send
176

177.

API – Блокирующий send
- Если мета-данные не доступны – producer.send()
блокируется
177

178.

API – Блокирующий send
- Если мета-данные не доступны – producer.send()
блокируется
- max.block.ms = 60_000
178

179.

API – Блокирующий send
- Если мета-данные не доступны – producer.send()
блокируется
- max.block.ms = 60_000
- KIP-286: producer.send() should not block on metadata
update (discuss)
179

180.

API – Бесконечная десериализация
180

181.

API – Бесконечная десериализация
while(true)
{
ConsumerRecords<Key,
Event> records
consumer.poll(1_000);
for (var record : records)
{
/* do something */
}
}
=
181

182.

API – Бесконечная десериализация
try
{
/* parsing
*/
} catch (RuntimeException
e) {
throw new SerializationException(
"Error deserializing
key/value
for partition
" + partition
+
" at offset " + record.offset()
+
". If needed, please seek past the record to continue consumption.",
}
e);
182

183.

184.

185.

186.

187.

188.

189.

190.

API – Бесконечная десериализация
Наш выбор: кастомный десериализатор, который
вернёт null
в случае ошибки
190

191.

API – Бесконечная десериализация
Наш выбор: кастомный десериализатор, который
вернёт null
в случае ошибки
while(true)
{
ConsumerRecords<Key,
Event> records =
consumer.poll(1_000);
for (var record : records)
{
if (record.getValue()
== null)
{ continue; }
/* do something */
}
}
191