Google Bigtable: обзор и возможности

1.

Google Bigtable: Обзор и
возможности
Google Bigtable — это масштабируемая распределённая колоночная
СУБД, разработанная для хранения и обработки огромных объёмов
данных с высокой производительностью. Основанная на опыте
Google, Bigtable поддерживает проекты с большими нагрузками и
используется в таких продуктах, как поисковая система и аналитика.
В этой презентации подробно рассмотрим историю, архитектуру,
области применения Bigtable, а также покажем, как развернуть
локальный эмулятор и использовать его для эффективных
демонстраций.

2.

Что такое Google Bigtable и его история
Основные сведения
Области применения
Bigtable была представлена Google в 2006 году как
Поисковые системы и индексирование
распределённая колоночная база данных,
Аналитика и обработки потоковых данных
Интернет вещей и обработка временных рядов
Хранилища больших данных
оптимизированная для обработки огромных объёмов
неструктурированных данных. Bigtable поддерживает
огромные таблицы с триллионами строк и миллионами
столбцов.

3.

Архитектура Google Bigtable:
основные компоненты
Master Server
Управляет метаданными, координирует Tablet Servers и распределяет нагрузку.
Tablet Servers
Обрабатывают чтение и запись данных в участках таблицы, называемых tablet’ами.
Storage System (Bigtable SSTables)
Данные хранятся в несменяемых сегментах SSTable, обеспечивающих быструю
запись и чтение.
Zookeeper
Используется для синхронизации и управления состоянием кластера.

4.

Отличия Bigtable от других СУБД
Отличия от реляционных БД
Преимущества перед NoSQL системами
Не поддерживает сложные JOIN и транзакции ACID
Оптимизирована для горизонтального
масштабирования
данных
Гибкая модель с временными метками для
версионирования
Хранит данные в виде колоночных семейства, а не в
строках
Высокая производительность при больших объёмах
Интеграция с Google Cloud и экосистемой обработки
данных

5.

Принцип хранения данных в
Bigtable
Строки с уникальными
ключами
Семейства столбцов
Каждая строка
группируются в семейства
идентифицируется
столбцов, что упрощает
уникальным ключом,
управление и сжатие.
Данные логически
который влияет на
расположение данных и
распределение по tablet'ам.
Версионирование по времени
Для каждого значения хранится временная метка, позволяющая
получать исторические версии данных.

6.

Как развернуть локальный
эмулятор Bigtable: инструкция
Установка
Скачайте и установите Google Cloud SDK, затем включите компонент
эмулятора Bigtable.
Запуск эмулятора
Выполните команду для запуска эмулятора локально с настройкой
порта и параметров.
Подключение клиента
Настройте переменные окружения для SDK и библиотеки клиента на
работу с локальным эмулятором.
Демонстрация
Пошагово создайте таблицу, добавьте, прочитайте и удалите данные
через клиентский код.

7.

Практические возможности для демонстрации
Bigtable
Создание и управление
таблицами
Запись и чтение данных
Использование фильтров
Высокопроизводительные
Настраиваемые фильтры для
Добавление, изменение, удаление
операции записи и выборки с
выборок по временным меткам,
таблиц и управляющих
использованием ключей строк и
столбцам и значению данных.
параметров семейства столбцов.
диапазонов.

8.

Главные преимущества Bigtable перед другими
базами данных
Масштабируемость
Обеспечивает линейное
Высокая производительность
1
2
масштабирование с ростом нагрузки без
способность для операций чтения и
снижения производительности.
записи.
Безопасность и Надёжность
Поддержка шифрования, резервного
копирования и отказоустойчивости.
Низкая задержка и высокая пропускная
Интеграция с Google Cloud
4
3
Бесшовная работа с BigQuery, DataFlow и
другими сервисами Google Cloud.

9.

Выводы и ответы на часто задаваемые вопросы
Кому подходит Bigtable?
Как обеспечить высокую
доступность?
Можно ли использовать
локально?
обрабатывать большой объём
Используйте репликацию
Да, через эмулятор Bigtable для
временных или
данных и интеграцию с
тестирования и разработки без
неструктурированных данных.
системой аварийного
подключения к облаку.
Проектам с необходимостью
восстановления Google Cloud.

10.

Следующие шаги и ресурсы
для изучения Bigtable
Освоить основы
Пройти официальные учебные курсы Google и ознакомиться с
документацией Bigtable.
Практиковать с эмулятором
Развернуть локальный эмулятор, создать свои таблицы и настроить
основные операции.
Интегрироваться с экосистемой
Изучить взаимодействие Bigtable с другими инструментами Google
Cloud, такими как Dataflow и BigQuery.
Применять в проектах
Начать внедрение Bigtable в реальные приложения с учётом
особенностей и преимуществ базы.