Интерфейсы

Записаться

Очень коротко об интерфейсах к NoSQL базам, поскольку у нас совершенно новые движки, но при этом данных в них много и хотелось бы все равно, чтобы пользователь имел какое-то типизированное средство работы с данными. Здесь всего несколько вариантов - это либо изменение языка SQL, так называемые SQL-like языки, и есть различные реализации с реализациями баз данных различными разрабатывается и подверсия или адаптация SQL языка, то есть имеется ввиду, что конструкции запроса похожи на конструкции SQL для того, чтобы пользователям было легко переходить и использовать свой опыт, но внутри, конечно, они реализованы совсем не так, как обработчики SQL в в реляционных базах. Естественно, есть ограничения. Чаще все ограничение заключается в том, что отсутствуют транзакции. Там, где есть транзакция, там нету вложенных запросов, большая сложность в различных реализациях с джойнами, потому что джойны подразумевают достаточно строгую структуру и типизацию данных. Внешние ключи - тоже сложность для реализации в NoSQL базах, они, бывает, реализовываются, но часто не в самом движке и третьими сторонами, либо через самописные или самонастраиваемые механизмы, то есть когда пользователь настраивает. В пределе появляются различные инициативы, которые пытаются объединить SQL-like языки, в частности в 2010 году объявляли об UnQL, то есть Unstructured QL, попытка объединить, сделать какой-то стандарт для различных реализаций. Кроме того, стандартный механизм - это механизм REST + JSON, это когда у нас любой запрос из api базы или запрос любой структуры из базы представлен в виде url, то есть какого-то адреса в определенном пространстве или с определенным протоколом, и результат возвращается виде JSON.

Для графовых баз существует тоже множество интерфейсов, которые пока не стали ни один из них стандартным, наверно, к сожалению для пользователей.

Следующий раздел, давайте поговорим о всем известно или у всех на слуху платформе Hadoop. Что это такое как, она относится к MySQL или хранилищам данных. Первое, Hadoop - это платформа. Это не хранилище, это не одна технология, это больше похоже на набор инструментов. Сам подход, сама задача появилась тогда, когда нужно было сделать большую распределенную систему, большой кластер на дешевых машинах, на тех машинах, которые могут выйти из строя, и решалась задача не потери, то есть с одной стороны - оптимизация обслуживания запросов какого-то приложения, то есть увеличение потоков параллельных исполнителей на запись или на чтение, это с одной стороны. А с другой стороны - устойчивость к потере данных на конкретных узлах данной сети, в данном кластере. Сначала данную задачу реализовывал Google, но их решение осталось внутренним, так называемая Google File System. Apache свою файловую систему распределенную HDFS вместе с платформой Hadoop сделал открытой. Первый базовый уровень платформы Hadoop - это распределенная файловая система, устойчивая к потере данных отдельными нодами и имеющая автоматическую поддержку добавления новых узлов в кластер, новых серверов.

Второй серьезный слой MapReduce - это механизм распределенной обработки и распределенного исполнения задач, дальше мы чуть подробней остановимся. И вокруг этого у нас появляются различные сервисы и интерфейсы, например табличные абстракции, табличное представление данных, которые хранятся на данной файловой системе, или это языки для аналитики программирования приложений или для формирования запросов. Zookeeper - это как раз координатор серверов, который находится в кластере. Постоянно возникают новые элементы, в том числе от различных компаний, которые выпускают Hadoop.

Чуть подробнее о распределенной файловой системе HDFS. Если очень коротко и грубо описать, то у нас есть несколько или много серверов, которые типичны и которые занимаются только хранением блоков данных, причем эти блоки дублируются, в общем случае в три раза дублируются, но это настраиваемый параметр. Когда мы теряем какой-то сервер, мы теряем не полностью данные, а всего лишь одну из трех реплик, причем кусков данных, и значит мы можем быстренько поднять две другие реплики и на какой-то из серверов разместить третью. Есть NameNode - это тот выделенный сервер, который знает, где, на каких дата нодах хранятся блоки данного запрашиваемого файла, то есть это достаточно виртуальная файла система, и NameNode отвечает именно за эту виртуализацию. Критика заключалась в том, что это и есть выделенное узкое место данного подхода, но и эту проблему решают, сейчас она это уже не один сервер, а тоже реплицирован, а раньше к этому подходили, когда действительно это узкое место, поэтому это должен быть сервер надежный, с дублированием, то есть когда мы записываем, мастер говорит на какие системы писать, и запись происходит параллельно на разные машины. То же самое, поскольку у нас репликация блоков как минимум тройная, то чтение при запросе NameNode говорит, где она расположена и читается точно также параллельно, может читаться как минимум из трех разных мест, а на самом деле больше, потому что если у вас файл большой, и он побит на 10 блоков, то эти десять блоков лежат как минимум на на нескольких машинах, поэтому читаются параллельно.

Итак, файлы хранятся виде блоков, блоки на самом деле настраиваемой величины и настоятельно те, кто пользуется данными системами, рекомендуют настраивать под свои задачи размер этого блока, блоки реплицируются для устойчивости к падению отдельных серверов, отдельных нодов, NameNode управляет метаданными о расположении блоков и файлов и появляется SecondaryNameNode - это те, которые уже содержит копию этого узкого места, DataNode - это типичный рядовой сервер для хранения.

Чуть-чуть Hive - в рамках платформы Hadoop это инструмент для абстракции к данным как таблицам, это не означает, что данные хранятся в табличном виде или что сам движок хранит эти данных табличном виде, это означает, что мы предоставляем интерфейс к этим данным, похожий на реляционный. То есть, если у нас есть достаточно структурированные данные, у нас есть возможность зафиксировать его структуру, мы можем таким образом сказать инструменту Hive об этих данных, что он будет относиться к ним как таблицам, мы получим возможность SQL-like запросов к этим данным, и при этом использовать весь свой опыт как аналитика в данной сфере. Конечно же, все эти запросы, они параллельно или распределенным образом обрабатываются при помощи механизма MapReduce.