MapReduce

Записаться

Опять же коротко, поверхностно о технологии распределенных вычислений MapReduce. Понимание о том, что можно достаточно много выиграть для производительности системы, если представлять свою обработку данных в виде двух компонент MapReduce появилась от того, что, когда мы говорим про большие данные, мы понимаем, что многие данные не зависят друг от друга и на каком-то этапе обработки даже промежуточные результаты, полученные на независимых кусках, тоже независимы. Есть стадия, когда у нас промежуточные результаты или какая-то обработка возможна независимо на конкретных блоках, частях, подмножествах данных и есть одна часть, где нужно свести результаты, где они взаимозависимы. Первая часть называется Map, то есть распределить по ресурсам, и вторая часть Reduce. Сработала эта технология именно потому, что для обработки в данном случае, если операция Map исполняется на той машине, на которой хранятся данные, мы убираем необходимость данные перемещать, то есть мы уходим от самого главного ограничения связями между серверами. Это вторая вещь, которая сделана в MapReduce стандартным образом. Это первый уровень абстракции, есть еще чуть более усложненный, когда мы говорим, что перед операцией Reduce сведение наших промежуточных результатов один, есть еще промежуточные операции, операция Reduce может делаться в два этапа.

Мы говорим, что Map и Reduce операции работают с типами данных ключ-значение, операция Map берет на вход параметры ключ-значение, возвращает список или множество таких пар ключ-значение, но уже других. Операция Reduce берет множество таких пар, объединяет их по ключу и выдает список самих значений. В конечном итоге, список самих значений, может появиться всего одно значение.

Типичный пример, на котором представляют понимание технологий MapReduce - это подсчет слов в тексте, который распределен на многих машинах. Операциям Map в данном случае состоит из того, что мы получаем на вход, то есть мы получаем команду выдать количество каждого слова на данном узле. Данная информация входит в центр, здесь информация с разных узлов объединяется в центр, объединяется по ключу, то есть по слову и суммируется значение количества слов на каждом из узлов.

Итак, заключение по данной части. Мы говорим, что NoSQL - это новый подход в технологии хранения данных, он ориентирован на распределенные хранения, он предполагает выбор пользователя. Кроме распределенной, какое он еще свойство, либо доступность, либо целостность данных выбирает, в целом NoSQL системы удовлетворяют GS архитектуре. Плюсы, которые сулят NoSQL всем пользователям - это эластичное масштабирование, то есть мы можем добавлять узлы и при этом прирост нашей производительности или наших возможностей будет линейным, с ростом количества наших узлов в облаке или в кластере. Уменьшение объема администрирования. Что такое администрирование, это в первую очередь борьба за надежность, многие механизмы обеспечения надежности, в частности репликация, восстановление, сбой после восстановления и так далее, они реализованы автоматом в системах, это конечно значительно уменьшает объем администрирования. Улучшаются экономические показатели, самый простой пример - это сравнение бесплатно распространяемых NoSQL решений с лицензиями на кластерные решения для реляционных баз данных известных производителей, но и сама поддержка, мы понимаем, что сама стоимость пользования в данном случае меньше. Гибкие модели данных, требования времени и в общем-то перспектива, что данных все больше у нас неструктурированных.

Факторы, которые сдерживают проникновение NoSQL — это, в первую очередь, нет устоявшейся модели программирования, до сих пор производится поиск, разработчики и пользователи ищут, как им получить ту же производительность или ту же сложность аналитики, которые они могли получить на традиционных системах. Нет поддержки транзакций, и это упущение для тех сервисов, которые в них нуждаются, а таких сервисов много, это до сих пор банковская сфера, финансовая сфера, документооборот, это те приложения, которые требуют целостности и согласованности данных на очень высоком уровне, а, значит, и требования транзакций. Степень зрелости - это о том, что решения NoSQL выходят еще достаточно часто, они до сих пор устраняют какие-то баги или узкие места в своих системах. Поддержка тоже еще недостаточно реализована так, как у коммерческих систем реляционных баз данных, и, естественно, компетентность самих пользователей, то есть понятно, что пока технология молодая, все пользователи находятся в состоянии одновременно и учеников, и исследователей, они учатся использовать данную систему. На этом спасибо. По данным ссылкам вы можете получить дополнительную информацию.