Распределенная файловая система: описание, характеристики, преимущества

Опубликованно 20.03.2019 09:40

Распределенная файловая система выступает в качестве особой системы, которая выполняет доступ к файлам в сети, что позволит обеспечить доступность и целостность данных в большинстве компьютеров сервера. Аналог платформы сети считается традиционной файловой системы местного управления, запоминающих устройств, установленных на ПК. Основы сетевой базы данных

Эти элементы относятся к файловым системам, и обеспечивает доступ к данным на серверах. С его мощный пользователь имеет возможность сформировать отрицательный, а файловой системе. Включает в себя ряд инструментов для серверов.

Распределенные файловые системы (РФС) позволяют зеркалирование, репликация и резервное копирование базы данных на любой из дисков, что позволяет разработчику редактировать свои собственные файлы, восстановить или сохранить параметры.

Есть несколько РФС, которые отличаются в приложения, интерфейса и протокола, а также различных функций, таких как кэширование журнала, многоканального использования в локальной сети. Поскольку пропускная способность распределенных файловых систем для кластеров крайне низким, эти приложения имеют специальную систему со скоростью передачи данных более 100 МБ/с. это, в частности, глобальной системы (GFS) и показал всей системы (GPFS).

РФС иерархически структурированной и имеет логику в соответствии с их именами. Это сетевой протокол, который позволяет пользователям получить доступ к файлам, не зная расположения сервера. Центральная структура дерева, что упрощает поиск файлов, в всей компании. Сохраняются избыточные и полностью доступны даже в случае сбоя основного жесткого диска. В более широком смысле под РФС означает сетевой протокол для доступа к файловой системе.

Вот некоторые примеры: Сетевая файловая система (NFS). Файловая система Интернета (CIFS), расширение блока сообщений сервера (SMB). Протокол презентации Apple Filing Protocol (AFP) и Apple. Протокол NetWare (NCP), Novell.

Известных реализаций РФС являются: DFS в Windows Microsoft. Распределенная файловая система со стандартом Microsoft для операционных систем сервера. Она впервые появилась в Windows NT4 и был отправлен с Windows 2000 Server. В Windows Server 2003 на сервер были добавлены усовершенствования, например, несколько корней DFS. AFS Andrew File System, для которых есть несколько производителей в рамках проекта "Распределенная среда". DCE Консорциума Open Group в качестве дальнейшего развития для AFSCoda, разработанный в Университете Карнеги-Дыни. BeeGFS / FhGFS для кластеров и приложений HPCGlusterFS, для всех POSIX-совместимыми операционными системами. Файловая система Hadoop обеспечивает объекты, устройства и хранения файлов, часть ядра Linux, GNU LGPL.XtreemFS, отказоустойчивая РФС с POSIX совместимой с интерфейсом. У файловой системы Google (GFS, GoogleFS) Google на базе Linux, оптимизированная для высокой производительности данных.

Сравнение распределенных файловых систем.

Услуги и тип системы услуг

Эта система обеспечивает следующие услуги: Услуги хранения на. Распределение и управление пространством на устройстве хранения данных, обеспечивая тем самым логику типа системы хранения. Истинный обслуживание файлов. Включает в себя семантику совместного использования файлов, механизм кэширования, репликации, управления параллелизмом, протокол копирования несколько копий. Услуги имя каталога. Несет ответственность за любые действия, связанные с каталог: создание и удаление каталогов, чтобы добавить новый файл в каталог, удаление каталога, переименовать, переместить из одного каталога в другой.

Необходимые функции РФС: "Прозрачность". Отзывы на dfs DFS не должны знать номер или место, файловых серверов и устройств хранения данных. Многие файловые серверы обеспечивают производительность, масштабируемость, надежность и прозрачность доступа. Как локальные, так и удаленные, файлы должны быть доступны таким же образом. Система должна автоматически найти доступные и вставить его на сайт клиента. Имя файла не должен указывать на местоположение файла. Не следует изменять при переходе от одного сайта к другому. Если файл реплицируются на несколько узлов, тем, иметь несколько копий, и их расположение должны быть скрыты от клиентов. Мобильность автоматически запускает пользовательскую среду, например, в домашний каталог пользователя на сайте, включает в себя. Производительность труда измеряется как среднее время, необходимое для удовлетворения запросов клиентов. Это время включает время ЦП + время доступа для второй склад + время доступа к сети. Желательно, чтобы производительность распределенной файловой системы Windows была сопоставима с производительностью от централизованной системы. Интерфейс системы прост, тем не менее, количество команд должно быть, как можно меньше. Масштабируемость, рост узлов, и пользователи не должны серьезно нарушать службу. Высокая доступность РФС должен работать в условиях частичных ошибок, таких как ошибки связи, узла или агрегата, и должен иметь набор файловых серверов, управляющих различными устройствами хранения данных. Высокая надежность. Вероятность потери данных, которые хранятся, должны быть сведены к минимуму. Система должна автоматически создавать резервные копии важных файлов. Целостность данных гарантирует, параллельно запросы от нескольких пользователей, которые конкурируют за доступ и должны быть правильно синхронизированы с использованием механизма управления несколькими способами. Пользователи должны быть уверены, что конфиденциальность ваших данных. Неоднородность РФС, должен иметь легкий доступ к общим данным для различных платформ, например, Рабочая станция Unix, платформы Wintel и другие. Модель передачи данных на уровне устройства

В файловых системах, которые используют модель кэширования данных, важной проблемой проектирования является выбор единиц передачи данных. Это относится к доле файла, который передается и формируется отзывы в результате операции чтения или записи.

В модели передачи файлов, когда данные должны быть переданы, все, файл перемещается. Преимущества модели: Файл должен быть вручен только один раз, в ответ на запрос клиента и, таким образом, является более эффективным, чем передача страницы и страницы, что требует большего количества сетевых протоколов. Снижает нагрузку на сервер и трафик сети, так как она обращается к серверу только один раз. Это улучшает масштабируемость. Когда весь файл хранится в кэше клиента на сайте, он не застрахован от ошибки сервера и сети.

Недостатки модели: Требуется достаточно места для хранения в машине клиента. Этот подход не подходит для очень больших файлов, особенно когда клиент запущен на рабочей станции без жесткого диска. Если требуется только небольшая часть файла, перемещать весь файл, это расточительство. Передача файлов происходит в блоках. Он их доступны смежные с одной стороны, и имеет фиксированную длину, а также может быть равным размеру страницы виртуальной памяти.

Для модели переноса блока переноса-это один байт. Модель обеспечивает максимальную гибкость, поскольку она позволяет сохранять и извлекать произвольный объем файла, заданного перемещения в помещении и длина. Недостатком является то, что управление кэш-это более сложно из-за данных переменной длины для различных запросов доступа.

Модель передачи данных на уровне записей, используется в структурированных файлов, и блок передачи, является регистрация. Несколько пользователей могут получить доступ к файловым. Важной проблемой проектирования для любой файловой системе, - это определить, когда файлы данных, произведенные пользователем, наблюдаются и другие пользователи. Форма и расположение кэша

Каждый распределенная файловая система Windows использует свой способ кэширования.

Причины создания кэша: Лучший выход, поскольку неоднократные обращения к тем же данным, обрабатываются дополнительные сети доступа и диск усилителем. Это связано деревне в модели доступа к файлам. Облегчает масштабируемость и надежность РФС, поскольку данные могут быть удаленно кэшируются на клиентском сайте.

Основные решения, которые должны быть приняты в схеме кэширования файлов РФС: Расположение кэша. Изменения распределения. Проверка кэша.

Расположение кэша указывает на место хранения данных в кэш-памяти. Если предположить, что исходное расположение файла находится в жестком диске вашего сервера. В РФС есть несколько возможных мест для кэш-памяти: Основная память сервера. В этом случае кэш-памяти находит доступ к сети. Это не облегчает масштабируемость и надежность системы, поскольку каждая из кэша кнопку необходим доступ к серверу. Преимуществами метода является его простота реализации, прозрачности для клиентов, простота сохранения исходного файла в кэше. При использовании клиента кэша диска падает на доступ к диску. Это немного медленнее, что наличие кэш-памяти в основную память сервера. Преимущества распространения файловых систем в случае использования клиентом устройства обеспечивает надежность решений, а также изменений данных в кэш теряется при возникновении ошибки. Этот вариант является большой емкости, что облегчает масштабируемость и надежность, поскольку кэш удаленного запроса доступа можно выполнить обслуживание локально без доступа к серверу. Изменения распределения

Если кэш находится в узлы clients, файл данных могут храниться в кэш-памяти на нескольких сайтах. Возможно, что кэши являются непоследовательными, когда данные файла изменятся, и что данные, хранящиеся в кэш-памяти, в других местах, не изменяются и не удаляются.

Есть две проблемы с дизайном: Когда распределение изменения, внесенные в данные, хранящиеся в кэше файлового сервера. Проверка данных, хранящихся в кэш-памяти.

Схема распределения изменение оказывает критическое влияние на производительность и надежность системы.

Метод "Схема из журнала" применяется в случаях, если запись кэша изменяется, новое значение немедленно отправляется на сервер для обновления главного файла. Преимущество метода - высокая степень надежности и пригодности для UNIX-подобной семантикой. Это связано с тем, что риск обновления утерянных данных в случае отказа клиента, является очень низкой, потому что каждое изменение сразу же отправляется на сервер, который содержит основную копию.

Недостатком этой схемы является адекватной, только когда соотношение чтения к записи, достаточно высокий. Не уменьшает сетевой трафик для записи. Это связано с тем, что каждый доступ на запись должен ждать, пока данные записываются в главную копию сервера. Схема с задержкой записи

Для уменьшения сетевого трафика для записи, используется схема с задержкой записи. В этом случае, новое значение данных записывается только в кэш-памяти и обновленных записей кэша посылаются на сервер позже.

Есть три используемых подхода с задержкой записи: Вход вытягивать из кэша. Измененные данные в кэше на сервер отправляются только тогда, когда политика замены кэша, решил извлечь из кэша данных. Это может привести к хорошей производительности, но может возникнуть проблема надежности, потому что некоторые данные от сервера стареют в течение длительного времени. Периодической записи. Кэш периодически, и из кэша все данные, которые были изменены с момента последнего сканирования, на сервер отправляются. Закрытие. Изменение данных в кэш отправляется на сервер, когда клиент закрывает файл. Это немного помогает в снижении сетевого трафика для файлов, которые открыты в течение очень коротких периодов времени или редко меняются.

Преимущества схемы с задержкой ввода: Регистрация доступа является более быстрым, так, что новое значение записывается только в кэш-памяти клиента. Это приводит к увеличению производительности труда. Измененные данные могут быть удалены, прежде чем пришло время отправить их на сервер, например, временные данные. Поскольку изменения не должны распространяться на сервере, это ведет к наращиванию производительности. Сборник всех обновлений, файлы и отправить их на сервер, более эффективны, чем отправка каждого обновления отдельно.

Отсутствие схемы задержки записи для надежности еще может быть проблематичным, потому что изменения, не отправленные на сервер клиентского кэша будут потеряны. Репликация, как механизм доступности

Высокая доступность играет роль хорошего распределенной файловой системы, и репликации файлов является основным механизмом улучшения доступности файлов.

Репликация файл-это файл, который имеет несколько копий, каждая из них на отдельном сервере.

Разница между репликация и кэширование Реплики файл, связанный с сервером, в то время, что любят копии, как правило, связан с клиентом. Наличие копии в кэше, в первую очередь, зависит от расположения в модели доступа к файлам, в то время как присутствие реплики, в общем, зависит от требований к доступности и производительности. По сравнению с любят копии реплика является более постоянным, является широко известной, безопасной, доступной, полной и точной. Копия в кэше зависит от реплики. Только путем регулярной проверки в отношении репликации может быть полезным, которым копирования.

Преимущества репликации: Повышение доступности. Альтернативные копирования реплицированных данных можно использовать, если основная копия не доступна. Повышение надежности. Из-за наличия избыточных файлов данных в системе, делает возможным восстановление внезапных отказов, например, сбой жесткого диска. Улучшено время отклика. Он позволяет получить доступ к данным локально или из узла, в котором время доступа меньше, чем время доступа к первичной медико-санитарной помощи копирования. Сокращение сетевого трафика. Если реплика файл доступен на файловом сервере, который находится на сайте клиента, запрос на доступ, клиент может быть обслужен локально, что приводит к уменьшению сетевого трафика. Повышает производительность системы. Несколько запросов от клиентов доступа к файлам, они могут работать одновременно на разных серверах, что приводит к увеличению пропускной способности системы. Улучшенная масштабируемость. Для удовлетворения запросов клиентов доступно несколько серверов, из-за репликации файлов. Это улучшает масштабируемость. Настройка работы клиента при отключении

Частой проблемой в работе системы DFS сообщение "Отключен клиент dfs DFS". У Microsoft есть решение этой проблемы, для этого нужно включить клиент и сервер, например, Windows Server 2012 R2.

Алгоритм действий: Открыть "Диспетчер серверов" и выбрать "Управление DFS", на вкладку "Инструменты" и, если пользователь не может найти то, что нужно добавить функцию пространства имен DFS. Нажмите с помощью мыши, и выбрать "Нового пространства имен", мастер запустится. Указать имя хоста, называть пространство имен dfs DFS. Нажмите кнопку "Создать", и пространство имен DFS. Включают общие папки в DFS. Выбрать пространство имен и щелкните папку, "New Folder". Объединение нескольких папок в одну виртуальную папку. Можно увидеть, был создан путь " Domain_NameNamespace_NameVirtual_folder_name. После этого сообщения "служба распределенной файловой системы не установлен", больше сделать не. Система для совместного использования ресурсов сети в linux

NFS общей файловой системы для совместного использования ресурсов сети. Самая распространенная версия, NFS v2. Это распределенная файловая система Linux ведет себя как верхний уровень локальной файловой системы. Доступ к удаленным файлам через вызовы процедур (RPC). Он не заботится о состоянии сервера, доступной или недоступной, и редко используется технология кэширования файлов. Кроме того, безопасность этой системы основана на доверии клиента. По сути, это идентификатор клиента, который передается знание прав доступа к ресурсам.

NFS v3 - это эволюция, NFS, и в настоящее время используется в современной запатентованной Unix, заполняя пробелы последнего. Такое определение распределенной файловой системы, конструкция позволяет хранить файлы большого размера, с размерами 2 64-разрядной мощности, так как проверить права доступа на сервере. Могут быть основаны на традиционных аутентификации Unix или использовать дополнительную проверку подлинности, таких как Kerberos. Версия обеспечивает возможность записи данных в асинхронном режиме, что дает лучшую производительность. Тем не менее, большинство других операций остаются синхронными. Поддержка NFS v3 в настоящее время находится в стадии экспериментального ядра Linux, и является очень эффективным. Эту шутку поместить в хранилище

Ceph-это программное обеспечение, предназначенное для обеспечения масштабируемого объекта, блок управления и хранения данных в системе. Кластеры хранения распределенной файловой системы Ceph предназначен для работы на компьютере с помощью алгоритма, CRUSH, чтобы обеспечить равномерное распределение данных категории b, то все узлы кластера могут получить данные быстро, без каких-либо централизованных узких мест.

Ceph доступна через Amazon Simple (S3) и OpenStack Swift (REST) в основе интерфейса программирования приложений, и родной API для интеграции с приложениями программного обеспечения. В блок, хранилище Ceph использует блокировки, виртуальный диск может быть подключен к серверам на базе Linux и виртуальных машин с открытым исходным кодом. Уверен, независимое хранилище распределенных объектов Ceph (RADAR) обеспечивает возможность хранения блоков, таких как снимки и репликацию.

Поместить устройство Ceph RADAR комплексной работы в качестве задней части блока хранения OpenStack. Хранение файлов Ceph использует совместимый с POSIX файловая система CephFS (CephFS) для хранения данных в кластере хранилища Ceph. CephFS использовании одной системы кластера, что склад блоков Ceph и хранилище объектов Ceph. Преимущества распределенной файловой системы

Технически обеспечивает доступ к каталогу, который не содержит файлы, и только переходы, так и дополнительные в подкаталог с большим количеством переходов. Переходы похожи мягкой ссылки, как известно из файловых систем Unix, но они относятся к общим каталогам и могут указывать на общие каталоги на другие серверы. Во-первых, клиенты обращаются к серверу DFS для подключения, а затем обращаются к файлам на сервере, на который указывает этот бесплатный.

Основная задача использования распределенной файловой системы DFS - создать альтернативное пространство имен (в дереве каталогов), которая скрывает детали базовой инфраструктуры для пользователей. Пути, которые пользователи просматривают и имен DFS, не изменяются при изменении имени сервера или переместить каталоги на другой сервер.

Администраторы могут просто заменить устаревшую новое имя, что указывает на новую цель. Имя можно указать более одной цели, то есть, предложить клиенту несколько вариантов подключения для разных папок. В этом случае клиенты dfs DFS могут иметь доступ к какой-либо цели. Это обеспечивает баланс нагрузки и переход на другой сервер, при сбое одного из серверов.

Благодаря DFS, нет более строгого соединение с сервером / общие ресурсы. Память представлена в виде группы большой потенциал, и за ними находятся системы файлы, скрытые для пользователя. На самом деле, это невероятно удобный инструмент для решения растущих требований к файловой системы было выделено диск памяти новых серверов, в зависимости от требований к доступности.

Технология, аналогичная технологии, Windows DFS, выгодно для любой компании, большой и малый. Для крупных компаний, компенсируется за внешний вид, большую гибкость в использовании ресурсов хранения. Потому, что все диски являются частью виртуальной памяти, уже не в переполненных дисков и матриц.

Чем меньше компания, тем не менее, ценят стандартизации управления. Благодаря их ограниченные ресурсы, трудно следовать полных серверов, обновить ее большие диски и распределять пространство между приложениями.

DFS-это не пространство для хранения данных таким образом, что пользователи и приложения они хотят видеть, потому что все, что существует на самом деле. И потому, что сервер и клиентский компонент, являются неотъемлемой частью операционной системы Windows, процесс установки и настройки требует усилий со стороны администратора и практически не влияет на работу пользователей.

Разработчики включили в комплексное управление dfs DFS Windows, консоль предоставляет единую точку контроля для различных систем корня DFS. Графические инструменты, которые облегчают анализа и надзора. Управление возможно даже на веб-сайтах. Автор: Иван Фролов 7 Декабря 2018 года 0 комментариев Показать: Новые Новые Популярные Рассматриваются

Выйти

:) ;) :( :p :] :o :D :-/ :-$ <3 ? Войти через социальные сети:

Анонимный ? Вы действительно хотите удалить комментарий? Удалить ? Причина жалобы Нежелательная реклама или спам Материалы сексуального или порнографического Дискриминационные высказывания или природа содержание Оскорбление или угроза Сообщить Сообщить Комментировать

Категория: обо всём