Архитектура GFS. Изображение с сайта labs.google.com

Google полностью переделает свою файловую систему

Google в рамках проекта Caffeine, включающего в себя оптимизацию инфраструктуры поисковика, полностью переделает файловую систему Google File System (GFS), пишет The Register со ссылкой сотрудника Google Шона Квинлана (Sean Quinlan).

Google File System была разработана в конце девяностых годов прошлого века. Ее создатели не предполагали, какую нагрузку ей предстоит выдерживать в последующие годы. Кроме того, GFS была оптимизирована для пакетной обработки данных, так как Google в первую очередь необходимо было сохранять и индексировать полученную от поисковых роботов информацию.

В спецификации GFS прямо написано, что время отклика на запрос менее важно, чем обеспечение высокой пропускной способности. Современные приложения Google, такие как Gmail и YouTube, напротив, требуют быстрого отклика на действия пользователя.

GFS состоит из главного узла и блочных серверов (master node и chunkservers соответственно). Главный узел раздает запросы к серверам, а те возвращают блоки данных. Одним из недостатков такой системы является наличие только одного главного узла. При отказе узла сервис может оказаться недоступным на долгое время. Дорабатывая GFS, разработчикам удалось сократить это время с нескольких часов до 10 секунд.

10 августа Google попросил владельцев сайтов протестировать его новый поисковый механизм. Поисковик особенно интересовали различия между нынешней и новой версией, так как алгоритм менялся незначительно, а большую часть работы заняла оптимизация механизма. Условное название проекта, который должен сделать поиск быстрее и надежнее - Caffeine. Когда новый механизм заменит старый, неизвестно.

Ссылки по теме
- Google File System II: Dawn of the Multiplying Master Nodes - The Register, 12.08.2009
- Google попросил всех желающих протестировать новый поиск – Lenta.ru, 11.08.2009

Сайты по теме
- Google