Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерной ФС, opennews (??), 23-Мрт-24, (0) [смотреть все] Не могу понять как файловая система может называться кластерной если File locki, Аноним (1), 23:03 , 23-Мрт-24, (1) +7 // С локами был бы дольше доступ, Карлос Сношайтилис (ok), 00:54 , 24-Мрт-24, (4) // Жиденькое оправдание У NFS сетевой лок отключается опцией монтирования , Аноним (5), 01:02 , 24-Мрт-24, (5) +1 Что интересно, это что как раз автор и сказал, что существующие проекты не подош, Всем Анонимам Аноним (?), 15:31 , 24-Мрт-24, (34) +1 Если вчитаться, то там много файлов тоже нельзя хранить пока Оно сделано в осно, Всем Анонимам Аноним (?), 17:03 , 24-Мрт-24, (39) // Ну вот с этой версии как раз можно не только к VMware подключать, но и просто к , Antilles (?), 17:59 , 24-Мрт-24, (40) +1 но э у вмвари собственная sds И - что характерно - не экспериментальная и , нах. (?), 16:53 , 25-Мрт-24, (53) // и стоит мешок бабла, vitalif (ok), 23:38 , 25-Мрт-24, (69) Те кто купили вмварь с extended support - даже и не заметят этот мешок к тому, нах. (?), 01:43 , 26-Мрт-24, (83) Basically, you can t use the software in a proprietary environment to provide i, Васян из васяна (?), 23:26 , 23-Мрт-24, (2) +4 // Зачот Все бы так делали , Аноним (5), 23:45 , 23-Мрт-24, (3) +5 Basically, you can t use the software in a proprietary environment Вот тут надо , нах. (?), 01:24 , 24-Мрт-24, (7) –1 // То есть вариант purchasing a commercial license from the author товарищЪ Н И Щу, Аноним (5), 01:32 , 24-Мрт-24, (9) +2 // Конечно нет - кому нужна коммерческая лицензия на неведомое г-но, используемое н, нах. (?), 01:37 , 24-Мрт-24, (10) История продаж компании Microsoft говорит, что много кому , Аноним (5), 02:57 , 24-Мрт-24, (14) +3 Именно что история Как у этого продукта с историей Есть чем похвастаться Може, Аноним (17), 05:16 , 24-Мрт-24, (17) У мелкософта всё это есть, но стали ли от этого его продукты менее г То-то и оно, Аноним (5), 16:16 , 24-Мрт-24, (36) –1 А если это не для продаж, а для личного развития , Аноним (49), 11:58 , 25-Мрт-24, (49) Ты действительно думаешь, что кому-то кроме тебя интересен твой локалхост Тут у, Аноним (17), 20:46 , 25-Мрт-24, (56) Достаточно много внедрений Просто СХД 8212 самая консервативная область в ИТ, Аноним (64), 22:36 , 25-Мрт-24, (64) Гениально Вот бы Линус Торвальдс так запретил использовать ядро Linux в свое вр, Аноним (13), 02:40 , 24-Мрт-24, (13) +3 // возможно тогда я бы сейчас не писал с нота под линухой, а жрал бы какую-нибудь в, penetrator (?), 08:50 , 24-Мрт-24, (18) +1 // Не, ну ноут-то с 6ешплатное-взять-взять ты бы мог использовать насчет стабильно, нах. (?), 10:13 , 24-Мрт-24, (20) Он ярый противник GPL3 и предпочитает GPL2, kvaps (ok), 09:02 , 24-Мрт-24, (19) // Не надо перевирать Линукс не ярый противник GPL3 Ему говорили Переведи ядро , Аноним (-), 12:13 , 24-Мрт-24, (26) +1 // Самая главная проблема там, это то, что ядро под GPLv2 без плюса А это значит, , Аноним (38), 16:20 , 24-Мрт-24, (38) И без передачи прав дяде И это единственное почему толстячки ваш линукс никак н, _ (??), 00:45 , 25-Мрт-24, (44) –1 Просто он понимает, что не надо пилить сук на котором сидишь , Минона (ok), 22:18 , 24-Мрт-24, (41) Он просто занет что с ними делать С Порудчик, _ (??), 00:46 , 25-Мрт-24, (45) есть примеры продуктива , Аноним (21), 10:45 , 24-Мрт-24, (21) +1 // Облако МТС , Аноним (22), 11:12 , 24-Мрт-24, (22) –1 // Там была варя - А вот если бы был витастор , vitalif (ok), 13:03 , 24-Мрт-24, (30) // таки пример продуктива то есть , Аноним (87), 09:16 , 26-Мрт-24, (87) есть, как раз у автора оператора например , vitalif (ok), 13:03 , 24-Мрт-24, (29) // Указанный в статье оператор с прошлого лета не подаёт признаков жизни , Аноним (5), 16:17 , 24-Мрт-24, (37) +1 ответить на скрытый коммент не могу в общем, оператор используется в проде, воз, vitalif (ok), 23:54 , 24-Мрт-24, (43) +1 автора оператораничо не понял, Аноним (87), 09:17 , 26-Мрт-24, (88) // автор k8s-оператора Antilles который , vitalif (ok), 11:24 , 26-Мрт-24, (93) В переводе на общепонятный если ты - маленький стартап, вся ценность которого в, YetAnotherOnanym (ok), 12:25 , 24-Мрт-24, (27) –1 // Есть и вторая опция - , vitalif (ok), 13:02 , 24-Мрт-24, (28) // нету Очередь желающих занести вам мешок денег за вторую опцию уже выстроилась , нах. (?), 13:58 , 24-Мрт-24, (31) –2 // Ну выберут и выберут, можно подумать с GPL встали бы в очередь Завоевать популяр, vitalif (ok), 23:08 , 24-Мрт-24, (42) В очередь нет, на покрутить-поиграться - взяли бы, наверное черная метка русск, нах. (?), 09:54 , 25-Мрт-24, (47) разработчик - неведомые васяныне васяны, а виталики - , Аноним (87), 09:19 , 26-Мрт-24, (89) ценности этот пучок скриптов для корпов не представляет никакой Но он ценность , нах. (?), 14:01 , 24-Мрт-24, (32) Написано на C , уважуха , Аноним (38), 16:14 , 24-Мрт-24, (35) Если нет поддержки блокировок - это всё Для реального кластера - OCFS2, других в, Tron is Whistling (?), 08:37 , 25-Мрт-24, (46) +1 // это еще не все, напоминаю - https lizardfs com wp-content uploads Cases Tinkof, нах. (?), 09:58 , 25-Мрт-24, (48) Вернее если не предусмотрено место, в которое можно добавить код нужной функцио, Аноним (49), 12:02 , 25-Мрт-24, (50) –1   // извините, пройдите на-й никто за авторов не будет ничего добавлять Потому что , нах. (?), 13:06 , 25-Мрт-24, (51)   Тут всё гораздо хуже если нет блокировок, значит необходимая для них синхрониза, Tron is Whistling (?), 22:10 , 25-Мрт-24, (61)   // Там смотрю оно через NFS вывернуто То есть в качестве обеспечения когерентности, Tron is Whistling (?), 22:36 , 25-Мрт-24, (65)   Хм, ну да, единственный трабл это page cache конечно Ну типа если писать-читать, vitalif (ok), 23:34 , 25-Мрт-24, (68)   И даже с O_DIRECT может не быть когерентности, потому что кто-то решил почитать , Tron is Whistling (?), 23:41 , 25-Мрт-24, (70)   - Нода A прочитала блок, он попал в кеш- Нода Б отправила блок на запись, он поп, Tron is Whistling (?), 23:42 , 25-Мрт-24, (71)   Не, если пишут и читают с O_DIRECT, то всё железобетонно синхронно будет, по кра, vitalif (ok), 23:42 , 25-Мрт-24, (72)   С O_DIRECT блок в теории должен уйти сразу в сторейдж, но тут будут нюансы с зад, Tron is Whistling (?), 23:44 , 25-Мрт-24, (73)   Не получит У меня синхронная репликация абсолютно всегда , vitalif (ok), 23:44 , 25-Мрт-24, (74)   До неё ещё даже дело не дойдёт Ну и да, я вот тут расписал немножко - оно может , Tron is Whistling (?), 23:57 , 25-Мрт-24, (76)   Если так сделать - то при рандомных мелких чтениях будет полный трындец , Tron is Whistling (?), 23:58 , 25-Мрт-24, (77)   Да нормально всё будет, у меня же везде оптимизация под задержку, на чистой блоч, vitalif (ok), 00:18 , 26-Мрт-24, (81)   NFS-серверов сколько может быть Их тоже придётся синхронизировать Если один, ед, Tron is Whistling (?), 08:13 , 26-Мрт-24, (86)   Можно сколько угодно делать, они стейтлесс, их синхронизировать не надоМожно воо, vitalif (ok), 09:56 , 26-Мрт-24, (90)   Случайно запускает и случайно монтирует, понятное дело Проблема в том, что в слу, Tron is Whistling (?), 10:24 , 26-Мрт-24, (91)   Да чо ты троллишь - там специально сделано так что всё стейтлесс Я даже БД сп, vitalif (ok), 11:15 , 26-Мрт-24, (92)   Ну и да, какой ещё O_DIRECT в NFS Синхронизация в лоб выглядит следующим образ, Tron is Whistling (?), 23:56 , 25-Мрт-24, (75)   O_DIRECT с NFS пашет, я проверял Причём что забавно - даже с невыровненными бло, vitalif (ok), 00:21 , 26-Мрт-24, (82)   Именно так оно в идеальном случае и работает, ну, вот потому, о чём я писал Возм, Tron is Whistling (?), 07:51 , 26-Мрт-24, (85)   Да запилю я эти блокировки, фиг ли там делать - etcd же есть под рукойПросто , vitalif (ok), 15:57 , 25-Мрт-24, (52) // В кластерной FS блокировки не приоритет Офигенный кластер, синхронизироваться-то, Tron is Whistling (?), 22:04 , 25-Мрт-24, (59) // Что ты собрался синхронизировать локами Назови практическое применение Что это, vitalif (ok), 23:20 , 25-Мрт-24, (66) +1 Когерентность без локов оптимизировать очень сложно Это надо либо всем слать всё, Tron is Whistling (?), 00:00 , 26-Мрт-24, (78) dovecot - это одно из самых страшных применений блокировок кстати, малейший прод, Tron is Whistling (?), 00:03 , 26-Мрт-24, (79) То же самое с когерентностью, оно очень любит писать в индексы , Tron is Whistling (?), 00:04 , 26-Мрт-24, (80) Вообще в любом нормальном кластере приоритет - именно сихронизация Но раз не пер, Tron is Whistling (?), 22:11 , 25-Мрт-24, (62) При всём уважении к автору, это не айс - точно не поспособствует развитию экос, Golangdev (?), 17:02 , 25-Мрт-24, (54) // Вы только Minio из S3-совместимых хранилок знаете - так-то это самая слабая р, vitalif (ok), 18:14 , 25-Мрт-24, (55) // Ну расскажи тогда про самую сильную , Аноним (17), 20:49 , 25-Мрт-24, (58) Я бы сказал, в тезх компаниях где я работал работаю - используется S3-совместимо, Golangdev (?), 22:24 , 25-Мрт-24, (63) // На самом деле я не делал S3 в начале тоже ровно потому, что нормальные S3-хранил, vitalif (ok), 23:25 , 25-Мрт-24, (67) Это офигенная идея, которая тоже всё Равно как и отсутствие блокировок Поделка , Tron is Whistling (?), 22:06 , 25-Мрт-24, (60) Виталий, успехов в этом непростом деле, Фняк (?), 01:58 , 26-Мрт-24, (84) +2 // Спасибо - , vitalif (ok), 12:13 , 27-Мрт-24, (96) А что все так сагрились на отсутствие блокировок ФС явно предназначена для заме, igsbox (??), 12:11 , 26-Мрт-24, (94) // Не, там 2 фс, одна псевдо, реально замена айсказей, вторая нормальная, в которую, vitalif (ok), 22:15 , 26-Мрт-24, (95) 1,2,13,21,27,35,46,54,84,94

Сообщения

[Сортировка по времени | RSS]

	50. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	–1 +/–
	Сообщение от Аноним (49), 25-Мрт-24, 12:02
	> Если нет поддержки блокировок - это всё. Вернее: если не предусмотрено место, в которое можно добавить код нужной функциональности. (Сырцы не читал, не знаю.)
	Ответить | Правка | К родителю #46 | Наверх | Cообщить модератору

	51. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от нах. (?), 25-Мрт-24, 13:06
	извините, пройдите на-й никто за авторов не будет ничего добавлять.  Потому что есть-то за себя они собираются - сами.
	Ответить | Правка | Наверх | Cообщить модератору

	61. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Tron is Whistling (?), 25-Мрт-24, 22:10
	Тут всё гораздо хуже: если нет блокировок, значит необходимая для них синхронизация отсутствует. Естественно при этом latency никакая, но и синхронизироваться нечем, и кеш не когерентный, и вообще смысла нет, потому что в т.н. "кластерной" FS в файл можно при этом можно писать только с одной ноды, причём очень аккуратно - чтобы никто ещё в этот момент не читал и не писал. По сути в такой конфигурации с каждым отдельным файлом можно либо "только на чтение" со всех нод, либо только "всё с одной", и такой кластер - мертворождённый труп. Чтобы её нагородить - надо очень сильно об угол стукнуться, в общем случае придётся делать свой DLM или интегрироваться в существующий кластерный стек. Первое - очень непросто, второе ставит крест на latency и простоте использования, ещё и STONITH понадобится.
	Ответить | Правка | К родителю #50 | Наверх | Cообщить модератору

	65. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Tron is Whistling (?), 25-Мрт-24, 22:36
	Там смотрю оно через NFS вывернуто. То есть в качестве обеспечения когерентности выбран сброс кеша при открытии и проверку атрибутов? Если так - то даже блокировки уже не помогут.
	Ответить | Правка | Наверх | Cообщить модератору

	68. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от vitalif (ok), 25-Мрт-24, 23:34
	Хм, ну да, единственный трабл это page cache конечно. Ну типа если писать-читать из NFS с O_DIRECT, то когерентность будет. А там случайно нет в линуксовом NFS опции чтобы принудительно всем direct включить?.. :-)
	Ответить | Правка | Наверх | Cообщить модератору

	70. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Tron is Whistling (?), 25-Мрт-24, 23:41
	И даже с O_DIRECT может не быть когерентности, потому что кто-то решил почитать после записи с другой ноды, но запись ещё не долетела и другие ноды о записи не проинформированы. Будет stale read. Всё это придётся синхронизировать, в т.ч. информировать ноды о записи.
	Ответить | Правка | Наверх | Cообщить модератору

	71. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Tron is Whistling (?), 25-Мрт-24, 23:42
	- Нода A прочитала блок, он попал в кеш - Нода Б отправила блок на запись, он попал в буфер и ждёт пока его реально пропишут в сторейдж - Нода A снова читает блок - УПС
	Ответить | Правка | Наверх | Cообщить модератору

	72. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от vitalif (ok), 25-Мрт-24, 23:42
	Не, если пишут и читают с O_DIRECT, то всё железобетонно синхронно будет, по крайней мере если кэш дисков отключён (immediate_commit=all). Т.к. любая завершённая запись уже точно будет на всех OSD, и любое последующее чтение пойдёт на эти же OSD и оттуда данные прочитает "попала в буфер" - что за буфер, у меня нет никакого такого буфера. А на дисках предполагается по дефолту отрубать кэш и юзать ssd с конденсаторами
	Ответить | Правка | К родителю #70 | Наверх | Cообщить модератору

	73. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Tron is Whistling (?), 25-Мрт-24, 23:44
	С O_DIRECT блок в теории должен уйти сразу в сторейдж, но тут будут нюансы с задержками для пересылки на OSD, если в этот момент кто-то решит почитать - он с OSD получит всё такой же старый лежалый блок. Т.е. синхронизировать ноды надо в момент появления записи.
	Ответить | Правка | К родителю #70 | Наверх | Cообщить модератору

	74. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от vitalif (ok), 25-Мрт-24, 23:44
	> он с OSD получит всё такой же старый лежалый блок. Не получит. У меня синхронная репликация абсолютно всегда.
	Ответить | Правка | Наверх | Cообщить модератору

	76. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Tron is Whistling (?), 25-Мрт-24, 23:57
	До неё ещё даже дело не дойдёт. Ну и да, я вот тут расписал немножко - оно может из собственного кеша получить. Тогда надо O_DIRECT брать и тем, кто читает - да, решение, но блин O_DIRECT на чтение? Системный кеш мимо?
	Ответить | Правка | Наверх | Cообщить модератору

	77. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Tron is Whistling (?), 25-Мрт-24, 23:58
	Если так сделать - то при рандомных мелких чтениях будет полный трындец.
	Ответить | Правка | Наверх | Cообщить модератору

	81. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от vitalif (ok), 26-Мрт-24, 00:18
	> Если так сделать - то при рандомных мелких чтениях будет полный трындец. Да нормально всё будет, у меня же везде оптимизация под задержку, на чистой блочке даже в один поток задержка чтения на нормальном кластере ~0.1 мс. Т.е. сравнимо со скоростью локального ссд. Ну с NFS добавится ещё один раундтрип до NFS сервера (т.е. клиент -> vitastor-nfs -> OSD). Но если vitastor-nfs запущен локально, то этот раундтрип будет через локальный loopback, т.е. добавит какие-нибудь 20 микросекунд. Ну будет в конце концов 0.15 мс скажем, нормально. Собственно а как ещё-то делать, если у тебя сетевая ФС и тебе нужна когерентность? Если ты юзаешь кэш клиента, понятно что из него могут данные отдаться. Если нужна когерентность только и остаётся на сервер ходить. Теоретически если бы был собственный модуль ядра с реализацией ФС, можно было бы наверное сделать оптимальнее, либо какие-то уведомления от сервера, либо как у меня в vitastor-kv перепроверки номера версии, но это же пипец, модуль ядра свой пилить)
	Ответить | Правка | Наверх | Cообщить модератору

	86. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Tron is Whistling (?), 26-Мрт-24, 08:13
	NFS-серверов сколько может быть? Их тоже придётся синхронизировать. Если один, единый SPOF - это очень плохо. > Собственно а как ещё-то делать, если у тебя сетевая ФС и тебе нужна когерентность? В OCFS2 сделано очень хитро и более-менее правильно, можно посмотреть.
	Ответить | Правка | Наверх | Cообщить модератору

	90. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от vitalif (ok), 26-Мрт-24, 09:56
	Можно сколько угодно делать, они стейтлесс, их синхронизировать не надо Можно вообще NFS сервер запускать локально, как FUSE, там даже есть команда vitastor-nfs mount - сразу запускает и монтирует сервер на локалхосте на случайном порту
	Ответить | Правка | Наверх | Cообщить модератору

	91. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Tron is Whistling (?), 26-Мрт-24, 10:24
	Случайно запускает и случайно монтирует, понятное дело. Проблема в том, что в случае множественного монтирования без блокировок не выжить. Даже если вы и найдёте юзкейс, при котором можно, и далеко их не один - всё равно это уже не ФС общего назначения, и подойдёт только под такие вот неслучайные юзкейсы.
	Ответить | Правка | К родителю #90 | Наверх | Cообщить модератору

	92. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от vitalif (ok), 26-Мрт-24, 11:15
	Да чо ты троллишь :-) там специально сделано так что всё стейтлесс. Я даже БД специальную накурил на основе оптимистичного Б-дерева, допускающую параллельный доступ с разных нод. :-) на основе CAS-"транзакций". Без блокировок вполне можно выжить, выше же обсудили про O_DIRECT, а вообще и проще, простой close-to-open сработает всегда, даже с пейдж кэшем
	Ответить | Правка | К родителю #91 | Наверх | Cообщить модератору

	75. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Tron is Whistling (?), 25-Мрт-24, 23:56
	Ну и да, какой ещё O_DIRECT в NFS? Синхронизация "в лоб" выглядит следующим образом (есть более хитрые способы): - Все ноды обмениваются информацие об открытиях файлов - Видим запись на одной из нод, видим, что файл открыт ещё где-то - Информируем все остальные ноды, открывшие файл (если первый пункт пропустить - вообще все ноды, а это тормоза), о том, что блок X файла Y взят на запись нодой N - В этот момент - кто не спрятался, я не виноват, ноды могут ещё прочесть старое, разрешено, стрижка только начата - вот тут как раз и нужны блокировки - Все проинформированные ноды при прочих попытках чтения этого блока встают колом и ждут продолжения банкета - Новые ноды, открывающие файлы, принимаются, но информируются об in-flight записи блока - Производим запись - Уведомляем писавшего об успехе - Информируем все участвовавшие в трындеце ноды и новые появившиеся о том, что запись блока завершена - Проинформированные ноды сбрасывают кеш блока, те, что пытались его читать - выдыхают, и начинают читать Как быть с блокировками, и чем они страшны - Если взята эксклюзивная блокировка файла на запись, к счастью, никто читать блок не попытается, но механизм выше всё равно должен быть, так как блокировки банально нестрогие, и у нас могут быть ноды, которые всё равно попытаются читать. Но наличие таких можно отследить по запросам на блокировку - те, что встали колом на попытке взять прочую блокировку - можно проинформировать только о конце записи, чтобы кеш сбросили, можно даже оптом по всем блокам после снятия эксклюзива - тут как раз целое поле непаханое для оптимизации
	Ответить | Правка | К родителю #68 | Наверх | Cообщить модератору

	82. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от vitalif (ok), 26-Мрт-24, 00:21
	O_DIRECT с NFS пашет, я проверял. Причём что забавно - даже с невыровненными блоками :-). А с блокировками - насколько я понял из man 5 nfs, там сам NFS-клиент кэш сбросит за тебя, если ты блокировки юзаешь. Но там же и написано про O_DIRECT: If absolute cache coherence among clients is required, applications should use file locking. Alternatively, applications can also open their files with the O_DIRECT flag to disable data caching entirely.
	Ответить | Правка | Наверх | Cообщить модератору

	85. "Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..."	+/–
	Сообщение от Tron is Whistling (?), 26-Мрт-24, 07:51
	> If absolute cache coherence among clients is required, applications should use file locking. Именно так оно в идеальном случае и работает, ну, вот потому, о чём я писал. Возможность отхватить stale read без блокировок есть - в NFS не стали заморачиваться. Поэтому на кластерах, увы и ах :), только OCFS2/GFS2.
	Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема