Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Автор Bcachefs представил патчи для исправления ФС, разрушенных недавней ошибкой, opennews (??), 08-Апр-24, (0) [смотреть все] Ближайшие 2-3 года пока сидим на Btrfs Сыровата новинка пока , Аноним (1), 09:52 , 08-Апр-24, (1) +4 // Btrfs сама ещё похлеще портит данные , Аноним (3), 10:08 , 08-Апр-24, (3) +17 // Это описался в слове zfs , Аноним (10), 10:18 , 08-Апр-24, (10) –7 // Интересно за что ему 2 минуса Только недавно эта штука била данные на рефлинках, Аноним (-), 12:15 , 08-Апр-24, (28) Ну куда ты со своим звездолетом да в калашный ряд Балбес, не пересобрать, а восс, Минона (ok), 23:26 , 08-Апр-24, (72) +1 Да вы погодите - ща вам покажут чудеса телепортации фиги из кармана Оставайтесь, Аноним (-), 05:29 , 09-Апр-24, (76) Да причём фря то Один хрен они в своих SCALE ZFS юзают, а не твой подбитый звезд, Минона (ok), 08:19 , 09-Апр-24, (81) Хотя-бы при том что тут iZEN в соседнем топике отжог, спросив поддерживает ли L, Аноним (-), 09:59 , 09-Апр-24, (95) Ты не отмораживайся, а ответь прямо поддерживает ли линукс 6 9-rc3 древнюю ZF, iZEN (ok), 20:26 , 10-Апр-24, (130) Я не знаю насчет древней , но так, FYI, ты не отмораживайся и подумай о том что, Аноним (-), 00:14 , 11-Апр-24, (132) Ну зачем мне думать об этом, если на это я повлиять ну никак не могу Мы-то не го, iZEN (ok), 22:46 , 12-Апр-24, (150) На чисто концептуальном уровне - забавные рассуждения А с практической точки зр, Аноним (-), 15:23 , 14-Апр-24, (151) Исходники ZFS тягают и адаптируют разработчики FreeBSD 8212 я к ним не отно, iZEN (ok), 21:42 , 14-Апр-24, (153) так это не к линуксу вопросы, а к zfs Раз древняя - значит она шибкомодный стаб, нах. (?), 07:39 , 11-Апр-24, (135) Наглое безапеляционное вранье Btrfs уже как 5 лет стабильна как скала и использ, DEF (?), 22:37 , 08-Апр-24, (69)   // Ей мордокнига пару миилиардов юзерей обслуживает Постоянно Чартерными рейсами , Аноним (-), 05:36 , 09-Апр-24, (77)   Объясняю почему так происходит -у мордокниги железо наверное понадежнее,жёсткие , maximnik0 (?), 08:15 , 09-Апр-24, (80)   Неее для применения решений фейсбука - надо быть примерно фейсбуком Иметь ку, User (??), 08:30 , 09-Апр-24, (82) +1   Почему это не сможет Берёшь батарею из писюков, набиваешь дисками, накатываешь к, Минона (ok), 10:19 , 09-Апр-24, (98)   gt оверквотинг удален Не, ну попробовать можно, да У меня даже ведерочко попк, User (??), 12:33 , 09-Апр-24, (106)   Зачем вам кластерная ФС в самопальном фэйсбуке Там балансировка, отказоустойчив, Аноним (-), 03:22 , 11-Апр-24, (133)   там репликация не для избыточности, а для распределения нагрузки Если при этом , нах. (?), 07:44 , 11-Апр-24, (136)   Нооо как же бырбырфысы Фейсбук Прод Н-надежность Гаражные ворота Вы, User (??), 08:31 , 11-Апр-24, (140)   Память у них действительно ЕСС ибо железо серверное А вот диски обычные так как, Минона (ok), 08:51 , 09-Апр-24, (84)   Пишет тебе такие то файлы не корректные может быть и методанные , ладно поче, maximnik0 (?), 11:19 , 09-Апр-24, (105)   Ну как бы откровенное г-но они не берут, но - установите кучу систем, погоняйте , Аноним (-), 10:10 , 09-Апр-24, (96) +1   Самый плохой бэд ,это вы правильно заметили Но если из диагностики фс известно ч, maximnik0 (?), 11:07 , 09-Апр-24, (104)   Я предпочту чтобы ЭТО мне не требовалось, если данные и работающие системы нужны, Аноним (-), 07:53 , 10-Апр-24, (114)   К чести btrfs при всех ее глюках я важные данные не разу терял Тоже хоть и ворчу, maximnik0 (?), 11:43 , 10-Апр-24, (122)   На самом деле - серебряных пуль не бывает У всех дизайнов есть свои приколы и о, Аноним (-), 13:45 , 10-Апр-24, (126)   У церна больше А вообще у меня файлохранилище на 20 тб, видеоархивы на 200 тб , Минона (ok), 09:09 , 09-Апр-24, (90)   Completely missed point Меня в том контексте больше интересует даже не база и, Аноним (115), 08:00 , 10-Апр-24, (115) –1   лолшта Прям не покидая своих беговых колес вытаптывают Поляна распахана, размеч, нах. (?), 07:52 , 11-Апр-24, (137)   Хома у соседа в тему затестил дизайн с багом Ось перетерлась и крякнула А ты , Аноним (-), 15:48 , 11-Апр-24, (141)   есть Только твоих среди них - нет лучше б ты делал выводы на основе опыта работ, нах. (?), 16:06 , 11-Апр-24, (143)   Да ну ладно, там что, инопланетяне чтоли работают Вот в CERN - я еще поверю У , Аноним (-), 14:51 , 12-Апр-24, (148)   Шило на мыло, КО (?), 10:08 , 08-Апр-24, (4) +3 Я вот пару дней назад поставил систему на bcachefs Посмотрим, сколько продержит, Werenter (ok), 10:13 , 08-Апр-24, (6) +3 Прошлым летом сильно обжёгся об Btrfs Пока посижу на ReiserFS Благо, что ядро , Аноним (22), 11:39 , 08-Апр-24, (22) // Лучше на fat32 сиди , scriptkiddis (?), 12:25 , 08-Апр-24, (29) +1 // UNIX Rights, Extendet attributes, POSIX ACL , Аноним (22), 17:41 , 08-Апр-24, (48) +1 Был когда то костыль, называется UMSDOS если по названию память не подводит Но э, maximnik0 (?), 07:40 , 09-Апр-24, (79) fsck еще не забывай запускать, особенно если виртуалки на диске хранятся Тебе п, Аноним (-), 13:40 , 08-Апр-24, (34) // --rebuild-tree ни разу не подвёл , Аноним (22), 17:45 , 08-Апр-24, (49) А ты пару RAW образов виртуалочек на файлуху разложи Заодно потом и посмотришь , Аноним (-), 18:00 , 08-Апр-24, (52) На всякий случай - есть какая-то необходимость использовать именно raw формат , User (??), 08:38 , 09-Апр-24, (83) Да мало ли, может скачали такое Или было transient при какой-то работе с виртуа, Аноним (97), 10:18 , 09-Апр-24, (97) gt оверквотинг удален Ну оооок У меня зубов в труднодоступных местах нет - но, User (??), 12:34 , 09-Апр-24, (107) Ну вот народ периодически нарывается характерным паттерном readonly fs - fsc, Аноним (-), 08:24 , 10-Апр-24, (117) Клоуны - это те, кто не читает документацию прежде чем что-то делать А потом ви, Аноним (125), 13:24 , 10-Апр-24, (125) +1 Странно, в самой райзер по описанию валидация есть Похоже при восстановление де, maximnik0 (?), 11:56 , 12-Апр-24, (147) На чём обжёгся Избегаю это поделие, но полагал, что за 15 лет довели кодовую баз, qweo (?), 15:58 , 08-Апр-24, (42) // Оказалось, что маловато напряжение по 5 В 4 76 , хотя, считал, что этого достат, Аноним (54), 18:11 , 08-Апр-24, (54) Рукалицо Олдскульные фс это то, чему в самом деле можно доверить котиков Вот эт, Аноним (2), 09:59 , 08-Апр-24, (2) +2 // А что плохого в выкидывании самой ненадёжной и дохлой фс в истории, сколько лет , Аноним (5), 10:08 , 08-Апр-24, (5) +2 // И давно в продажу поступили диски на 2 эксбибайта , Аноним (7), 10:15 , 08-Апр-24, (7) // В википедии ссылка на спецификацию, там 16TiB , Аноним (5), 10:19 , 08-Апр-24, (11) Я очень долго triserfs пользовался Привык к ней,а таких объемов чтобы исчерпать, Аноним (2), 10:18 , 08-Апр-24, (8) // Битрот у неё особенно силён, для архивного хранения не годится Какое-то время о, Аноним (5), 10:29 , 08-Апр-24, (13) Да и при хранении файлов 4 Кб заметно место экономит , Аноним (22), 11:59 , 08-Апр-24, (25) Да вот знаете ли btrfs и сабж тоже так умеют Ибо нет монополии на inline хранен, Аноним (-), 17:56 , 08-Апр-24, (51) –1 Типа существуют люди, которые повредили эту фс и так и сидели ждали этот патч , Аноним (10), 10:18 , 08-Апр-24, (9) +1 // Если и не ждали патча, то как минимум сделали полный побайтовый слепок перед тем, ПомидорИзДолины (?), 10:27 , 08-Апр-24, (12) // Да ладно Какой-то сценарий из 90х Побитовый слепок Небось нынче и не зн, 1 (??), 10:34 , 08-Апр-24, (15) +1 // Ну так правильно, сегодня все уже знают, что можно только gnu ddsrescue использо, Аноним (5), 10:53 , 08-Апр-24, (20) Можно также myrescue и WHDD - с энными оговорками, и понимая что и зачем делаетс, Аноним (-), 13:50 , 08-Апр-24, (37) +1 Типа автор предусмотрел в драйвере ФС возможность самовосстановления даже в сл, n00by (ok), 10:36 , 08-Апр-24, (16) // А обещанной внешней fsck - так и не написал, видимо, потому что взялся сразу ее , нах. (?), 18:29 , 08-Апр-24, (59) // А таки - факап заделал А как там ZFSники то - уже выкатили тул для фикса пула с, Аноним (-), 22:09 , 08-Апр-24, (66) судя по оговорке - нет там ничего не рассыпается, нах. (?), 22:53 , 08-Апр-24, (70) Таки мне его ход мыслей нравится Нет деревьев - перестроим заново Ну, типа , Аноним (-), 05:25 , 09-Апр-24, (75) но деревья снапшотов должны быть Вместо - ну хрен с ними, со снапшотами, раз, нах. (?), 08:58 , 09-Апр-24, (86) А таки для факапа такого уровня - сильно лучше чем ничего Тем более в экспериме, Аноним (-), 10:24 , 09-Апр-24, (99) Потому что узнал, что ФС пользуется популярностью на Опеннет, и тут каждый желае, n00by (ok), 09:47 , 09-Апр-24, (93) Ну желают, и чего Кодить-то не умеют и деньгов нет , нах. (?), 09:57 , 09-Апр-24, (94) Типа, проблема возникала в МНОГОДИСКОВЫХ ПУЛАХ И с учетом такой небольшой особе, Аноним (-), 13:37 , 08-Апр-24, (32) +1 // чувак, просивший патчи к немодному ведру - использовал на своем вполне живом то, нах. (?), 09:00 , 09-Апр-24, (87) // На ноуте по моему вон тот факап вообще довольно проблематично получить Он сраба, Аноним (-), 10:27 , 09-Апр-24, (100) у чувака после этого апгрейда ноут перестал засыпать, а поскольку, в отличие от , нах. (?), 07:57 , 11-Апр-24, (138) Ну правильно, bisect проблемы сделать не для него Тогда пусть и стоит в такой п, Аноним (-), 15:56 , 11-Апр-24, (142) пару сотен раз пересобрать ведро, вероятнее всего с пачкой разрушающих данные ба, нах. (?), 16:23 , 11-Апр-24, (145) Реально обычно около дюжины, если это не баг эпохи 2 6 32 какого там Сотня не п, Аноним (-), 14:55 , 12-Апр-24, (149) Повреждаем Bcachefs, запускаем восстановление, параллельным процессом сканируем , Аноним (14), 10:33 , 08-Апр-24, (14) –1 // Что бы получить этот файл, ФС как таковая не нужна, пока он хранится как plainte, n00by (ok), 10:38 , 08-Апр-24, (17) Это ты еще не видел что testdisk и photorec могут Я вон с найденой флехи undele, Аноним (-), 13:45 , 08-Апр-24, (35) // Ну так они ищут файл по сигнатурам, особенно хорошо работает если фрагментация м, Kuromi (ok), 15:51 , 08-Апр-24, (41) // Ну дык Я и не понимаю что тот наивный чукотский юноша ужасается Если мне в лап, Аноним (-), 18:15 , 08-Апр-24, (57) +1 Товарищи, кто в теме Это можно расматривать в перспективе как замену простым, ка, Аноним (21), 11:25 , 08-Апр-24, (21) +1 // Изначально, она задумана как работа над ошибками реализации Btrfs Чем она стане, Аноним (1), 11:40 , 08-Апр-24, (23) +1 // Btrfs вообще никаким боком ни разу, именно работал над прозрачным кэшем для HDD , anonymous (??), 19:52 , 08-Апр-24, (63) +1 // Если не считать того что большую часть алгоритмов и управления ФС Кент содрал от, Аноним (-), 22:19 , 08-Апр-24, (67) Да , scriptkiddis (?), 12:29 , 08-Апр-24, (30) Использую f2fs на дисках с черепичной записью работает быстрее чем ext4 , а што не так (?), 12:47 , 08-Апр-24, (31) // Логично, f2fs же log-based Другой вопрос что в идеале не надо было SMR использ, Kuromi (ok), 15:42 , 08-Апр-24, (40) +2 // найди мне 2t 2 5 диск для ноута без smr , нах. (?), 09:01 , 09-Апр-24, (88) Есть ещё в продаже модель используется в внешних коробочках Seagate Backup Plus, maximnik0 (?), 18:05 , 09-Апр-24, (108) Надежность ext существует только в сферическом вакууме, где физические диски ра, Аноним (33), 13:39 , 08-Апр-24, (33) –1 // У меня ext4 пережила примерно 50 разлетевшихся журналов подряд и даже ничего не , Аноним (5), 14:05 , 08-Апр-24, (38) // Ничего не потеряла просто отсутствие проверки на битые файлы Что собственно п, Аноним (33), 15:40 , 08-Апр-24, (39) +1 Данные были на разделе с data writeback, что не является умолчанием 1 раз у мен, Аноним (5), 16:04 , 08-Апр-24, (43) –1 А вот это неправда Почитайте принципы работы Copy-on-Write и зачем его вообще п, Аноним (33), 16:47 , 08-Апр-24, (44) +1 Ещё как правда Дело не в записи, дело в повреждении данных при частичной записи, Аноним (5), 17:15 , 08-Апр-24, (45) О том и речь CoW исключает частичную запись Блок либо запишется полностью и ва, Аноним (33), 18:01 , 08-Апр-24, (53) Этот фокус позволяет ему делать вещи от которых остальные в штаны бы обгадились , Аноним (-), 22:30 , 08-Апр-24, (68) Вот я и хочу понять, bcache - просто это ext4 с добавленными чексуммами и прочим, Аноним (21), 17:32 , 08-Апр-24, (47) Нет, ничего общего с ext4 Она навороченая, ближе к zfs и btrfs, и тоже CoW , Аноним (33), 17:52 , 08-Апр-24, (50) +1 Называя вещи своими именами - вот тот классический стек как раз и норовит сдохну, Аноним (-), 23:46 , 08-Апр-24, (73) нет, это адский оверинжиниренный трэш Смысл его написания и назначение неведомы, нах. (?), 09:03 , 09-Апр-24, (89) Если сравнить это с ZFSом - так тот в цать раз жирнее И как его тогда называть , Аноним (-), 10:31 , 09-Апр-24, (101) Мнение местного специалиста ни в чем - очень важно для нас но нет таких задач и, нах. (?), 23:58 , 09-Апр-24, (113) Тебя что, на кернелорге забанили Посмотри в дереве гита кернела размер кода bca, Аноним (-), 08:48 , 10-Апр-24, (118) бестолку смотреть на размер еще недописанного кода К тому же еще и сравнивать п, нах. (?), 09:24 , 10-Апр-24, (120) Ну вообще-то большая часть заявленных фич так то уже на месте Вместе с иерархич, Аноним (-), 14:01 , 10-Апр-24, (127) А некоторым другим, менее везучим господам, реплей битого журнала - сделал из ФС, Аноним (-), 18:20 , 08-Апр-24, (58) –1 а с чего ты взял, что ехт4 простая и надежная у кента этого написано, что , кент кента (?), 20:12 , 08-Апр-24, (64) +1 // Именно поэтому майнтайнер XFS панически сы ся оттуда, заваленый багами от бото, Аноним (-), 23:26 , 08-Апр-24, (71) У неё прям в названии написано, что она не простая bcache fs Но можно сказать, Аноним (109), 18:30 , 09-Апр-24, (109) // У Алана было ядро с NEXT4 Там единственное что иноды можно было исчерпать,но пос, maximnik0 (?), 23:03 , 09-Апр-24, (111) Чего все разработчики ФС используют B-tree, почему бы не попробовать Dancing Tre, Аноним (22), 11:51 , 08-Апр-24, (24) // То что академ концепции хороши - на бумаге А в реальном мире - есть куча овраго, Аноним (-), 13:48 , 08-Апр-24, (36) // Типа личной неприязни руководителя проекта Ну да, убедили , Аноним (21), 17:28 , 08-Апр-24, (46) // Типа того факта что на практике - если фс использовать по назначению - вон то пр, Аноним (-), 18:29 , 08-Апр-24, (60) Было обсуждение лет 10 назад на Линукс орг,тестировали на райзер 4 В общем на но, maximnik0 (?), 01:17 , 09-Апр-24, (74) // Еще более интересные нюансы начнутся когда окажется что например сторажи отказыв, Аноним (-), 10:33 , 09-Апр-24, (102) потому что Ctrl-C Ctrl-VА самостоятельно - нужно математическое образование А е, нах. (?), 18:31 , 08-Апр-24, (61) Вобщем, Bcachefs - вычёркиваю Годика через три-четыре потыкаю палочкой, если он, YetAnotherOnanym (ok), 12:13 , 08-Апр-24, (26) –3 // у кента план, чтобы его FS пережила его самого учитывая, плачевное состояние ос, кент кента (?), 20:17 , 08-Апр-24, (65) // А мужики-то не знают , YetAnotherOnanym (ok), 08:53 , 09-Апр-24, (85) ну для этого он может прыгать под автобус прямщас, незачем четыре года ждать те, нах. (?), 09:25 , 09-Апр-24, (91) всегда читая новости про любую ФС делаю ставку, что в коментах напишут как потер, Аноним (78), 07:00 , 09-Апр-24, (78) // ну зачем обязательно терять-то Неужели тебя недостаточно радует места дофига н, нах. (?), 09:28 , 09-Апр-24, (92) // Они в новых кернелах вообще по этому поводу сдедали авто-GC почти пустых blo, Аноним (-), 10:37 , 09-Апр-24, (103) Починили этот баг,уже давно, 8 лет должно быть У ext4 не хватало инод, а у btrfs, maximnik0 (?), 18:38 , 09-Апр-24, (110) // нехватка инод - это не места дофига , это иноды кончились Видно в df, легко от, нах. (?), 23:35 , 09-Апр-24, (112) Прошу пояснительную бригаду - похоже про эту тему 10 человек вообще читали , maximnik0 (?), 08:20 , 10-Апр-24, (116) erasure codesМожно ты воспользуешься поиском и я не буду в пятнадцатый раз перес, нах. (?), 09:29 , 10-Апр-24, (121) Расшифровали понял Но это не точно, есть в Петербурге разработчики, они рэйд для, maximnik0 (?), 12:01 , 10-Апр-24, (123) точно, точно - от тех троих есть пруф Ну и от лягушатника вроде тоже но я не в, нах. (?), 18:54 , 10-Апр-24, (129) При том вот это вот - как я понимаю абсолютно фатально Ибо динамическую аллокац, Аноним (-), 09:17 , 10-Апр-24, (119) С помощью бубна и LVM это можно поправить Но вообще-то Ари для аллокации инод б, maximnik0 (?), 12:09 , 10-Апр-24, (124) Получится хорошая иллюстрация на тему given enough thrust pigs fly just fine и, Аноним (-), 14:18 , 10-Апр-24, (128) Но я уже несколько раз писал,разработчики костыль сделали чтобы это дело поправи, maximnik0 (?), 23:21 , 10-Апр-24, (131) Угу, особенно удобно обнаружить что-то такое при работе систем которые шатдаун, Аноним (-), 03:40 , 11-Апр-24, (134) Гораздо меньше,в разумных пределах При проверке диска писать на диск может тольк, maximnik0 (?), 08:10 , 11-Апр-24, (139) И все же на мой вкус это все как-то многовато внимания к 1 тазику при желании вс, Аноним (-), 16:18 , 11-Апр-24, (144) Это что за объемы 4 Тб диск у меня проверяется 6 минут, при этом заполнен был, maximnik0 (?), 22:23 , 11-Апр-24, (146) От содержимого еще зависит и ряда других факторов А если несколько больших винч, Аноним (-), 15:45 , 14-Апр-24, (152) А износ муфт скольжения или подшипников Раньше пару микрон люфт было по хрен,сей, maximnik0 (?), 23:57 , 15-Апр-24, (154) 1,2,9,14,21,24,26,78

Сообщения

[Сортировка по времени | RSS]

	69. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."	+/–
	Сообщение от DEF (?), 08-Апр-24, 22:37
	>Btrfs сама ещё похлеще портит данные. Наглое безапеляционное вранье. Btrfs уже как 5 лет стабильна как скала и используется в корпоративном продакшене.
	Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

	77. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."	+/–
	Сообщение от Аноним (-), 09-Апр-24, 05:36
	>>Btrfs сама ещё похлеще портит данные. > Наглое безапеляционное вранье. Btrfs уже как 5 лет стабильна как скала и > используется в корпоративном продакшене. Ей мордокнига пару миилиардов юзерей обслуживает. Постоянно. Чартерными рейсами. На этом фоне вон те клоуны - админы локалхоста. У скольких из них БД на 30 терабайт вообще есть как у фэйсбука? А в результате протестированость и вообще качество ZFSного кода - походу дно, как показал инцидент с рефлинками. Баг влепленый "гуру" жил себе дохрена лет, всем пофиг. А вылез когда - в кои-то веки - от cow захотели чтобы он умел cow, надо же какая неожиданная хотелка! Только пот не понятно - с фига он ломаться от этого должен?! :)
	Ответить | Правка | Наверх | Cообщить модератору

	80. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."	+/–
	Сообщение от maximnik0 (?), 09-Апр-24, 08:15
	>На этом фоне вон те клоуны - админы локалхоста Объясняю почему так происходит -у мордокниги железо наверное понадежнее,жёсткие и Флэш диски с усиленной контрольной суммой.Наверняка использует раиды с комбинерованной схемой и  кластерные решения- если где то и произошел сбой,автоматом сбойный сектор (да даже и диск с стойкой) помечается и подтянется исправный.Да и память тоже с 2-Q4   ECC .Вот и весь секрет, несмотря на объемы математика работает в пользу корпорации. А народ и меня бесит что в однодисковой конфигурации в 90 % повредилось 2-3 файла,но ФС не ремонтируется.Нету режима ремонта с потерями данных, да есть откат COW дерева,но не всегда помогает да и мягко говоря ошибиться вплоть до game over легко.
	Ответить | Правка | Наверх | Cообщить модератору

	82. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."	+1 +/–
	Сообщение от User (??), 09-Апр-24, 08:30
	Неее... для применения решений фейсбука - надо быть примерно фейсбуком. Иметь кучу данных на которые тебе настолько "пофиг", что просто "пофиг", реплицировать это все с определенной избыточностью на уровне сильно выше ФС по всему шарику, иметь возможность любую сбойнувшую железку выкинуть к чертям собачачьим и заменить на вот точно такую же - ну и так далее. В противном случае "решения фейсбука" вам ну вот примерно до лампочки и применить их у себя сколько-нибудь осмысленным образом вы не сможете.
	Ответить | Правка | Наверх | Cообщить модератору

	98. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."	+/–
	Сообщение от Минона (ok), 09-Апр-24, 10:19
	> Неее... для применения решений фейсбука - надо быть примерно фейсбуком. Иметь кучу > данных на которые тебе настолько "пофиг", что просто "пофиг", реплицировать это > все с определенной избыточностью на уровне сильно выше ФС по всему > шарику, иметь возможность любую сбойнувшую железку выкинуть к чертям собачачьим и > заменить на вот точно такую же - ну и так далее. > В противном случае "решения фейсбука" вам ну вот примерно до лампочки и > применить их у себя сколько-нибудь осмысленным образом вы не сможете. Почему это не сможет? Берёшь батарею из писюков, набиваешь дисками, накатываешь какую нибудь кластерную ФС. И вуаля, ты "подкроватный Фейсбук ". Можешь складывать туда свои фоточки.
	Ответить | Правка | Наверх | Cообщить модератору

	106. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."	+/–
	Сообщение от User (??), 09-Апр-24, 12:33
	>[оверквотинг удален] >> данных на которые тебе настолько "пофиг", что просто "пофиг", реплицировать это >> все с определенной избыточностью на уровне сильно выше ФС по всему >> шарику, иметь возможность любую сбойнувшую железку выкинуть к чертям собачачьим и >> заменить на вот точно такую же - ну и так далее. >> В противном случае "решения фейсбука" вам ну вот примерно до лампочки и >> применить их у себя сколько-нибудь осмысленным образом вы не сможете. > Почему это не сможет? > Берёшь батарею из писюков, набиваешь дисками, накатываешь какую нибудь кластерную ФС. > И вуаля, ты "подкроватный Фейсбук ". > Можешь складывать туда свои фоточки. Не, ну попробовать можно, да. У меня даже ведерочко попкорна есть....
	Ответить | Правка | Наверх | Cообщить модератору

	133. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."	+/–
	Сообщение от Аноним (-), 11-Апр-24, 03:22
	> Почему это не сможет? > Берёшь батарею из писюков, набиваешь дисками, накатываешь какую нибудь кластерную ФС. > И вуаля, ты "подкроватный Фейсбук ". Зачем вам кластерная ФС в самопальном фэйсбуке? Там балансировка, отказоустойчивость и проч делается на другом уровне. И выгорание плюс-минус пары серверов просто похрен - запрос уйдет соседним, а юзер ничего не заметит даже.
	Ответить | Правка | К родителю #98 | Наверх | Cообщить модератору

	136. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."	+/–
	Сообщение от нах. (?), 11-Апр-24, 07:44
	там репликация не для избыточности, а для распределения нагрузки. Если при этом получается и избыточность - хорошо, если нет или недостаточная - поооофиг! Котиков оно УЖЕ несколько раз теряло прям массово, и... правильно, им - пофиг. Да и юзверькам  в общем-то тоже, попищали-попищали и новых накачали, да и то только те пол-процента что что-то такое заметили - большинство крутят ленточку на час назад и то много, не успевают полайкать. Они исчезновения позавчерашнего котика вообще не заметят. А двухлетнего можно просто архиватором del паковать. А твой relations graph будь уверен хранится не на бырбырфесе, и еще и бэкапается регулярно. Товар ценный, на продажу британским учоным. (На самом деле нет, и по той же причине - ты же сам его и обновишь с максимальной скоростью, как только механизм подбора сбойнет из-за недостатка данных о тебе. Незачем заморачиваться, совсем. НЕТ у фейсбука ценных данных вообще.)
	Ответить | Правка | К родителю #82 | Наверх | Cообщить модератору

	140. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."	+/–
	Сообщение от User (??), 11-Апр-24, 08:31
	Нооо... как же... бырбырфысы? Фейсбук? Прод? Н-надежность?! Гаражные ворота?!! Вы что, хотите сказать, что местный эксперт за-зря поверх вот этого вот всего postgresql (Джва года без сайлент дейта коррупцьён - как тебе такое, Илон Муск?) разворачивал?!!! Да чего этот "нах" знать-то может? Бырбырфысы! Фейсбук! Гаражные ворота! Прод! Три-года-без-разрывов!!! 10 рерабайт в коробке из под тапочек - и можно даже одиннадцатый добавить, если винт скотчем примотать! А вот в NTFS ваще! То-то.
	Ответить | Правка | Наверх | Cообщить модератору

	84. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."	+/–
	Сообщение от Минона (ok), 09-Апр-24, 08:51
	>>На этом фоне вон те клоуны - админы локалхоста > Объясняю почему так происходит -у мордокниги железо наверное понадежнее,жёсткие и Флэш > диски с усиленной контрольной суммой.Наверняка использует раиды с комбинерованной схемой > и  кластерные решения- если где то и произошел сбой,автоматом сбойный > сектор (да даже и диск с стойкой) помечается и подтянется исправный.Да > и память тоже с 2-Q4 > ECC .Вот и весь секрет, несмотря на объемы математика работает в пользу > корпорации. Память у них действительно ЕСС ибо железо серверное. А вот диски обычные так как это расходник и должен быть дешевым. А надёжность обеспечивается распределённой кластерной ФС. > А народ и меня бесит что в однодисковой конфигурации в > 90 % повредилось 2-3 файла,но ФС не ремонтируется.Нету режима ремонта с > потерями данных, да есть откат COW дерева,но не всегда помогает да > и мягко говоря ошибиться вплоть до game over легко. Ты о чем, какой ремонт? Если повредились метаданные, то они там не в одном экземпляре. Если сами файлы, то восстанавливаешь из бэкапа.
	Ответить | Правка | К родителю #80 | Наверх | Cообщить модератору

	105. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."	+/–
	Сообщение от maximnik0 (?), 09-Апр-24, 11:19
	>Ты о чем, какой ремонт Пишет тебе такие то файлы не корректные (+ может быть и методанные) , ладно поченить не получается -откатываешься по COW .Есть шанс что теперь методанные не сойдутся ,т.к эти данные были в методанных (мелкие файлы)- режим RO ,и пару повреждённых файлов которые не удалить не можешь, не поченить.Из за 4 мгб данных (к примеру)  переустанавливать на 10 Гб , так себе решение.Нету fsck которые эти некорректные данные снёс с разрешения юзера, сейчас именно упакованные мелкие файлы в метаданных есть слабое место btrfs в однодисковой конфигураци.
	Ответить | Правка | Наверх | Cообщить модератору

	96. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."	+1 +/–
	Сообщение от Аноним (-), 09-Апр-24, 10:10
	> Объясняю почему так происходит -у мордокниги железо наверное понадежнее, Ну как бы откровенное г-но они не берут, но - установите кучу систем, погоняйте эн лет, и таки увидите, сбои будут. Они хвалили отлов глючных контроллеров и железа. А помойка типа EXT4 будет тихо глюкать, пока совсем не развалится. > жёсткие и Флэш диски с усиленной контрольной суммой. У btrfs у самого чексумы есть. Поэтому какие там на накопителе - в общем то похрен, если избыточность есть. Даже если что и проскочит - будет зарублено. При том это проверяет все end to end, от проца и рамы до шин, накопителей и чего там еще. В чем фича и состоит. > Наверняка использует раиды с комбинерованной схемой и  кластерные решения- Нахрена оно им? Чтобы денег выкинуть побольше? С их масштабом - жаба удушит. Такие обычно делают резервирование и рекавери на другом уровне. Так что плюс-минус пару серваков в ауте никто вообще не заметит. > сектор (да даже и диск с стойкой) помечается и подтянется исправный.Да > и память тоже с 2-Q4 ECC Не, конечно можно глюкавить с просевшими 5V и памятью с алика, а потом плакаться на ФС... все  правильно сделали :)) > корпорации. А народ и меня бесит что в однодисковой конфигурации в > 90 % повредилось 2-3 файла,но ФС не ремонтируется. Ну я и воткнул его в DUP на такие штуки местами. Пару случайных бэдов раз в эн лет и проч стало переживать на ура, вообще без потерь. И глюки железа хайлайтит изумительно. > Нету режима ремонта с потерями данных, да есть откат COW дерева,но не всегда помогает да > и мягко говоря ошибиться вплоть до game over легко. Зато допустим DUP есть. Да, половину места потеряет. И записи тормознее. Зато - если что починится без потерь. А кент хочет вообще erasure coding забацать своей штуке, это поэффективнее по месту может быть. Пока не допилено. А починка с потерями - круто, ога, у меня libc6 и попортился случайным бэдом. И какой у вас на этот случай план, маэстро? Отношаться полдня с починкой тазика? Это голимый план!
	Ответить | Правка | К родителю #80 | Наверх | Cообщить модератору

	104. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."	+/–
	Сообщение от maximnik0 (?), 09-Апр-24, 11:07
	>И какой у вас на этот случай план, маэстро? Отношаться полдня с починкой тазика Самый плохой бэд ,это вы правильно заметили.Но если из диагностики фс известно что этот файл того- я его вытащу в первую очередь..... Из кэша Deb пакетов.2 или 3 команды чтобы узнать какому пакету принадлежит файл и его переставить.Внезапно,опыт был- не пропьешь.Снесло когда то на ровном месте- ещё ext3 полдиска при плановой проверке fsck - 200 мгб файлов.Как не Удивительно ,но система ещё грузилась, т.к я сделал лайв загрузку аварийную :-) Но бэкапы были только на пользовательские данные ,так мне подсказали скрипт для проверки на битые файлы и восстановление с пакетного менеджера.Да,был бы бэкап за полчаса управился ,а так на 2 часа удовольствие растянулось :-( Система заработала.
	Ответить | Правка | Наверх | Cообщить модератору

	114. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."	+/–
	Сообщение от Аноним (-), 10-Апр-24, 07:53
	> Самый плохой бэд ,это вы правильно заметили.Но если из диагностики фс известно > что этот файл того- я его вытащу в первую очередь..... Я предпочту чтобы ЭТО мне не требовалось, если данные и работающие системы нужны. В этом случае речь уже идет о профаченой доступности систем и мануальных запрыгах. А оно мне надо? > Из кэша Deb пакетов.2 или 3 команды чтобы узнать какому пакету принадлежит > файл и его переставить. Btrfs вообще при проблемах в dmesg пишет к чему сбоящий блок относился. Только это намного лучше с уточнением что сие - fixed. Так что вместо того запрыга нормальное продолжение работа. Со своей стороны я рад что Кент считает как-то так же. А вы можете выковыривать побитые файлики. > месте- ещё ext3 полдиска при плановой проверке fsck - 200 мгб > файлов.Как не Удивительно ,но система ещё грузилась, Вот это все - ниоткуда не следует. И весь этот ваш fsck при старте систем - я тоже в гробу видал, скажем прямо. Особенно - с современными емкостями накопителей. Тупиковый путь эволюции ФС, уже дошел до своих логических пределов. > пакетного менеджера.Да,был бы бэкап за полчаса управился ,а так на 2 > часа удовольствие растянулось :-( Система заработала. А я таки придушил в ряде мест жабу и сделал DUP или, где можно, RAID1 - и так не очень крутые случайные взбрыки просто заруливаются в фоне. Автоматически. Без моего участия. Так намного прикольнее. Ну да, если годами гонять на глюкавой системе с рушеной RAM, просевшим 5V или чем там еще - может что и произойдет. Но я начну дергаться с выяснением что у меня за проблемы после первых нескольких "csum failed". Стабильно работающее железо - спасет меня от чертовой кучи неприятных сюрпризов.
	Ответить | Правка | Наверх | Cообщить модератору

	122. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."	+/–
	Сообщение от maximnik0 (?), 10-Апр-24, 11:43
	>А я таки придушил в ряде мест жабу и сделал DUP К чести btrfs при всех ее глюках я важные данные не разу терял.Тоже хоть и ворчу перешёл на нее, вкусностей у нее много,даже при консервативном использование.
	Ответить | Правка | Наверх | Cообщить модератору

	126. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."	+/–
	Сообщение от Аноним (-), 10-Апр-24, 13:45
	>>А я таки придушил в ряде мест жабу и сделал DUP > К чести btrfs при всех ее глюках я важные данные не разу > терял.Тоже хоть и ворчу перешёл на нее, вкусностей у нее много,даже > при консервативном использование. На самом деле - серебряных пуль не бывает. У всех дизайнов есть свои приколы и особенности. Если их немного понимать - тогда все будет норм. С btrfs'ом - не стоит юзать древние ядра, и забивать на вопли типа "csum error". Если они есть, окей, железо дурит и с этим - надо разобраться. И не только из-за btrfs, а вообще. На SSD иногда бывают "запроектные" аварии - типа потери очень большого сегмента. Но даже при этом обычно кто-то из суперов все же выживает. Остальное при наличии избыточности - чинябельно. В этом смысле - как минимум метаданные должны всегда быть RAID1 или DUP. Ну и если данные капец как нужны, а планы A, B и C обломались, их можно попытаться вынуть офлайн читалкой. Единственное что до резких движений типа пуска fsck с исправлением - лучше проконсультироваться с девами на тему то ли вы хотите сделать. А так - вон та ининциатива кента мне определенно нравится. Перестроить убитое дерево таки по своему красивая идея.
	Ответить | Правка | Наверх | Cообщить модератору

	90. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."	+/–
	Сообщение от Минона (ok), 09-Апр-24, 09:09
	> Ей мордокнига пару миилиардов юзерей обслуживает. Постоянно. Чартерными рейсами. На этом > фоне вон те клоуны - админы локалхоста. У скольких из них > БД на 30 терабайт вообще есть как у фэйсбука? У церна больше. А вообще у меня файлохранилище на 20 тб, видеоархивы на 200+ тб. Сейчас ждём поставку дисков по 20 тб, вместо 4 и 6, так что эти 200+ вырастут до 1000+ тб.
	Ответить | Правка | К родителю #77 | Наверх | Cообщить модератору

	115. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."	–1 +/–
	Сообщение от Аноним (115), 10-Апр-24, 08:00
	>> БД на 30 терабайт вообще есть как у фэйсбука? > У церна больше. "Completely missed point". Меня в том контексте больше интересует даже не база и не сам ее размер - сколько факт что пару миллиардов хомяков дружно и активно вытаптывают поляну. При этом они обречены прозвонить даже очень экзотичные закоулки кодовой базы. А у церна может быть - что угодно. Но это - с каким количеством юзеров и их уровнем активности? И как это с миллиардами юзерей книги относится? Ну вон они и тестят рефлинки прям на пользаках в проде в результате. > А вообще у меня файлохранилище на 20 тб, видеоархивы на 200+ тб. > Сейчас ждём поставку дисков по 20 тб, вместо 4 и 6, так > что эти 200+ вырастут до 1000+ тб. А вот именно баз - чего именно активно эксплуатируемых - на 30 Тб у вас таки врядли есть. Довольно экзотичнай штука. Поэтому разваливается ли у вас что-то на 25-м терабайте - ну, кому оно надо тот прям своей тушкой и узнает, фигли.
	Ответить | Правка | Наверх | Cообщить модератору

	137. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."	+/–
	Сообщение от нах. (?), 11-Апр-24, 07:52
	> Меня в том контексте больше интересует даже не база и не сам ее размер - сколько факт что пару > миллиардов хомяков дружно и активно вытаптывают поляну. лолшта? Прям не покидая своих беговых колес вытаптывают? Поляна распахана, размечена колышками и обрабатывается комбайном по раз навсегда установленной линеечке. Шаг влево-вправо не предусмотрен конструкцией. Вот в этих пределах - все и чинно-благородно проверено и настроено. При сбое сервера - причем не полном отказе а выходе 99процентного персентиля за положенные границы - никто не будет разбираться ни в каких csum, его выводят из эксплуатации сразу, весь, и включают следующий. А этот - reset/reinstall/test - и если тест сбойнет - вынимают из стойки и выкидывают. И нет, там никаких деллов с леновами, там собственная наколеночная платка в корпусе из картона и грязи. А у церна эксперименты стоят очень дорого и повторить их в обозримом будущем никто не даст. И это с юзерами которые нет-нет да и захотят странного, и необычного - они во превых вчоные, им по должности странного хотеть положено, а во-вторых никакие админы не угадают что им сегодня захочется. > И как это с миллиардами юзерей книги относится? никак. Точно так же как твои поделки. Ты - не мордокнига. (впрочем и не церн, ничего у тебя там нет ценного)
	Ответить | Правка | Наверх | Cообщить модератору

	141. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."	+/–
	Сообщение от Аноним (-), 11-Апр-24, 15:48
	>> миллиардов хомяков дружно и активно вытаптывают поляну. > лолшта? Прям не покидая своих беговых колес вытаптывают? Хома у соседа в тему затестил: дизайн с багом! Ось перетерлась и крякнула! А ты гришь! Это работает! :) > линеечке. Шаг влево-вправо не предусмотрен конструкцией. Вот в этих пределах - > все и чинно-благородно проверено и настроено. У них там вероятно есть несколько разных сценариев. При том судя по багам - весьма нагруженных, чем они и интересны. Стресстестит GC и проч по полной -> то что надо. > При сбое сервера - причем не полном отказе а выходе 99процентного персентиля > за положенные границы - никто не будет разбираться Тебе не приходило в голову что я выводы делал глядя на git log майнлайна и характер фиксов? Наблюдаемое отличалось от той теории. Т.е. некий анализ отказов есть. Суммируется, агрегируется, выводы делаются, проблемы заруливаются. Норм рабочий процесс. Это нормально, часть процесса минимизации обслуги систем. Даже я научился в азы failure analisys, жизня заставила. > ни в каких csum, его выводят из эксплуатации сразу, весь, и включают следующий. Если железо - да. Если софт - анализируют, твикают, чинят, улучшают. Csum error им нравится как раз ранним детектом проблем железа. > собственная наколеночная платка в корпусе из картона и грязи. Да и какая разница... в конечном итоге подобная проблематика есть много у кого. > А у церна эксперименты стоят очень дорого и повторить их в обозримом > будущем никто не даст. Церн это нишевая штучная фиговина. Может оно и по своему круто, но нужно именно это, именно так, очень узкой касте маргиналов. Это знание может и не быть релевантно на более приземленных сценариях. > а во-вторых никакие админы не угадают что им сегодня захочется. У них активность рядом не стояла с миллиардом фэйсбучных хомяков. А интересуют не рекорды а вытоптаная поляна. Прозвон механики ФС в всех закоулках, с самыми дурацкими сочетаниями. В случае CoW например вопрос как gc работает достаточно актуален. В том смысле что при постоянной нагрузке он должен успевать подгрести за writer'ом, иначе будет фэйл. > никак. Точно так же как твои поделки. Ты - не мордокнига. (впрочем > и не церн, ничего у тебя там нет ценного) Спасибо кэп, и как я сам не догадался? Однако общий стресс тест механики улучшает состояние дел и для меня. Миллиард юзеров в этом смысле сильно полезнее пары рекордных но куда менее нагруженых хранилок. Чисто статистически больше всякой странной хни вытопчут.
	Ответить | Правка | Наверх | Cообщить модератору

	143. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."	+/–
	Сообщение от нах. (?), 11-Апр-24, 16:06
	> У них там вероятно есть несколько разных сценариев. есть. Только твоих среди них - нет. > Тебе не приходило в голову что я выводы делал глядя на git log майнлайна и характер фиксов? лучше б ты делал выводы на основе опыта работы в фейсбуке. Он, в принципе, общедоступен при некотором усилии, чужой - необязательно самому продаваться. > Церн это нишевая штучная фиговина. мои поделки - что дома, что на работе - сплошь нишевые штучные фиговины. Потерям данных в них при этом я рад совершенно не буду и возне с восстановлением тоже - у меня жизнь вообще всего одна. Поэтому опыт церна мне иногда может быть интересен, а опыт фейсбука - совершенно нет, ровно ноль точек пересечения Нет, миллиард юзеров с совершенно одинаковым и ни шагу в сторону юзпаттерном полезны только тем странным кто построил себе дома фейсбук в натуральную величину. Чисто статистически у тебя ровно ноль шансов попасть в ту же колею.
	Ответить | Правка | Наверх | Cообщить модератору

	148. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."	+/–
	Сообщение от Аноним (-), 12-Апр-24, 14:51
	>> У них там вероятно есть несколько разных сценариев. > есть. Только твоих среди них - нет. Да ну ладно, там что, инопланетяне чтоли работают? Вот в CERN - я еще поверю. У них там специфичные задачи, которые с моими врядли пересекутся. Зато многие аспекты которые мастхэв для беспилотных штук - ученых не волнуют. Они то если что - посчитают свое добро и на месяц позже, куда им спешить? А это проблемка, будут хотеть другого. Не, приставлять к каждой байде с кредитку размером - и даже серваку - по энтерпрайз-админу в мои планы совершенно точно не входит. И мне нужен менедмент ОС и ее частей который с этой идеей дружит, соответственно. Поэтому чем проще управление и меньше внимания вот это все требует в run time тем оно более ЗБС в моих глазах. Это довольно приоритетный критерий для меня. Фейсбук в этом смысле мало чем отличается. > лучше б ты делал выводы на основе опыта работы в фейсбуке. Он, > в принципе, общедоступен при некотором усилии, чужой - необязательно самому продаваться. Я думаю что у разных тушек этот опыт очень ... разный. К питоняше можно относиться как к г-ну, вышибив его с треском и заменив на нового из очереди за забором. А файлушников например хрен так заменишь. Ну их и ценить будут - сильно иначе, соответственно. Туда же и гранды сжатия типа Cyan/Przemislaw Skibinsky и тому подобные. Штучный товар. > мои поделки - что дома, что на работе - сплошь нишевые штучные фиговины. Тут проблема в том что характер нагрузки и проч - сильно другие. И то что CERN что-то там - не очень релевантно вообще. А фэйсбук что, они ничего супер-экзотичного с ФС AFAIK не делают. > Потерям данных в них при этом я рад совершенно не буду и возне с восстановлением > тоже - у меня жизнь вообще всего одна. Это как бы разумно. Просто у CERN все будет сильно отличаться от твоего сетапа, да и врядли у них вот именно активность на хранилке - ломовая и сравнима с миллиардом юзерей мордокниги на большом парке серверов. Который чисто статистически прозвонит почти все мыслимые code paths в результате. > Поэтому опыт церна мне иногда может быть интересен, а опыт фейсбука - > совершенно нет, ровно ноль точек пересечения А я считаю что результат теста хомячками мне окажется полезнее чем ученых из CERN с нишевыми кейсами. > Нет, миллиард юзеров с совершенно одинаковым и ни шагу в сторону юзпаттерном > полезны только тем странным кто построил себе дома фейсбук в натуральную > величину. Чисто статистически у тебя ровно ноль шансов попасть в ту же колею. С чего такие сведения? Они ФС вроде юзают без какой-то особой экзотики, а ломовая нагрузка на куче серверов - прозванивает code path в самых разных закоулках. И все что может отвалиться - отваливается. В этом и смысл пуска хомяков на поляну.
	Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема