Существует огромное количество решений для backup’а, с внушительными каталогами которых можно ознакомиться, например, по адресам:

• http://www.debianhelp.co.uk/backuptools1.htm
• http://www.debianhelp.co.uk/backuptools.htm

Мы же будем использовать rdiff-backup как идеальный (IMHO, of course) компромис между логической простотой, гибкостью и функциональностью для small-medium инсталляций.

Основная идея заключается в следующем: по расписанию на машинах вызывается скрипт, который, в соответствии с настройками в fstab-like файле конфигурации совершает инкрементальное резервное копирование указанных разделов/блочных устройств в локальный или удаленный каталог, предварительно создав LVM-снэпшот раздела (для тех случаев, где это возможно). Инкрементальное копирование означает сохранение лишь различий между двумя backup’ами, что значительно сокращает требования к времени и ресурсам дисковой подсистемы.

Стоит отметить, что основное предназначение приведенных скриптов — облегчить работу именно с блочными устройствами, поскольку с просто файлами/каталогами rdiff-backup отлично умеет разбираться самостоятельно. Поэтому, для случая, когда требуется бэкап лишь нескольких директорий или файлов, приведенные ниже скрипты являются излишними.

Шаг 1: установка

На всех машинах, которые хотим вовлечь в процесс бэкапа, устанавливаем rdiff-backup. В Ubuntu Intrepid сейчас доступна версия 1.1.16, в Debian Lenny — 1.2.5, поэтому, если планируется использовать сервер с Debian’ом, а клиентов на Убунте, необходимо в последней установить rdiff-backup из PPA. Иначе, из-за несовпадения мажорных версий, не будет работать режим удаленного копирования.

Какой-то дополнительной настройки rdiff-backup не требует, могу лишь порекомендовать почитать `man rdiff-backup` и документацию в /usr/share/doc/rdiff-backup.

Шаг 2: backuptab

Резервное копирование будет организовано централизованно (за небольшим исключением, о котором позже).

В файле /etc/backuptab пропишем “план” бэкапа в следующем формате:

# <Block device>\t+<Target backup directory>\t+<Increments keep time>\t+<snapshot>
/dev/orion/betelgeuse	/srv/backup/betelgeuse		1W	1
/dev/sda1		/srv/backup/betelgeuse/boot	1W	0
/dev/orion/data		/srv/backup/data		1W	1

Т.е. это разделенные одним или несколькими табами:

• Исходное блочное устройство,
• Целевая директория, в которую будет производится копирование,
• Максимальный срок хранения инкрементальной информации rdiff-backup,
• Флаг, указывающий, создавать ли снэпшот перед копированием раздела (что, естественно, применимо только к LVM logical volumes).

Шаг 3: скрипты

Этот файл будет читаться самописным скриптом, который бесхитростно назовем backup.sh.

Данный скрипт читает наш /etc/backuptab, пропускает комментарии и пустые строки и поочередно для каждой строки вызывает worker-скрипт с соответствующими параметрами. Последний делает всю основную работу по созданию снэпшотов, монтированию устройств, вызовам rdiff-backup, etc. Исходник: backup-worker.sh.

Оба этих скрипта нужно разместить где-нибудь в PATH, я кладу их в /usr/local/sbin, этот же путь является значением по умолчанию. Команда для экспорта backup.sh и backup-worker.sh из SVN @ ungrund.org:

# svn export --force http://svn.ungrund.org/dev/adm/backup /usr/local/sbin

При изменении имени или пути двух файлов: backuptab и backup-worker.sh необходимо переопределить значения по умолчанию в главном скрипте backup.sh.

Шаг 4: cron

Теперь осталось добавить в крон вызов backup.sh по расписанию:

0  3    * * *   root    /usr/local/sbin/backup.sh

Шаг 5: клиенты

Бэкап с клиентских машин можно осуществлять по инициативе либо сервера, либо самих клиентов. Я выбрал второй вариант, потому что:

• В первом случае сильно усложняется процесс создания LVM-snapshot’ов;
• Клиенты могут самостоятельно выбирать время бэкапа, что, на мой взгляд, просто удобнее.

Записи в backuptab будут выглядеть примерно так:

/dev/blacksun/root	betelgeuse.ori::/srv/backup/blacksun		1W    1
/dev/blacksun/home	betelgeuse.ori::/srv/backup/blacksun/home	1W    1

Где ‘::’ разделено имя сервера и каталог на нем, куда будет производится копирование.

Крон аналогично серверу.

Да, рут с клиента должен иметь возможность логиниться по ssh на сервер по открытому ключу (или иным способом, но без непосредственного ввода пароля, что, естественно, критично для автоматизации). В простейшем случае достаточно будет на сервере изменить значение PermitRootLogin в файле /etc/ssh/sshd_config на without-password и добавить ключ с клиента командой:

# cat /root/.ssh/id_rsa.pub  ssh <servername> 'cat - >> /root/.ssh/authorized_keys'

Шаг 6: Оконец

По времени: первичный локальный бэкап 500Gb занимает порядка четырех часов. Последующие вызовы сокращают время до нескольких минут, в зависимости от количества файлов (AFAIU). По сетке процесс копирования затягивается в разы, так что будьте готовы.

That’s it!

Комментарии приветствуются.

Изначально была идея научить схему “moria”, которая мне в свое время больше всех нравилась, работать с 256-цветными терминалами. Постепенно, вместе с моими доработками, это оформилось в самостоятельный скрипт, примерно соответствующий моим представлениям о том, как должен подсвечиваться код.

Основная фишка — в мягком и гармоничном сочетании цветов, некоторой “естественности” подсветки синтаксиса: скорее всего, это сила привычки, но мне трудно, например, представить стринги не желтыми, а statement’ы не синими (как в некоторых IDE). Соответственно, под это подбирались остальные сочетания.

Результат трудов на http://www.vim.org/scripts/script.php?script_id=2140. Там же инструкции по установке, ссылки на svn и скриншоты.

Public domain!

http://trac.ungrund.org/dev/browser/adm/logwatch/logwatch.sh

Пример использования:

$ logwatch.sh -f /var/log/apache2/access.log -c hd -m root@ungrund.org -p 2 -q POST

Наблюдает за файлом /var/log/apache2/access.log с интервалом в 2 секунды, ищет строки с вхождением “POST”, при нахождении шлет письмо руту, на stdout выдает hex-dump найденной строки.

По результатам ответов характеризует вас по двум осям: экономической (left/right) и социальной (libertarian/authoritarian):

(под катом, но рекомендую)

Какова моя истинная сущность:

Для сравнения с другими деятелями:

И, кстати, переводить оказалось гораздо сложнее, чем я ожидал, вероятно, в силу обилия энциклопедических терминов и оборотов речи, с которыми не был знаком ранее.

Очень интересно, как будет развиваться.

ded_mitya> Самая прогрессивная идеология сейчас это по-моему, дауншифтинг.

aculeata> То есть, все-таки без космической навигации и термояда? И с кем жить: лешие, русалки, сирены и фавны требуют генной инженерии.

ded_mitya> Да нет, я думаю, это просто кратхайшая дорога к термояду космосу и наядам. С человеком, которому не нужны Феррари, дом в три этажа и плазменный телевизор во вся стену, ничего сделать нельзя (ну максимум — уничтожить физически).

Понимаете? Физик-экспериментатор ded_mitya здесь говорит о способе преодоления финансового рабства, по сути — о здоровом мотивационном ядре как противоположности мотивации потреблятской.

Следующий момент: мне очень вовремя попалась на глаза статья Michael Lopp’а “Build Anything”, перевод которой выложен ниже в этом посте. Вообще говоря, в ней идет речь о творческой инженерной способности, но она также может быть интересна как один из взглядов, как еще одна “имха” на природу креативности и человеческой деятельности вообще. Откуда у человека берется Воля к действию? Решительность довести начатое до логического конца?

Фишка же в том, что свободная от навязываемых ценностей личность как раз и строится из мотивации (целеполагания), основанной на стремлении к нематериальным ценностям (то, о чем говорит ded_mitya), объединенной с интенцией к активности, потенцей, силой, которая как раз и описывается в данной статье.

Итак, капля в море номер n, оригинал по ссылке.

Build Anything

Как инженер, если вы хотите “отшить” кого-нибудь, кто спрашивает, сможете вы или нет справиться с определенной задачей (‘build a thing’), просто скажите: “Имея достаточно времени, я могу создать что угодно”.

Это будет воспринято как увиливание от ответа, а о вас сложится мнение как о высокомерной особе.

При обсуждения расписания (schedule), такой ответ, в общем-то, не очень полезен. Вам потребуется время, чтобы объяснить ваши мысли вопрошающему, необходимо будет провести его через весь ваш процесс разработки — нужно иметь ясное представление о своих силах при обсуждении подобного рода вещей. Это хорошая возможность научиться, а не выставить себя придурком.

Тем не менее.

Имея достаточно времени, инженер может создать что угодно.

Я настроен оптимистично.

И я нанимаю оптимистов.

Как и в любой профессии, в разработке программного обеспечения могут быть заняты совершенно разные личности, но я хочу иметь у себя в штате оптимистов. Я также не ищу “Так-точно боев”; я заинтересован в тех, кто, когда их загоняют в угол и нацеливают им пистолет в голову, говорят: “Хуй с ним, как-нибудь выкарабкаемся”.

Такой тип оптимизма может содержаться в любых типах личностей, но когда становится по-настоящему жарко (в оригинале — очень смешное выражение: “when the shit hits the fan”), он проявляется в своей действительной полноте и тогда, благодаря ему, создается невозможное.

За два десятка лет работы в Силиконовой (|| Кремниевой) Долине, я счастлив констатировать тот факт, что она полна таких вот чокнутых оптимистов. Это люди, которые:

• Тяжело работают;
• Даже перевыполнив план, продолжают свой труд;
• Всегда искренне готовы помочь друг другу (Rampantly go out of their way to help each other);
• Имеют за спиной череду впечатляющих успехов.

Естественно, ареал обитания таких людей не ограничивается ни Долиной, ни одной страной — они живут по всему миру, но сейчас я говорю именно про свою страну (САСШ).

Мы даже близко не находимся к решению той проблемы, в которую сами же себя и загнали. Я также не думаю, что большинство американцев полностью осознают всю серьезность финансового кризиса. Мы все искренне ждем какого-то чуда от Рождества, искажая суть праздника пустой надеждой (We’re all fervently staring at Christmas, confusing the holiday spirit for hope).

Тем не менее, я остаюсь оптимистом.

Вне зависимости от того, кто победит на выборах, остается вопрос тот же самый вопрос: “Самодостаточны ли мы, чтобы создавать самих себя? Можем ли мы заново сделать нашу страну местом, которое мы действительно уважаем?”

Да, мы можем (“Yes, we can.” — лозунг избирательной кампании Обамы).

Я живу на Западном побережье САСШ, которое является тем местом, куда отправлялись первые колонисты затем, чтобы самим быть в силах определять как они будут жить, но и вся остальная страна также построена на этой идее — мы сами выбираем, кем нам быть.

Сейчас я сижу вместе с капризными инженерами (cranky engineers) — чокнутыми оптимистами — и я надеюсь, что мы все разделяем этот дух оптимизма, потому что, well, имея достаточно времени, мы можем создать все, что угодно.

• Пропорциональные с засечками, serif. Широко используются в типографии, где не присутствуют ограничения, связанные с низкой разрешающей способностью (DPI) отображающих устройств; в “электронных” материалах ими оформляются различные более-менее объемные статьи, руководства, тексты книг и т.д.
• Пропорциональные без засечек, sans-serif. Используются в оформлении интерфейсов программ. Как считается, легче для восприятия на устройствах с низким разрешением (таких, как, например, обыкновенные мониторы).
• Моноширинные, monospace. В основном используются там, где важно соблюсти структуру текста, например, в текстовых схемах, ASCII-арте; также в листингах кода.

Корейские “Jamo” — основной слоговый элемент письменного корейского языка — очень красивы в начертании. Особенно это заметно, если используется шрифт “с засечками” и почти не заметно, если шрифт “без засечек”. Поэтому, встала задача: все корейские символы, отображаемые шрифтом sans-serif, заменять на шрифт из семейства sans, сохраняя, при этом, семейство по умолчанию для символов не-корейского алфавита.

По крайней мере в линуксе, sans, serif и monospace выступают в качестве “алиасов” для одного или нескольких шрифтов, представляющих семейство в целом, и для современных дистров им соответствуют шрифты из сеймейства DejaVu. Таким образом, можно в определенном месте (например, в терминале) выставить шрифт “Monospace”, а на деле будет отображаться DejaVu Monospace, так же для всей системы целиком. Это удобно, если вдруг захочется, чтобы моноширинный текст рендерился, например, Terminus’ом. Для корейских символов верно такое соответствие в Ubuntu 8.10:

• Serif: UnBatang
• Sans-serif: UnDotum
• Monospace: AFAIU, все корейские шрифты являются моноширинными, по умолчанию установлен UnDotum.

Мне очень нравится UnBatang, поэтому в интерфейсе (Sans) я хочу видеть именно его вместо некрасивого UnDotum. Соответствия шрифтов с “алиасами” Serif и Monospace остается назначить по вкусу, пока я остановился на UnGungseo и UnDotum соответственно. Примерно так (не забывайте кликать по картинкам):

А как отображается у вас? 안녕하세요!

Локальную конфигурацию рендеринга шрифтов (fontconfig & ko) рекомендуется осуществлять через ~/.fonts.conf, исчерпывающее описание которого приведено в man fonts-conf. Итак, нам нужно, когда приложение попросит шрифт определенного алиаса (sans-serif, serif, monospace) для отображения символов корейского языка, отдать называние желаемого шрифта вместо алиаса (или как-то так). Консультируемся с маном, в конфиге пишем:

~/.fonts.conf

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35

<?xml version="1.0"?>
<!DOCTYPE fontconfig SYSTEM "fonts.dtd">
<fontconfig>
 
<!-- Set some nice default korean fonts -->
 
        <match target="pattern">
                <test qual="any" name="family"><string>sans-serif</string></test>
                <test qual="any" name="lang"><string>ko</string></test>
 
                <edit name="family" mode="assign" binding="strong">
                        <string>UnBatang</string>
                </edit>
        </match>
 
        <match target="pattern">
                <test qual="any" name="family"><string>serif</string></test>
                <test qual="any" name="lang"><string>ko</string></test>
 
                <edit name="family" mode="assign" binding="strong">
                        <string>UnGungseo</string>
                </edit>
        </match>
 
        <match target="pattern">
                <test qual="any" name="family"><string>monospace</string></test>
                <test qual="any" name="lang"><string>ko</string></test>
 
 
                <edit name="family" mode="assign" binding="strong">
                        <string>UnDotum</string>
                </edit>
        </match>
 
</fontconfig>

Вот и все! Выглядит же это так:

Обратите внимание, в качестве шрифта для системного интерфейса установлен Sans (он и отображается), и он же выбран в программе “Таблица символов”, где отображается UnBatang, вместо UnDotum. Ура!

Поскольку jamo объединяют в себе от двух до четырех символов, выглядят они заметно мельче, чем буквы латинского или кириллического алфавитов. Если же jamo “растянуть” при помощи fontconfig, т.е. чтобы они при размере X всех прочих символов отображались бы размером на Y большим, X+Y, то они перестанут вмещаться в текстбоксы, расчитанные на более мелкий (X) размер шрифта. Т.е. вместо

получим

Если вы все же хотите попробовать, вот код, который нужно добавить в match’и:

<edit name="matrix" mode="assign">
        <times>
                <name>matrix</name>
                <matrix><double>1.2</double><double>0</double>
                        <double>0</double><double>1.2</double>
                </matrix>
        </times>
</edit>

For those who are curious, так может выглядеть “кореезированная” убунта (скрин с ноута):

Некоторые удачные места позаимствованы из альтернативного и, так и не опубликованного, перевода от камрада andrew.

Итак, примем за истину следующий факт:

Сегодня — первый день вашей оставшейся жизни

Слышали это и раньше, верно? Возможно, это что-то вроде выражения “Время — деньги” — чему мы понимающе киваем и возвращаемся назад к обыденности.

Вообще говоря, тот факт, что сегодня — уникальный день начала новой недели может означать как хорошее, так и плохое. В духе реалистического оптимизма, встретим плохое первым.

Плохие новости: Вы никогда не сможете вернуть назад сегодняшний день. Он просто уходит и все. Вперед к завтра.

Хорошие новости: Прямо сейчас, этот день (и вся эта неделя целиком) доступна для реализации. Выбор остается за вами: потратить время либо впустую на неинтересые и неважные для вас вещи, либо на то, что приближает вас к тому, кем и где вы хотите быть.

Как-то так все и обстоит, не сложнее, хотя практическое исполнение может доставить сложности даже самым лучшим специалистам по реализации мечт. Какой из этого может быть найден выход?

Сегодня — начало вашей новой жизни

С одной стороны, у всех у нас имеются обязательства и обязанности. Далеко не все они плохи — так, у нас есть обязательства перед любимыми, к примеру, что мы будем продолжать поддерживать определенные отношения и не расстанемся с ними. Проблема же заключается в том, что мы привыкли рассматривать все обязанности как раз и навсегда установленные, на самом же деле, многие из них вовсе не обладают той обязательной силой, которую им принято приписывать. Мы продолжаем принимать их потому что нам нравится быть занятыми, нравится, когда в нас нуждаются, либо же просто потому, что мы до конца не уверены в том, чем следует заниматься каждый день.

Я обнаружил, что безусловная необходимость большинства планов может быть отменена. Удивительно многие обязательства могут быть легко отложены и без наступления конца света. На самом деле, вам совершенно не необходимо делать все то, что люди постоянно ожидают от вас.

Некоторые люди считают, что это глупо и не сработает для них. Послушайте, делайте то, что вам подходит и что выгодно для вас; мотивация работает — пользуйтесь ей. Не задавайте вопросов. Вокруг и так слишком много скептиков.

Что делать, если вы на неверном пути?

У меня есть ровно одно предложение: измените курс так быстро, как только сможете. Не ждите. Кто-то на прошлой неделе сказал в комментариях, что самоуспокоенность подобна “медленной смерти души”. Не могу подобрать выражение более точное. Если работа не дает вам раскрыться, учебная программа очевидно тупиковая и не предвещает дальнейшего успеха, если вам не нравится где вы живете, изменяйте ситуацию и чем быстрее, тем лучше.

Предполагая, что вы действительно на верном пути, более вероятна опасность рассеять усилия на все эти обязательства и неотносящиеся к задаче дела, что вечно путаются под ногами.

Чтобы преодалеть такое сопротивление, ответьте для себя на следующие вопросы:

• Можете ли вы сегодня сделать что-то сверх обычного плана?
• Существует ли нечто, что вы могли бы сделать на этой неделе и что способствовало бы достижению задач, поставленных вами на пять лет вперед?
• Можете ли вы помочь кому-либо осуществить что-то, что никто другой сделать не в состоянии?

Если же да, то я бы порекомендовал, чтобы вы провели эту неделю именно так. Редко такая схема срабатывает на 100%, но однажды мы все-таки сможем достичь финиша, даже делая два шага вперед и один назад. Реальная потенция отдельного акта, возможно, следующего из ответа на поставленные выше вопросы, не должна быть недооценена.

Подобные действия принесут больше пользы, чем выполнение обыденных обязательств. Вы обретете нечто большее, чем деньги или отметку о соблюдении графика. Вы сможете сказать, что сегодня было началом, а эта неделя — исключительными семью днями.

Готовы?

Дистрибутив: Debian Lenny

Нашим требованиям соответствует утилита vnstat, к которой полагается веб-интерфейс под оригинальным названием vnstat PHP frontend. vnstat не является “трафик-монитром” в том смысле, что он не прослушивает определенные интерфейсы (как, например, ntop), но запускается через интервалы времени, запоминает статистику из /proc и складывает ее в /var/lib/vnstat/. При таком раскладе, естественно, что никакой речи о “серьезном” биллинге не идет, однако же, мы получаем нересурсоемкую, KISS-систему, представляющую загруженность интерфейсов в наглядном виде.

Basic Installation

Установка и настройка тривиальны, поэтому от слов к делу:

sudo aptitude install vnstat

Создаем первичные “БД” для выбранных интерфейсов:

sudo vnstat -u -i eth1 --nick inet
sudo vnstat -u -i wlan0 --nick home

с -u создаем (обновляем) информацию об интерфейсе в /var/lib/vnstat, с -i указываем конкрентый интерфейс, с –nick задаем имя, которое будет отображаться в выводе статистики. Эти команды запускаются от привелегированного пользователя, просмотр статистики таких прав в дальнейшем не требует.

При установке добавилось cron-задание, по которому vnstat -u вызвается каждые 5 минут для обновления статистики. Согласно ману, если ваш канал толще 100Mbps, то это время нужно сократить и для 1Gb оно должно составлять 30 секунд. Помимо этого ограничения, vnstat также не умеет считать трафик на суб-интерфейсах.

Еще у него есть конфиг!

sudo sh -c 'vnstat --showconfig > /etc/vnstat.conf'

Опций несколько, я же поправил только default interface.

Просмотреть собранные данные можно либо просто запустив vnstat без аргументов, либо задав дополнительные ключи. На домашней страничке проекта показаны несколько таких красивых выводов, поэтому я не буду повторяться.

Web-interface

Homepage: http://www.sqweek.com/sqweek/index.php?p=1

Качаем:

wget http://www.sqweek.com/sqweek/files/vnstat_php_frontend-1.4.tar.gz

Кладем в куда-нибудь, например в /srv/www/admin.example.com/stat/vnstat

Правим конфиг /srv/www/admin.example.com/stat/vnstat/config.php:

/srv/www/admin.example.com/stat/vnstat/config.php

30
31
32
33
34
35
36
37
38
39

    // list of network interfaces monitored by vnStat
    $iface_list = array('eth1', 'wlan0');
 
    //
    // optional names for interfaces
    // if there's no name set for an interface then the interface identifier
    // will be displayed instead
    //    
    $iface_title['eth1'] = 'inet';
    $iface_title['wlan0'] = 'home';

Надо указать бинарник, вывод которого будет парсится (я так понимаю), а $data_dir присвоить пустое значение:

54
55

    $vnstat_bin = '/usr/bin/vnstat';
    $data_dir = '';

Теперь в конфиге вхоста апача admin.exapmle.com пишем:

/etc/apache2/sites-available/admin.example.com

Alias /stat/vnstat "/srv/www/admin.example.com/stat/vnstat/"
 
<Location /stat/vnstat>
        AuthType Basic
        AuthName "Service admin"
        AuthuserFile /etc/apache2/service.passwd
        Require valid-user
</Location>

Аутентификация опциональна, но очень желательна; должна быть настроена, описывать не буду.

Все, теперь статистика будет доступна после аутентификации по адресу http://admin.example.com/stat/vnstat

Получится нечто такое:

That’s it!

В такой ситуации европейские банки кинулись скупать доллары за евро на спот-рынке, одновременно, чтобы избежать появления валютной позиции, им приходилось откупать евро на форвардах по любым ставкам. На рынке валютных свопов Implied yield по евро в какие-то моменты даже становилась отрицательной, так как европейские банки были готовы доплачивать, размещая депозиты в евро в других банках, лишь бы только в обмен получить долларовый пассив. Понятное дело, что наличие такого спроса на доллары стало причиной его сильнейшего укрепления против основных валют. Причем это укрепление не имело ничего общего с пресловутым «бегством в качество».

В том случае, если вы забыли или не знакомы с значением того или иного термина, всегда можно обратиться к всепомогающему гуглу или википедии. Дерзайте!

Анализ финансового кризиса: “Когда качнется маятник?”