ITjes en datjes

Dingen uit dagelijks IT werk

Archive for the ‘backup’ Category

Flexible fileserver on Debian Stretch

Finally getting around to reinstall my fileserver, I wanted to make it flexible with data integrity.
ZFS wasn’t flexible enough for my tastes, and LVM has no integrity check, so I had to create something with btrfs.

Early tests with using btrfs on LVM for root and /boot made the virtual machine unbootable, but using btrfs directly was no problem.
This meant I still had to use separate partitions for /boot, root, and swap (on mdraid10), and then use the rest for LVM.

It seems the installation of Stretch has trouble when adding raid or lvm afterwards, so I partitioned the installation this way:

vda1, 512M, bootable, btrfs, /boot
vda2, 4096M, btrfs, /
vda3, 512M, device for raid (to be made swap after creating raid10 after installation)
vda4, LVM
LVM:
vg0: vda4, vdb4, vdc4
lv’s:
tmp_0, 512M, btrfs, /tmp
home_0, 1024M, btrfs, /home
var_0, 1024M, btrfs, /var

After installation I created the same partitions for vdb and vdc, then created the mdraid10 for swap:
mdadm –create –run /dev/md99 –level=10 –layout=n2 raid-devices=3 /dev/vda3 /dev/vdb3 /dev/vdc3
mkswap /dev/md99

With that done I exchanged all /dev/mapper devices for the UUID’s of the btrfs devices in /etc/fstab and did a reboot as test.

With everything running I created logical volumes tmp_1, tmp_2, home_1, home_2, etc. by specifying the different physical devices to be put on:
lvcreate -L 512M -n tmp_1 vg0 /dev/vdb4
lvcreate -L 512M -n tmp_2 vg0 /dev/vdc4

Adding the LV’s to btrfs:
btrfs device add -f /dev/mapper/vg0-tmp_1 /dev/mapper/vg0-tmp_2 /tmp
btrfs device add -f /dev/mapper/vg0-home_1 /dev/mapper/vg0-home_2 /home

btrfs balance start -dconvert=raid1 -mconvert=raid1 /tmp
btrfs balance start -dconvert=raid1 -mconvert=raid1 /home

For unimportant data I made a logical volume striped across the three disks:
lvcreate -L xxG -n roraid -i 3 vg0
mkfs.ext4 /dev/mapper/vg0-noraid (could also be btrfs but the data integrity isn’t important here.
..and added its UUID to fstab with mountpoint /data/noraid

For the data protected with checksum integrity:
create three LV’s raid1_0, 1, 2 on the three PV’s like /tmp, /home, etc. above and make another btrfs raid of these.

Last, don’t forget to grub-install /dev/vdb and /dev/vdc.

The /data/raid1 mount point caused an error after first reboot, but later no more. Maybe a glitch in the matrix..

With this setup I can expand /tmp, /home, /var, /data/noraid and /data/raid1 as needed since I don’t know if I get more data for raid or not.
With two fileservers I can keep a backup of the raid1 data of one server on the noraid volume of the other. The btrfs volumes only protect from bit rot after all.

And if it really fills up I can start exchanging the disks for bigger ones.

 

Written by mnystrom

2016/04/04 at 22:20

ff onthouden, diverse dingetjes

Handig?
Starwind tape redirector, maakt tape drives beschikbaar in virtual machines (Windows server 2012 R2 met de gratis virtual SAN installatie).

 

Written by mnystrom

2015/06/02 at 10:42

Geplaatst in backup, NL, virtueel, Windows

Opslag met integriteit controle

Regelmatig is al de vraag over de beste manier van opslag langsgekomen. Er zijn veel opties zoals harde schijven, de bekende tapes, branden op CD/DVD/etc., etc. Een belangrijk aspect is ook de houdbaarheid van data; iets wat nu opgeslagen wordt moet na vele jaren nog altijd leesbaar zijn. Ook veiligheid is belangrijk, bij brand moet niet alles kwijt zijn bijvoorbeeld.

Om dit alles voor elkaar te krijgen worden er drie opslag servers ingezet, elk met een complete kopie van alle data op harde schijf. De schijven draaien in RAID, naar wens 1, 5, 6, of 10.
De synchronisatie kan naar wens continue of 1 of meerdere keren per dag draaien.
Integriteit wordt gecontroleerd door een database van hashes van de bestanden op elke server met elkaar te vergelijken. De hashes kunnen ook continue of om de zoveel tijd gemaakt worden. Als er bij vergelijk 1 server van de drie afwijkt, dan kan (eventueel automatisch) het foute bestand overschreven worden door 1 van de twee andere. Eventueel kan dit bestand voordat het overschreven wordt nog op backup gezet worden.

Het verwijderen van data kan gedaan worden door het te verplaatsen naar een aparte directory waarbij het systeem hetzelfde uitvoert op de overige servers. Daarna kan het na bepaalde tijd permanent (eventueel weer na een aparte backup) verwijderd worden.

Het geheel is niet het eenvoudigste, maar het zorgt er wel voor dat de data goed bewaard blijft in geval van calamiteiten maar ook beschermd is tegen zogenaamde bitrot.

Written by mnystrom

2012/08/20 at 13:20

Geplaatst in backup, opslag

Tagged with , ,

ff onthouden; diverse dingetjes

Telnet test mail;

telnet smtp.mailserver.nl 25
Trying ip adress…
Connected to mail.mailserver.nl.
Escape character is ‘^]’.
220 mailserver.nl ESMTP provider mailservice ready
helo
501 Syntax: HELO hostname
helo svmbitz01001.mbitz01.local
250 mail.mailserver.nl
mail from: user@svmbitz01001.mbitz01.local
250 2.1.0 Ok
rcpt to:user@mbitz.net
250 2.1.5 Ok
data
354 End data with <CR><LF>.<CR><LF>
subject:test delivery mail
insert body text here
.
250 2.0.0 Ok: queued as 96582184093
quit
221 2.0.0 Bye
Connection closed by foreign host.

ATF software;

Fout xxxx.xx is not a floating point number: landinstellingen aanpassen en de punt als decimaal teken zetten.

Brother printers;

Drum reset als dit na vervanging niet gedaan is: druk 3 + 9 tegelijk in, bevestig in het menu de drum reset.

Drakon: visual programming language, flowchart programmeering, handig voor opzet van processen en basis voor software schrijven

Snapraid: semi raid en backup optie voor opslag (*nix, Windows, OSX)

 

Written by mnystrom

2012/05/22 at 20:18