ITjes en datjes

Dingen uit dagelijks IT werk

Posts Tagged ‘backup

Flexible fileserver on Debian Stretch

Finally getting around to reinstall my fileserver, I wanted to make it flexible with data integrity.
ZFS wasn’t flexible enough for my tastes, and LVM has no integrity check, so I had to create something with btrfs.

Early tests with using btrfs on LVM for root and /boot made the virtual machine unbootable, but using btrfs directly was no problem.
This meant I still had to use separate partitions for /boot, root, and swap (on mdraid10), and then use the rest for LVM.

It seems the installation of Stretch has trouble when adding raid or lvm afterwards, so I partitioned the installation this way:

vda1, 512M, bootable, btrfs, /boot
vda2, 4096M, btrfs, /
vda3, 512M, device for raid (to be made swap after creating raid10 after installation)
vda4, LVM
LVM:
vg0: vda4, vdb4, vdc4
lv’s:
tmp_0, 512M, btrfs, /tmp
home_0, 1024M, btrfs, /home
var_0, 1024M, btrfs, /var

After installation I created the same partitions for vdb and vdc, then created the mdraid10 for swap:
mdadm –create –run /dev/md99 –level=10 –layout=n2 raid-devices=3 /dev/vda3 /dev/vdb3 /dev/vdc3
mkswap /dev/md99

With that done I exchanged all /dev/mapper devices for the UUID’s of the btrfs devices in /etc/fstab and did a reboot as test.

With everything running I created logical volumes tmp_1, tmp_2, home_1, home_2, etc. by specifying the different physical devices to be put on:
lvcreate -L 512M -n tmp_1 vg0 /dev/vdb4
lvcreate -L 512M -n tmp_2 vg0 /dev/vdc4

Adding the LV’s to btrfs:
btrfs device add -f /dev/mapper/vg0-tmp_1 /dev/mapper/vg0-tmp_2 /tmp
btrfs device add -f /dev/mapper/vg0-home_1 /dev/mapper/vg0-home_2 /home

btrfs balance start -dconvert=raid1 -mconvert=raid1 /tmp
btrfs balance start -dconvert=raid1 -mconvert=raid1 /home

For unimportant data I made a logical volume striped across the three disks:
lvcreate -L xxG -n roraid -i 3 vg0
mkfs.ext4 /dev/mapper/vg0-noraid (could also be btrfs but the data integrity isn’t important here.
..and added its UUID to fstab with mountpoint /data/noraid

For the data protected with checksum integrity:
create three LV’s raid1_0, 1, 2 on the three PV’s like /tmp, /home, etc. above and make another btrfs raid of these.

Last, don’t forget to grub-install /dev/vdb and /dev/vdc.

The /data/raid1 mount point caused an error after first reboot, but later no more. Maybe a glitch in the matrix..

With this setup I can expand /tmp, /home, /var, /data/noraid and /data/raid1 as needed since I don’t know if I get more data for raid or not.
With two fileservers I can keep a backup of the raid1 data of one server on the noraid volume of the other. The btrfs volumes only protect from bit rot after all.

And if it really fills up I can start exchanging the disks for bigger ones.

 

Advertenties

Written by mnystrom

2016/04/04 at 22:20

Opslag met integriteit controle

Regelmatig is al de vraag over de beste manier van opslag langsgekomen. Er zijn veel opties zoals harde schijven, de bekende tapes, branden op CD/DVD/etc., etc. Een belangrijk aspect is ook de houdbaarheid van data; iets wat nu opgeslagen wordt moet na vele jaren nog altijd leesbaar zijn. Ook veiligheid is belangrijk, bij brand moet niet alles kwijt zijn bijvoorbeeld.

Om dit alles voor elkaar te krijgen worden er drie opslag servers ingezet, elk met een complete kopie van alle data op harde schijf. De schijven draaien in RAID, naar wens 1, 5, 6, of 10.
De synchronisatie kan naar wens continue of 1 of meerdere keren per dag draaien.
Integriteit wordt gecontroleerd door een database van hashes van de bestanden op elke server met elkaar te vergelijken. De hashes kunnen ook continue of om de zoveel tijd gemaakt worden. Als er bij vergelijk 1 server van de drie afwijkt, dan kan (eventueel automatisch) het foute bestand overschreven worden door 1 van de twee andere. Eventueel kan dit bestand voordat het overschreven wordt nog op backup gezet worden.

Het verwijderen van data kan gedaan worden door het te verplaatsen naar een aparte directory waarbij het systeem hetzelfde uitvoert op de overige servers. Daarna kan het na bepaalde tijd permanent (eventueel weer na een aparte backup) verwijderd worden.

Het geheel is niet het eenvoudigste, maar het zorgt er wel voor dat de data goed bewaard blijft in geval van calamiteiten maar ook beschermd is tegen zogenaamde bitrot.

Written by mnystrom

2012/08/20 at 13:20

Geplaatst in backup, opslag

Tagged with , ,

ff onthouden; diverse dingetjes

Telnet test mail;

telnet smtp.mailserver.nl 25
Trying ip adress…
Connected to mail.mailserver.nl.
Escape character is ‘^]’.
220 mailserver.nl ESMTP provider mailservice ready
helo
501 Syntax: HELO hostname
helo svmbitz01001.mbitz01.local
250 mail.mailserver.nl
mail from: user@svmbitz01001.mbitz01.local
250 2.1.0 Ok
rcpt to:user@mbitz.net
250 2.1.5 Ok
data
354 End data with <CR><LF>.<CR><LF>
subject:test delivery mail
insert body text here
.
250 2.0.0 Ok: queued as 96582184093
quit
221 2.0.0 Bye
Connection closed by foreign host.

ATF software;

Fout xxxx.xx is not a floating point number: landinstellingen aanpassen en de punt als decimaal teken zetten.

Brother printers;

Drum reset als dit na vervanging niet gedaan is: druk 3 + 9 tegelijk in, bevestig in het menu de drum reset.

Drakon: visual programming language, flowchart programmeering, handig voor opzet van processen en basis voor software schrijven

Snapraid: semi raid en backup optie voor opslag (*nix, Windows, OSX)

 

Written by mnystrom

2012/05/22 at 20:18

Simpel MKB; backup

Soms zetten we bij M.Bitz voor het MKB een workstation met Windows (XP) in als simpele server voor centrale opslag van de bestanden, printserver en backup van losse pc’s.

Een manier om de backup te regelen die we gebruiken is Cobian backup op de pc’s te installeren en die slaat alles op op een aparte backup share op de server. Om dat een beetje te beveiligen moeten een paar dingen gedaan worden;

Op de server en pc’s eenzelfde account maken met gelijk wachtwoord, bijvoorbeeld backupuser met wachtwoord B4ckupP4ssw0rd. Op de pc’s moet dit account dan wel lid worden van de administrators, alleen lid van backup operators is niet voldoende.

Tijdens de installatie van Cobian wordt dit account gebruikt voor de engine service, Cobian zal dan zelf de rechten voor het starten van services op dit account instellen.

Op de server wordt dan een share aangemaakt, rechten van iedereen wijzigen naar volledige controle, maar de bestand permissies moeten gewijzigd worden naar alleen rechten voor de lokale administrators, systeem en het backup account.

Als extra kan het account nog uitgesloten worden van de lijst in het welkom scherm door in de registry de naam toe te voegen. Open de key HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows NT\CurrentVersion\Winlogon\SpecialAccounts\UserList en voeg daar een DWORD value toe met de naam van het backupaccount. Laat de waarde op 0 staan.

Written by mnystrom

2011/02/25 at 13:58

Geplaatst in installatie, MBitZ, software

Tagged with , , , , ,