ITjes en datjes

Dingen uit dagelijks IT werk

Bring civilisation to advertising on the web

leave a comment »

So, an editor at thenextweb.com is complaining about adblocking killing revenue for websites.

He’s right of course. Partially.
Websites do need income to run the cost of hardware and any paid employees, no arguement there, but incorporate those in a civilised manner and not many will complain and feel the need to block.

The why

The most common reason for people starting to use adblockers in the beginning were pop-ups, pop-unders, advertising with sound and video.
Advertisers have no business opening up browser windows without the user’s permission in the first place. It’s like putting billboards on the lawn just as someone was enjoying the weather outside.
They also have no business blasting sound out of my speakers. What if someone was browsing the web while the baby finally got to sleep? Or the spouse? Thank you for waking them up.
Using video is completely distracting, not to mention the bandwidth cost for people on slow lines. They’d have to wait for the ad to finish downloading before being able to get to the content. I even noticed the nextweb page constantly pulling data from three other domains.

Then there’s the question of privacy with the constant tracking (as an example thenextweb.com page links to 21 other domains via several more according to noscript). Not to mention it’s worthless to show advertising for products that have already been bought or have no relation to the content of the website.

The latest reason for blocking advertising networks is the security risk of malware being spread through it. We’ve had plenty of unlucky customers that needed a thorough cleanup or re-install of their computer because they got hit with a virus.
And if it’s not malware often useless optimisers or fake security software is shown to scam people out of their money.

All in all plenty of legitimate reasons to block advertising.

And the only reaction to these complaints is more sneaky ways of throwing ads into our faces. When I first loaded the above mentioned page I got the idea something was wrong as I only saw a large advert and I almost closed the tab thinking I’m never going to read thenextweb.com.

A proposed solution

What would be better? Take an example of the first days of Google. People flocked to them because they got tired of pages full of ads at the other search engines. There were ads, but simple text ones. And they even work in the browser of my choice, Links2!
The reason I use Links2 most of the time is to get rid of the useless fluff and intrusing adverts and just get to the content of the webpage. Nothing more, nothing less. There is no adblocker for this browser and I don’t need one. Do I see adverts? Yes, when they are part of the basic webpage. Do I mind? Not at all. Those are usually related to my interest in the content of the page.
For everything else there is Firefox with the noscript addon.

Go back to simple static adverts like pictures and text. They can still be hosted by external sites so the advertising industry can get their metrics. Security is a lot better when only specific types are allowed like .jpg, .png, etc..
People can read the content of pages without going through hoops and constant distraction and be more willing to return to the website.

It’ll be a while before advertisers grow up and stop trying to squeeze adverts into every second of our lives though.

Written by mnystrom

2015/05/17 at 17:58

Geplaatst in Uncategorized

ff onthouden, *nix dingetjes

leave a comment »

X11 connection rejected because of wrong authentication

Als user inloggen met ssh -X maar na root geen X applicatie kunnen starten. X heeft dan de sessie van de user nodig vanuit root.
Doe het volgende: xauth merge /home/[user]/.Xauthority
Dit kan een fout geven maar genegeerd worden als de X applicatie opgestart kan worden.

 

Written by mnystrom

2015/04/20 at 12:36

Geplaatst in linux, NL, software

Tagged with

Automatisch ophalen van data in Powerpoint

leave a comment »

Om een aantal onderdelen van Excel in een een Powerpoint presentatie automatisch bij te laten werken kan men de presentatie handmatig data laten ophalen, of de volgende macro kan gebruikt worden om de data op te halen bij wisseling van een dia;

Sub OnSlideShowPageChange(ByVal SSW As SlideShowWindow)
Dim oSlide As Slide
Dim oShape As Shape
For Each oSlide In ActivePresentation.Slides
For Each oShape In oSlide.Shapes
If oShape.Type = msoLinkedOLEObject Then oShape.LinkFormat.Update
Next oShape
Next oSlide
End Sub

In dit geval wordt het bij elke wisseling uitgevoerd (interval is hoog genoeg) maar het kan ook bij een specifieke dia;

Sub OnSlideShowPageChange(ByVal SSW As SlideShowWindow)
If SSW.View.CurrentShowPosition = 3 Then
….
End If

of begin of eind met;

SSW.View.CurrentShowPosition = SSW.Presentation.SlideShowSettings.StartingSlide / SSW.Presentation.SlideShowSettings.EndingSlide

 

Written by mnystrom

2015/03/30 at 09:39

Geplaatst in MBitZ, NL, Office, software

Tagged with , ,

notities bij omzetting naar RAID

*losse notities terwijl ik nog bezig met met de omzetting, het is nog niet geverifieerd

De oorspronkelijke opzet van de PC:
disk 1: /boot, 512MB, /, 32GB, swap, 4GB, /data/local/disk01, *GB
disk 2: /data/local/disk02, *GB

Wat ik wilde maken:
/boot, RAID10 512MB, /, RAID10 32GB, swap RAID10 4GB, /data/local/disk02, RAID10 *GB, /data/local/disk01, *GB met /boot, / en swap verdeeld over 1 320GB en 2 1TB schijven, disk02 verdeeld over de rest van de 2 TBschijven voor belangrijke data en virtuele machines en disk01 voor onbelangrijke data.

Helaas kunnen er maar 3 schijven aangesloten worden ivm de 4e poort voor de CD speler, anders had ik er meteen 4 gebruikt.

Als eerste de 3e schijf plaatsen, raid partities maken (fdisk, mdadm), formatteren (mkfs.ext4), mounten en data overzetten. Na de kopie fstab wijzigen en de disk02 mount omzetten van /dev/sdb5 naar /dev/md3, swap naar /dev/md2.
(niet vergeten om de bootable flag te zetten op de nieuwe boot partities)

*aangezien mdadm nog geen grow optie heeft voor raid10 is het misschien slim om bij het maken de optie –raid-devices=3 (of hoger) toe te passen. al zal dan waarschijnlijk de array constant als degraded vermeld worden..

Overzetten van / en /boot;

mount /dev/md1 /mnt
mount /dev/md0 /mnt/boot
mount –rbind /dev /mnt/dev
mount –rbind /proc /mnt/proc

Alles in / en /boot kopieëren met cp -bpRx /[dir] /mnt/[dir] behalve /dev, /proc, /tmp, /lost+found, /sys, /run. Deze zelf aanmaken in /mnt (let op de permissies).

chroot /mnt

Eventuele oude RAID array vermelding in /etc/mdadm/mdadm.conf verwijderen (de ARRAY regels aan het einde) en de nieuwe toevoegen via mdadm –detail –scan >> /etc/mdadm/mdadm.conf.

grub-mkconfig
grub-install /dev/sdb1 /dev/sdc1
update-initramfs -u

Testen door PC uitzetten, oude disk loskoppelen en PC weer starten.
Als boot lukt, oude disk via USB connectie herpartitioneren, aan RAID arrays toevoegen en na geslaagde sync weer inbouwen in PC.

 *grub.cfg

In de config van grub2 wordt verwezen naar uuid’s van de raid arrays en file systemen. Deze zouden bij migratie naar grote schijven aangepast kunnen worden mits er naar de juiste verwezen worden (zie blkid en mdadm –detail –scan).

De eerste vermelding in grub.cfg is;
set root=’mduuid/…’ verwijst naar naar de array id van root (md1)
if search –hint= verwijst naar mduuid/ array id md1 en blkid md1
else naar blkid md1

in het 10_linux gedeelte;
set root=’mduuid/ array id /boot (md0)
if search –hint=’mduuid/ array id md0′ en blkid md0
else blkid /md1

Het eerste kijkt dus meteen naar de root partitie, daarna wordt in 10_linux telkens gekeken naar de /boot partitie en alleen root als dat niet werkt.

Dit alles moet het volgende opleveren;
-opstarten van systeem en programma’s met een factor tot 3 versnellen
-opstarten virtuele machines versnellen met factor tot 2
-lezen van data vanaf disk02 versnellen met factor tot 2
-verlies van 1 schijf is geen verlies van functionaliteit, ten hoogste van onbelangrijke data op disk01
-schrijf snelheid kan verhoogd zijn tot factor 2
-eventuele uitbreiding van diskruimte door vervanging disks kan zonder opnieuw installeren

Snelheid testen via simpele tests;

hdparm -tT /dev/mdxx voor het testen van leessnelheid.
sync;time bash -c “(dd if=/dev/zero of=bf bs=8k count=500000; sync)” voor de snelheid van schrijven. Let op op welke plek dit wordt gestart, het bf bestand wordt 4.1GB groot.

 

Uiteindelijke procedure

Configuratie:
sda: 320GB; sda1: 297.9GiB type dasdb: 1TB; sdb1: 297.9GiB type da, sdb2: 633.6GiB type da
sdc: 1TB; sdc1: 297.9GiB type da, sdb2: 633.6GiB type da

md11: raid-devices=3 level=10 layout=f2 /dev/sda1 /dev/sdb1 /dev/sdc1
md12: raid-devices=2 level=10 layout=f2 /dev/sdb2 /dev/sdc2

vg00: /dev/md11 /dev/md12
lv01: 512MB /boot
lv02: 32GB /
lv03: 4GB swap
lv04: 1.1TB /data/local/disk01

1 RAID10 set van de 320GB schijf en partities van de TB schijven en 1 set van de overgebleven ruimte leek me de beste prestaties en redundency te geven. De RAID sets worden vervolgens met LVM tot 1 grote schijf samengevoegd en daarna in gedeeltes voor /boot, /, swap en data ruimte verdeeld.
Hierdoor krijgt het OS en /home gedeelte de maximale prestaties met daarbij nog een gedeelte (zo’n 260GiB) van data.
Het is een optie om de 260GiB een eigen data locatie te geven maar dat was van minder belang omdat er een flink aantal virtuele testmachines komen te draaien.

Leessnelheid op md11 is ongeveer 280MB/s, op md12 190MB/s.
De schrijftest gaf in / ongeveer 185MB/s, in de data directory ongeveer 90MB/s.

sdb had nog de oorspronkelijke configuratie van het systeem nadat ik de rest van de devices sda en sdc had verwijderd van de RAID setup.

Het effect op het maken van virtuele machines was helaas erg. Het duurde een lange tijd voordat het uitpakken van de installatiebestanden van Windows 7 klaar was bij het maken van een nieuwe virtuele machine. De goede snelheid van 90Mb/s was helaas niet van toepassing in dit geval.

De volgende stap uitgevoerd, verplaatsen van de lvm physical volumes naar sdb en sdc, sda vervangen door een andere 1TB schijf, daarna alles verplaatst met lvm naar sda (gelukkig nog niet zoveel ruimte gebruikt) en van sdb en sdc een nieuwe raid10 met layout o2 gemaakt met 1 missing disk (/dev/md11).
Nadat dat gelukt is de nieuwe raidset toegevoegd aan de volume group en alles weer vehuisd naar de nieuwe md11, de oude sda1 verwijderd en weer als onderdeel van de nieuwe raidset toegevoegd.
Nu nog een installatie van een virtuele Windows machine testen..

 

Written by mnystrom

2015/02/21 at 21:17

Geplaatst in installatie, linux, NL, opslag

Tagged with ,

Over software RAID op Linux, FreeBSD, Windows

Vorige week voor een klant een kleine firewall opgezet. Er was weinig budget maar het was hard nodig om de boel daar (een stapel Windows PC’s voor de clïenten) beter te beveiligen. Tot nog toe was er alleen maar software gebruikt die de PC’s naar oorspronkelijke staat terugdraaide bij uitzetten of herstart. Met als gevolg dat de provider voor de zoveelste keer de verbinding blokkeerde i.v.m. infecties.

Eén van de maatregelen was een firewall met filtering en daarvoor hebben we op een oude PC PFSense gezet. Om in ieder geval op één punt wat redundancy te krijgen is de installatie op een GEOM mirror geplaatst.
Aangezien dat de installatie daar de optie voor heeft was het een fluitje van een cent. Nu kwam dat ook goed uit want na een paar dagen proefdraaien op de zaak kreeg een schijf kuren. Schijf eruit, andere schijf erin, de mirror de ontbrekende schijf laten vergeten en vervolgens de nieuwe toevoegen. Dat was alles.

Dat dat zo makkelijk kan was ik al gewend van de eerdere ervaringen met Linux software RAID.
De diverse Proxmox servers installeerde ik al bovenop een Debian installatie met specifieke RAID opzet. En de eigen PC had ik ook draaien met meerdere schijven met een combinatie van RAID 1 en 0 partities.

Na de installatie van de firewall was ik weer eens gaan kijken naar de diverse opties die mdadm biedt om te zien of er nog iets interessants te vinden was.
Daarbij kwam ik op diverse testen uit van de RAID 10 opties. Normale RAID 10 bestond altijd uit twee vaste paren schijven in RAID 0 die een RAID 1  vormden (of andersom). De RAID 10 optie van mdadm werkt al vanaf twee schijven, en werkt niet met vaste paren als er meer dan twee worden gebruikt. Er wordt (afhankelijk van de keuze hoeveel) alleen maar voor gezorgd dat er stukken data op minstens twee verschillende partities staan. Staan de partities op dezelfde fysieke schijf dan heeft het geen zin, maar dat is een eigen keuze.

Waar dan ook nog voor gekozen kan worden is de manier waarop de dubbele blokken verdeeld worden op de schijven. Standaard is “near”, dan staan de blokken zoveel mogelijk op dezelfde positie op de schijven. “Offset” verschuift het tweede blok een positie verder zodat het iets meer verspreid staat (mmaar niet veel). En “far” deelt de schijf min of meer in twee en begint bij één schijf vooraan en de ander in het midden zodat er maximale spreiding is van de datablokken.

Het grote voordeel van “far” is de snelheid van constant lezen van data (wat meestal bij een PC gebeurt), deze kan bijna net zo snel zijn als RAID 0. Schrijven is daarintegen langzamer, maar niet zo langzaam als men zou denken.
Diverse tests zijn uitgevoerd van de diverse mdadm RAID opties en over het algemeen komt RAID 10 met de “far layout” het beste uit de bus.

Software RAID is nooit een echte optie geweest in Windows. Om de systeemschijf in RAID te krijgen was altijd een hardware oplossing nodig, al was het maar de on-board semi-RAID controller.
Met server 2012 is er verandering in gekomen. Via de disk manager kan er een mirror gemaakt worden van de systeemschijf partities als er een lege, ongeformateerde schijf beschikbaar is.

Om de systeemschijf van Windows server 2012 in RAID1 te zetten;

Start diskmgmt.msc na een ongeformatteerde schijf beschikbaar te hebben.Windows_2012_RAID1_01

 

Klik met de rechtermuisknop op de eerste partitie en kies voor Add Mirror.Windows_2012_RAID1_02

 

Selecteer de juiste schijf.  Windows_2012_RAID1_03

 

Bevestig de conversie.

Windows_2012_RAID1_04

 

En de mirror verschijnt als volgt in de disk manager.Windows_2012_RAID1_05

 

Doe hetzelfde voor de partitie waar Windows op geïnstalleerd staat.Windows_2012_RAID1_06

Echter is het nog steeds niet hetzelfde als open source software RAID. Met een test van een virtuele machine bleek dat het aanmaken makkelijk was, echter als de originele schijf weg is blijft Windows tijdens de start vragen naar de schijf.
In plaats van automatisch omschakelen naar de kopie wordt geprobeerd om van de eerste schijf te starten en komt vervolgens een foutmelding en de vraag naar de installatieschijf voor opstartherstel.
Alleen als er tijdens het opstarten de tweede schijf gekozen wordt kan Windows verder gaan.
Het begin is er, maar helaas is de software RAID versie van Microsoft te beperkt om in te zetten voor de eigen systeemschijf.

Het goed aanmaken van een RAID set onder Linux is iets meer werk, maar dan werkt het wel zoals het hoort.

*Een aantal ideeën die ik nog kreeg tijdens het lezen van het materiaal;

-Hoe zou de snelheid zijn als i.p.v. een grote partitie meerdere kleinere partities gebruikt werden van RAID10,f2 met daarbovenop een LVM volume die deze weer combineert. Lezen iets langzamer en schrijven dan weer sneller?

-RAID10,2f emuleren door zelf de schijven in twee partities te verdelen en vervolgens elke eerste en tweede als RAID 1 te gebruiken. Dit zou een alternatief voor gebruik met Windows kunnen zijn.

 

Written by mnystrom

2015/02/17 at 22:56

OTRS stuff

Disable quoting the original message when making an email reply to a ticket

Edit (after saving a copy of the original file) Kernel/Modules/AgentTicketCompose.pm.

It’s easiest to search for “wrote” in the file, then you get to the part starting with my $ResponseFormat = $Self->{ConfigObject}->Get(‘Ticket::Frontend::ResponseFormat’).

There you can disable any part between [] by adding a # at the start of the line. For instance:

my $ResponseFormat = $Self->{ConfigObject}->Get(‘Ticket::Frontend::ResponseFormat’)
|| ‘[% Data.Salutation | html %]
[% Data.StdResponse | html %]
[% Data.Signature | html %]

#[% Data.Created | Localize(“TimeShort”) %] – [% Data.OrigFromName | html %] [% Translate(“wrote”) | html %]:
#[% Data.Body | html %]
‘;

Save the file and check the reply format in a ticket.

 

Written by mnystrom

2015/01/27 at 12:32

Geplaatst in OTRS, software

Software virtualization cluster

We can set up a cluster with a virtual layer for operating systems and live migration, why not the same for programs?

Add a virtual layer between OS and programs and it would be possible to live migrate a running program from one cluster node to another, probably with less time and overhead than moving an entire OS, right?

 

Written by mnystrom

2012/11/19 at 14:33

Geplaatst in EN, software, virtual

Tagged with ,

Veilig surfen op internet

Veilig surfen op internet blijft toch moeilijk met de verschillende manieren waarop malware zich kan nestelen in het systeem.
Het kan komen door een lek in de browser zelf, maar ook door ondersteunende software zoals Java, Adobe Flash, PDF readers, etc., maar ook door het downloaden van die “handige” programmatjes die het zoeken makkelijker maken, of Windows versnellen, of leuke smilies vertonen bij tekst.

Anti-virus kan veel tegehouden, zolang het de dreiging maar herkend. Doet deze dat niet dan wordt de malware gewoon doorgelaten. Meestal houdt dit in dat er op 1 van de verschillende manieren waarop Windows automatisch programma’s start een verwijzing komt te staan naar het malware bestand. Eenmaal opgestart zorgt het er ook wel voor dat die verwijzing hersteld wordt mocht deze verwijderd worden.

Om dit gedrag tegen te houden moet dus voorkomen worden dat de malware in de eerste plaats het systeem kan aanpassen; geen verwijzing naar de malware in het systeem betekend dat deze dus ook niet opgestart wordt.

Om dit voor elkaar te krijgen zijn we bezig met twee oplossingen die een virtuele schil bouwen; een browser pakket waarin de belangrijkste onderdelen geïntegreerd zijn, en een pakket wat het hele systeem afschermd van de programma’s die draaien.

Het (Nederlandstalig) browserpakket verwijst alle wijzigingen die naar het systeem gaan om naar een aparte map, die worden dus niet in werkelijkheid uitgevoerd. Alleen binnen de browser is dit zichtbaar. Malware die hierin terechtkomt kan dan ook verwijderd worden door de map leeg te halen zodat de browser weer schoon opstart.

Het andere pakket schermt met uitzondering van specifiek aangegeven programma’s het hele systeem af. Programma’s worden uitgevoerd maar kunnen het systeem niet wijzigen, en hierbij kunnen ook bepaalde mappen met waardevolle gegevens tegen lezen beschermd worden.

Voor meer info over deze zaken neem contact op via info@mbitz.nl, of ga naar www.mbitz.nl.

Overigens zijn er nog meer mogelijkheden in bescherming op het gebied van virtualisatie en zelfs het gebruik van Linux i.p.v. Windows.

 

Written by mnystrom

2012/10/08 at 14:20

Opslag met integriteit controle

Regelmatig is al de vraag over de beste manier van opslag langsgekomen. Er zijn veel opties zoals harde schijven, de bekende tapes, branden op CD/DVD/etc., etc. Een belangrijk aspect is ook de houdbaarheid van data; iets wat nu opgeslagen wordt moet na vele jaren nog altijd leesbaar zijn. Ook veiligheid is belangrijk, bij brand moet niet alles kwijt zijn bijvoorbeeld.

Om dit alles voor elkaar te krijgen worden er drie opslag servers ingezet, elk met een complete kopie van alle data op harde schijf. De schijven draaien in RAID, naar wens 1, 5, 6, of 10.
De synchronisatie kan naar wens continue of 1 of meerdere keren per dag draaien.
Integriteit wordt gecontroleerd door een database van hashes van de bestanden op elke server met elkaar te vergelijken. De hashes kunnen ook continue of om de zoveel tijd gemaakt worden. Als er bij vergelijk 1 server van de drie afwijkt, dan kan (eventueel automatisch) het foute bestand overschreven worden door 1 van de twee andere. Eventueel kan dit bestand voordat het overschreven wordt nog op backup gezet worden.

Het verwijderen van data kan gedaan worden door het te verplaatsen naar een aparte directory waarbij het systeem hetzelfde uitvoert op de overige servers. Daarna kan het na bepaalde tijd permanent (eventueel weer na een aparte backup) verwijderd worden.

Het geheel is niet het eenvoudigste, maar het zorgt er wel voor dat de data goed bewaard blijft in geval van calamiteiten maar ook beschermd is tegen zogenaamde bitrot.

Written by mnystrom

2012/08/20 at 13:20

Geplaatst in backup, opslag

Tagged with , ,

ff onthouden; software ideetjes

Software tools om nog een keer te maken omdat er nog geen bestaan of de bestaande te oud zijn.

Stand-alone register monitor;

-Simpel tooltje wat wijzigingen in de opstartlocaties van Windows in de gaten houdt.
-Draait met en zonder GUI zodat het ook op o.a. Windows server Core kan draaien.
-Meldingen versturen via eventviewer, GUI dialog, email, etc..

 

Written by mnystrom

2012/08/06 at 09:00

Geplaatst in NL, software, Windows

Tagged with ,

Volg

Ontvang elk nieuw bericht direct in je inbox.