“Starting drivers, please wait” – An HPE adventure story

Yes i know that, the title of this blog post doesn’t sound very well. But if you read this blog post you can see that it fits very well. Recently, just some days before the writing of this post, one of my customers called me because of a vCenter issue. He’s got two HPE ProLiant DL380 Gen9 and an MSA 2040 SAS Dual Controller storage system.

The customer told me that some VM’s aren’t running anymore and that both hosts aren’t available in vCenter management. I made a quick look through remote support and saw that. Both hosts were gone, most of the VM’s still running but some not. We first tried to access the hosts through SSH but no success. We tried to access the DCUI with moderate success. At least we were able to logon, but the DCUI didn’t respond after successful login. That’s kind of strange, didn’t see that until yet. The hosts did respond to ping, so that’s at least a little light at the end of the tunnel.

We then decided to restart one host. We don’t have SSH (PuTTY) access to the hosts, we can’t manage them from vCenter, we can’t use the DCUI. What else could happen?

So we restarted a host. And this is the beginning of this story…

HPE

Read more

Windows 7 – No access to UNC path or network drives

Network

Today i had again some of the problems worth writing about it afterwards. A customer called because of a strange network issue on a computer in his network. He can’t access the network drives. They are connected but he can’t access them.  Also no access to UNC paths (like \\server\sharedfolder). Both ways he receives an “Access denied” error.

So i started with some tests just to make sure we are talking the same and if at least the basics on the computer, server and network are fine. It was one of the weirdest problems i have had the last few weeks. And the solution was so simple and cheap that it is embarrassing. But i don’t want to anticipate it. Let’s have a review.

The following list describe the troubleshooting steps which we did today. I’ll hope that this “checklist” (well, actually more a list of steps i tried) will help you if you are in the same situation as i was (or probably in a situation close to this).

Client steps

  • checked network configuration with “ipconfig /all”
    • everything fine (DHCP, all expected values were correct)
  • checked DNS lookup
    • resolving server hostname, domain, different websites, all good
  • nslookup (reverse DNS lookup)
    • IP addresses are resolved to hostnames

So basically on the client it looked all good. DNS was fine, internet connection was good. But we still don’t have access to UNC paths or network drives.

Server steps

  • the same as above (DNS / reverse DNS, generall network configuration, all was fine
  • checked permission for the specific user on there shares, permissions were granted correctly

DNS or permission issues are common in most IT environments. But at this time it wasn’t the root cause of this problem. Because we checked DNS and permissions and it was all fine. Let’s dig a little deeper.

Further client steps

  • on another computer we tried to login with the user which the customer called for
    • that worked all fine, no issues
  • on the affected computer we tried to login with another user
    • that worked, but the issues were the same (neither access to UNC paths nor network drives)

So now we knew that there has to be a computer related issues. Nothing with the user profile, no permission conflicts or DNS errors. But what the hell can cause this problem?

More client steps

Just to make sure there is no software causing some issues, we tried several things.

  • uninstall and re-installation of the antivirus program
    • did not help
  • checked other software that might could cause suche problems
    • we uninstalled some old pre-installed software
    • checked which Windows update were installed recently
    • we did not find any suspicious updates nor software which could cause something like that

The customer was in a hurry because he had to leave after lunch time (which we both didn’t had today). But he will call me in a few hours he said. So i ended up like a donkey at a five-barred gate. I can’t imagine were this issue has it’s root cause. All checked were good, all settings were correct. But just with this computer there is still no access to UNC paths or network drives.

A few hours later…

Later this afternoon the customer called me when he was back in the office. He said he don’t have that much time. So, let’s do this, computer. Let’s finally solve your problem.

The second last attempt was to remove this computer from the existing domain, delete the computer object in Active Directory and to join the domain again.

  • leaving the domain worked fine
  • no problems deleting the computer account
  • after the necessary reboots the computer wasn’t able to join the domain
    • “Could not join the domain. The network path was not found”

Damn, what have i done? What should i do now? Come on, it can’t be that hard! One last attempt i had in mind. What about to uninstall the network card of this computer? It can’t get any worse. Let’s try that!

  • uninstalled the network card via Windows device manager
    • also checked the box to delete driver software for this device
  • let Windows find a driver
    • surprisingly Windows found a driver (it was four years older than the previous)
    • network connection comes up again
  • restarted the computer

The customer tried to login after the last restart. Then we checked the network drives, and here they are! Access granted! A quick check with the UNC paths was also working now. Uninstalling the network card, deleting its software and letting Windows search for a driver did the trick.

The customer was happy today (the computer is for the secretariat, the user was out of office today) and the user will be happy tomorrow 🙂

 

Veeam Endpoint Backup: error: Cannot find partition

Veeam Endpoint Backup - Error message

Today i had to do some quick research for a specific problem in Veeam Endpoint Backup FREE. The program told me that it cannot find a specific partition on my computer. The first thought was that this could be a bad sign, a sign of a predictive drive error or some thing like that. My spider senses were tingeling…

My computer is setup to do a daily backup to a Synology NAS system with Veeam Endpoint Backup FREE. It does it’s job very fast and really good. It was an easy and straight forward setup process. The guys at Veeam did an excellent job with this piece of software (as they also did for the commercial Veeam Backup & Replication, just to make that clear).

So i was sitting in front of my screen looking at this error message. First of all i did a quick look in Windows disk management and it told me that my disks were all present and accessible. So i did not check SMART nor executed other hard disk tests. A quick hip shot at Google brought me to the solution. And as often i found the solution in the famous Veeam forums.

When i find the time i will do further research about the root cause of this problem. But i think i already have something a possible cause discovered (upgrading to the latest Windows 10 Insider Slow Ring update)… But anyway.

The problem

Error: Cannot find partition \\?\GLOBALROOT\Device\Harddisk3\Partition2

Veeam Endpoint Backup - Error message
Veeam Endpoint Backup – Error message

That sounds bad in the first moment. But if you check your disks, and they are all present and accessible, than it shouldn’t be a big problem.

The solution

It was really easy. But you have to have the idea were to look for the solution. Or you should know the root cause of this problem.

Finally, the solution was to re-run the “Configure backup” wizard. At the point where you select the volumes for backup, mark the checkbox for “Show system and hidden volumes”. That did the trick. My “EFI system partition” was deselected, so i had to reselect it. After checking the volumes (and marking the missing ones) you can finish the wizard.

Veeam Endpoint Backup - Choose volumes
Veeam Endpoint Backup – Choose volumes

After this quick fix my backup went smoothly and my computer is now safe again…

Veeam Endpoint Backup - Backup completed successfully
Veeam Endpoint Backup – Backup completed successfully

If this post helped you solving the problem, just leave me a comment. Thanks 😉

VMware vSphere Homelab: Die erste VM läuft im PoC

vSphere Web Client - vCenter

Heute Abend habe ich endlich wieder Zeit gefunden um mich um meinen Proof of Concept (PoC) zu kümmern. Wie vor einiger Zeit angekündigt arbeite ich derzeit an einem PoC für mein Homelab. Das Ziel des Homelab ist eine Anzahl an nested ESXi auf einem physischen ESXi zu installieren, und ganz oben drauf, auf den nested ESXi, einige VMs zu Testzwecken einzurichten. Schlussendlich soll mir das Homelab zum besseren Verständnis der VMware Technologien und zur Vorbereitung auf Zertifizierungsprüfungen dienen. Da noch nicht die gesamte Hardware bei mir ist (eine gute Basis ist sehr wohl vorhanden, es fehlen aber noch verschiedene Komponenten) musste ich mich etwas einschränken. Im Blogpost über die ersten Gehversuche im Homelab habe ich die ersten Schritte erklärt.

Nun habe ich heute Abend also meine erste VM innerhalb des PoC Homelabs, also dem ESXi Cluster mit VSAN, eingerichtet und installiert. Es war zu Beginn etwas mühsam. Ich bin auf das eine oder andere Problem gestossen welches ich lösen musste. Angefangen bei der VM-Konsole, über das Mounten des ISO-Images für das Betriebssystem bis hin zu DNS.

Problem 1 – PoC und die Eingabegeräte

Besonders mühsam war die VM-Konsole, also der “Bildschirm” über welchen ich die VM anschauen und bedienen kann. Mit vSphere 6 läuft der vSphere Web Client richtig gut. Ich habe im ersten Moment gar nicht daran gedacht den C# Client (Fat Client) zu installieren. Die Performance des Web Client ist toll, ein riesiger Sprung im Vergleich zu dessen Vorgängerversionen. Jedoch ist es so eine Sache mit der VM-Konsole in der HTML5 Oberfläche im Browser. Die Tastatur hat funktioniert, auch klicken mit der Maus war drin, aber den Cursor konnte ich nicht bewegen. Ich denke da herrscht noch Nachholbedarf seitens VMware. So musste ich dennoch den VMware vSphere Client herunterladen und installieren und konnte dann über diesen bequem die VM-Konsole starten.

Problem 2 – ISO-Image in den Datastore laden

Zugegeben, dieses Problem ist noch nicht gelöst. Aufgrund der nichtssagenden Fehlermeldung konnte ich hier auf die Schnelle keine Lösung finden. Es war nicht möglich via Browser (HTML5 Web Client) ein ISO-File in den VSAN Datastore hochzuladen, um dies dann bspw. für die Installation einer VM zu nutzen. Also musste ich das ISO-Image beim virtuellen (nested) ESXi einbinden und durchreichen. Das ist sicher nicht der übliche Weg, aber er hat funktioniert. Und nur für den PoC reichts allemal. Aber ich suche noch nach einer Lösung für dieses Problem.

Problem 3 – DNS, DNS, DNS…

Wenn es in einem Netzwerk zu irgendwelchen Problemen kommt, ist das wohl einer der ersten Punkte den man prüft. DNS. Kann ich den Hostnamen pingen? Wird der Hostname korrekt in eine IP-Adresse aufgelöst? Funktioniert das ganze auch zurück?

"Unable to connect to the MKS: Login (username / password) incorrect"

Das war die Fehlermeldung wenn ich die VM-Konsole starten wollte. Ein erster Ansatz war eine Konfigurationsdatei von VMware Workstation anzupassen und dort drin den “authd.client.port” auf Port 902 zu stellen (war bei mir 903). Anschliessend noch den “VMware Authorization Service” sowie den “VMware Workstation Server” neustarten, dann sollte es gehen. Sollte. Ging aber nicht. Also weitergrübeln und suchen. Ich fand einen Beitrag in der VMware Community der schlussendlich zur Lösung half. Anscheinend sind gewisse VMware Dienste / Programme heikel was DNS angeht. Wenn DNS nicht sauber funktioniert, funktionieren auch bestimmte Dinge bei VMware nicht. So konnte ich mich bspw. über die IP-Adresse der vCenter Server Appliance mit dem vSphere Client anmelden. Sobald ich aber die VM-Konsole öffnen wollte, erschien obige Fehlermeldung.

Sodann habe ich auf meinem Rechner das Hosts-File gesucht und die notwendigen Einträge gemacht. Anschliessend habe ich mich über den FQDN der vCenter Server Appliance mit dem vSphere Client verbunden und konnte erfolgreich die VM-Konsole starten.

Ach ja, so sieht sie aus, die erste VM im PoC Homelab…

Veeam SureBackup – Ping-Test Troubleshooting

SureBackupNeulich wollte ich bei einem Kunden einen SureBackup Job in Veeam Backup & Replication einrichten. Mit SureBackup lassen sich Backups automatisch auf ihre Wiederherstellbarkeit testen. So kann bspw. ein Microsoft Exchange Server geprüft werden ob dessen Backup im Falle eines Restores auch sauber ist und überhaupt wiederhergestellt werden kann. Die Einrichtung des SureBackup Jobs soweit sehr gut funktioniert. Nur der anschliessende Testlauf wollte nicht wie geplant funktionieren.

In Veeam erstellt man zuerst eine Application Group und ein Virtual Lab. Die Application Group umfasst alle für den Test notwendigen VMs. So werden bspw. für einen Microsoft Exchange Server sicher mal die VM für Exchange benötigt, aber auch ein Domaincontroller. Man fügt also die entsprechenden VMs zur Application Group hinzu und definiert auf diesen VMs die passenden Rollen (DNS, DC, Mail etc.). Abhängig von diesen Rollen werden die entsprechenden Tests vom SureBackup Job automatisch ausgeführt. Das Virtual Lab umschreibt prinzipiell das Netzwerk und die Einstellungen, mit welchen die VMs im SureBackup Job arbeiten. Anschliessend wird mit der Application Group und dem Virtual Lab ein SureBackup Job eingerichtet.

Das hat alles einwandfrei funktioniert. Der SureBackup Job konnte ausgeführt werden, die erste VM wurde erfolgreich gestartet und auch der Heartbeat-Test (VMware) war erfolgreich. Doch egal wie lange die VM lief, Veeam konnte sie nicht pingen. Das ist noch nicht tragisch, man könnte diesen Test auch deaktivieren. Jedoch ist dann der Restore nicht zwingend erfolgreich, wenn bspw. Probleme mit der Netzwerkschnittstelle vorhanden sind. Mit dem Ping-Test können diese allenfalls herausgefunden werden. Nachdem die maximale Boot-Zeit für die Domaincontroller VM abgelaufen war wurde der Test als “failed” beendet.

Also zurück ans SureBackup Reissbrett und schauen wo der Fehler liegt

Das Virtual Lab ist noch etwas mehr als bloss die Netzwerkeinstellung für die VMs die getestet werden. Das Lab beinhaltet auch eine eigene virtual Appliance welche Routingfunktionen bietet. Normalerweise hat ein Virtual Lab, welches man aus Veeam heraus startet, keine Netzwerkverbindung nach draussen ins Internet. Das kann mit dieser virtual Appliance aber konfiguriert werden. So können diverse Virtual Labs erstellt werden, welche bspw. auch länger verfügbar sind als nur für einen Restore-Test. So kann man Virtual Labs und Sandboxen erstellen welche für Patch-Testing und Development gebraucht werden können.

Schlussendlich war das Problem eines auf Netzwerkebene

Damit Veeam die VMs im Virtual Lab anpingen kann, müssen die Netzwerkeinstellungen der virtual Appliance korrekt sein. Wenn nach dem ersten Deployment und anschliessenden Testlauf der Test fehlschlägt können vielleicht die folgenden Tipps helfen damit die Tests nachher funktionieren:

Veeam KnowledgeBase KB1067

Bei mir war es der zweite Punkt (“VNIC FOR ISOLATED NETWORK MISCONFIGURED”). Mein Virtual Lab hatte eine falsche IP-Adresse, aus einem Netzwerkrange den es bei diesem Kunden nicht gibt. Das Virtual Lab sollte als eigene IP-Adresse immer die IP Adresse des Default Gateways haben, damit oben erwähnte Ping-Tests funktionieren.

Keine Panik, es ergibt sich daraus kein IP-Konflikt. Die virtual Appliance selbst bekommt von eurem DHCP-Server eine IP-Adresse. Da das Lab ein in sich geschlossenes Netzwerk ist ohne Verbindung nach draussen spielt das Virtual Lab hier die Rolle des Gateways für die VMs im Lab.

Falls ihr mehr zum Thema SureBackup Jobs wissen wollt und solche eure Backups zukünftig automatisch testen lassen wollt, erfährt ihr im Veeam HelpCenter mehr dazu:

Veeam HelpCenter – Verifying Backups, Replicas and VMs from Storage Snapshots

Ich wünsche euch viel Spass beim Konfigurieren und Testen eurer Backups!