HoloLens 2 bietet industriellen Metaverse-Kunden neue immersive Kollaborationstools

Selbst mit präzisen schriftlichen Anweisungen erfordern einige Teile des Automobilmontageprozesses immer noch ein wenig Kunst, sagt David Kleiner, der das Applied Technology Research Lab von Toyota Motor North America leitet.

Nehmen Sie das Hämmern eines Türkantenschutzes. Das ist der dünne Stahlstreifen, der vor Dellen und Beulen schützt, wenn Sie die Tür gegen eine Wand oder ein geparktes Auto stoßen. Wenn Sie zu viel Kraft anwenden, kann ein Arbeiter das Fahrzeug beschädigen. Zu wenig, und beim nächsten Zuschlagen der Tür springt der Kantenschutz ab.

Kürzlich hatte ein Arbeiter in einem Toyota-Logistikzentrum in New Jersey Schwierigkeiten, dieses Gleichgewicht zu finden. Also setzten sie eine HoloLens 2, das Mixed-Reality-Headset von Microsoft, auf, öffneten ein holografisches Fenster und riefen einen Kollegen in Kalifornien um Hilfe. Sie sahen sofort durch die Augen von jemandem auf der anderen Seite des Landes.

Hier ist der Trick, sagte ihr Kollege: Achten Sie auf dieses Geräusch. Und sie schlugen genau im richtigen Winkel auf das Stück und erzeugten einen deutlichen Ton und ein klares Bild, das der Kollege sehen und hören konnte, als ob sie direkt nebeneinander wären.

Dieser Erfolg hilft nun auch anderen Toyota-Mitarbeitern bei der Installation von Türkantenschutzvorrichtungen. Der Clip wurde auf einer HoloLens 2 aufgezeichnet und in den holografischen Schritt-für-Schritt-Anleitungen in den Microsoft Dynamics 365-Anleitungen erfasst, sodass alle Mitarbeiter von dieser Weisheit profitieren können.

Für Kleiner zeigt diese Geschichte, dass HoloLens 2 ein Werkzeug ist, das perfekt mit Kaizen übereinstimmt, einem zentralen Toyota-Prinzip der kontinuierlichen Verbesserung. Und es erklärt, warum das Gerät aus den Innovationslabors von Toyota in seinen alltäglichen Arbeitsplatz gelangt ist. Mitarbeiter in sechs US-amerikanischen Toyota-Logistikzentren nutzen HoloLens 2 für freihändiges Training, Anleitung und Zusammenarbeit. Die Headsets werden bald an Standorten in Kanada und Mexiko eingeführt, sagte Kleiner, wobei eine weitere Expansion geplant sei.

„Die entscheidende Messgröße für Toyota ist Geschwindigkeit“, sagte Kleiner. „Je schneller wir Menschen schulen und Probleme lösen können, desto schneller können wir ein Produkt auf den Markt bringen. Deshalb wollen wir den Ort überwinden, wir wollen die Zeit überwinden und wir wollen, dass sich die Menschen schneller bewegen und Wissen teilen. HoloLens hat uns all das ermöglicht.“

Im vergangenen Jahr hat Microsoft als Reaktion auf die zunehmende Akzeptanz bei Unternehmenskunden wie Toyota erhebliche Investitionen in die HoloLens 2-Plattform getätigt, von neuen Updates, die eine umfassende Zusammenarbeit ermöglichen, bis hin zu Lösungen, die es Unternehmen ermöglichen, eine Geräteflotte zu skalieren und zu verwalten. Sie kommen Arbeitnehmern zugute, die die Headsets in allen Branchen tragen, sei es in Krankenhäusern, Halbleiter-Reinräumen, Kraftwerken, Anatomielabors oder auf Baustellen, so das Unternehmen.

Die neueste Update-Welle von Microsoft kombiniert seine wichtigsten Dynamics 365 Mixed Reality Apps und fügt Microsoft Teams und OneDrive zu bestehenden Integrationen mit Azure und Power Platform hinzu. Dadurch stellt Microsoft den Mitarbeitern an vorderster Front die Cloud-gestützten Produktivitäts- und Kollaborationstools zur Verfügung, die Schreibtischarbeitern schon lange zur Verfügung stehen. Unabhängig davon, wo sie sich befinden, können HoloLens 2-Benutzer mit einem Teams-Anruf oder -Chat, einem Power BI-Dashboard, einem Word-Dokument, einem PDF oder Video, ihrem OneDrive-Ordner oder ihrem Kalender eine Reihe holografischer Fenster aufrufen und in einer immersiven, 3D-Erlebnis.

„Wir liefern Windows wirklich in Mixed Reality“, sagte Alysa Taylor, Microsoft Corporate Vice President für Azure und Industry.

Diese Fähigkeiten tragen dazu bei, zu erklären, warum Unternehmen wie Toyota über das bloße Treten der Reifen im Metaversum hinausgegangen sind.

Viele denken bei diesem Wort an Avatare, die uns in Online-Welten repräsentieren. Es ist ein teilweise zutreffendes Bild, sagte Taylor. Microsoft sieht mehrere verschiedene Metaverse-Kategorien. Es gibt das bekannte Verbraucher-Metaversum, in dem wir einkaufen und mit Freunden und Familie spielen. Und es gibt die kommerziellen und industriellen Metaversen, in denen wir mit Kollegen zusammenarbeiten und unsere Arbeit erledigen.

Das industrielle Metaversum, das Toyota und andere erforschen, sei eine grundlegend neue Möglichkeit für Menschen und KI, zusammenzuarbeiten, um ihre physischen Systeme zu entwerfen, zu bauen, zu betreiben und zu optimieren, sagte Taylor. Mit Microsoft Azure, Dynamics 365 und Mixed-Reality-Angeboten, die das Digitale mit dem Physischen verbinden, können Kunden digitale Zwillinge einer Fabrikhalle oder eines Lagers erstellen und Fertigungs- oder Lieferkettenprozesse in der Cloud simulieren. Dies ermöglicht es ihnen, diese Prozesse im industriellen Metaversum zu verfeinern – sei es zur Steigerung der betrieblichen Effizienz oder zur Verringerung ihres ökologischen Fußabdrucks –, bevor sie sie in physische Form überführen.

Wir liefern Windows wirklich in Mixed Reality.

Mixed Reality sei eine Schlüsseltechnologie der industriellen Metaverse-Lösungen von Microsoft, sagte Taylor. HoloLens 2 bietet diese Lösungen für Mitarbeiter an vorderster Front, die mit ihren Händen arbeiten und nicht an einen Computer oder eine Tastatur gebunden sein können. Seit seiner Einführung hat Microsoft Kundenfeedback berücksichtigt und investiert, damit die Geräte wirklich an vorderster Front funktionieren – von langlebigeren Akkus über Designs, die über Schutzbrillen passen, bis hin zu Updates, die die Verwaltung einer Geräteflotte durch die IT eines Kunden erleichtern Abteilung.

„Arbeiter an vorderster Front bilden das Rückgrat vieler der größten Industrien der Welt, doch sie sind von der Technologie weitgehend unterversorgt“, sagte Taylor. „So viel Wissen und Informationen befinden sich in der Cloud, aber wie kann der arbeitslose Mitarbeiter im Außendienst oder in der Fabrikhalle auf diese digitale Welt zugreifen?“

Die Antwort von Microsoft ist HoloLens 2 und seine Dynamics Mixed Reality-App-Suite. Da die Cloud-Dienste von Azure einen Großteil der Arbeit übernehmen, können sie digitale Informationen nutzen und in die physische Welt des Benutzers integrieren. Diese holografische Erfahrung hilft ihnen, industrielle Prozesse schneller zu erlernen oder Kollegen auf der ganzen Welt mit fachkundiger Beratung zu unterstützen, als wären sie im selben Raum, ohne die Kosten oder Umweltauswirkungen von Fernreisen.

„Diese Mitarbeiter haben keine Schreibtische; Ihnen einen Laptop zu geben, wird einfach nicht funktionieren“, sagte Kleiner von Toyota. „Wir möchten, dass HoloLens unsere Bildschirme für unsere Mitarbeiter an vorderster Front sind. Wenn sie eine HoloLens tragen, verfügen sie jetzt über einen Bildschirm, der ihnen alle digitalen Werkzeuge bietet, die sie benötigen.“

Seit der Einführung von HoloLens 2 im Jahr 2019 hat Microsoft 34 monatliche Software-Updates bereitgestellt. Einige leisteten Unterstützung für neue Regionen. Viele fügten neue Funktionen hinzu, wie einen farbenblinden Modus zur Verbesserung der Zugänglichkeit oder Optimierungen an den Head-Tracking-Algorithmen, damit Kunden HoloLens 2 in instabilen Umgebungen wie auf einem Schiff tragen können.

„Jedes einzelne davon wurde durch Kundenfeedback vorangetrieben“, sagte Scott Evans, Microsofts Vizepräsident für Mixed Reality.

„Heads-up-Freisprechtechnologie ermöglicht große Fortschritte in der Art und Weise, wie Menschen arbeiten“, sagte Evans. „Aber oft bedeutet das, einen Zyklus zu durchlaufen, der aus der Durchführung eines Pilotprojekts, dem Messen und Lernen und der anschließenden Ausweitung des Einsatzes besteht. Wir binden unsere Kunden während dieser gesamten Reise ein und es ist ein großer Lernprozess für uns.“

Das neueste Update erfüllt einen der wichtigsten Kundenwünsche: die Zusammenführung der beiden wichtigsten Dynamics 365 Mixed Reality-Apps von Microsoft. Das erste ist Dynamics 365 Guides, das Benutzer Schritt für Schritt durch holografische Anweisungen führt. Das zweite Szenario war das beliebteste Szenario für HoloLens 2-Benutzer: Dynamics 365 Remote Assist.

Die landesweiten Anrufe zum Thema Türkantenschutz zeigten die Leistungsfähigkeit von Remote Assist, mit der ein Mitarbeiter an vorderster Front Mitarbeiter virtuell in seinen physischen Raum holen kann. In diesem „Sehen, was ich sehe“-Szenario können sich diese Kollegen überall auf der Welt und auf jedem Gerät befinden. Sie erhalten lediglich einen Teams-Anruf und können von dort aus im 3D-Raum Anmerkungen machen und das, was der Mitarbeiter an vorderster Front sieht, erweitern. Die Kombination der Apps war eine vorrangige Anfrage von Toyota, das seit der Einführung der ursprünglichen HoloLens im Jahr 2016 Feedback an Microsoft liefert. Die aktualisierten Dynamics 365 Guides bieten ein viel besseres Erlebnis, sagte Kleiner.

Wir möchten, dass HoloLens unser Bildschirm für unsere Mitarbeiter an vorderster Front ist.

„Jemand kann sich eine HoloLens schnappen, eine Guides-Sitzung starten und buchstäblich einen Trainer im Kopf haben“, sagte er. „Wenn sie Hilfe benötigen, können sie direkt über die App einen Experten anrufen.“

Das Feedback von Toyota hat auch dazu beigetragen, andere Aspekte des Guides-Erlebnisses zu verbessern. Beispielsweise brachten Techniker früher einen QR-Code auf die Motorhaube eines Fahrzeugs, scannten ihn und folgten dann den holografischen Anweisungen.

Aber diese Hologramme könnten scheinbar schweben, wenn sich ein Arbeiter um das Auto herumbewegt. Toyota arbeitete mit Microsoft zusammen, um das „Objektverständnis“ zu entwickeln. Das bedeutete, dass Toyota-Techniker das gesamte Fahrzeug scannen konnten, was dazu beitrug, ein Hologramm an Ort und Stelle zu fixieren und das Parallaxenproblem zu beseitigen. Ein Hologramm, das auf einen Bolzen zeigt, zeigt immer auf den genauen Ort, unabhängig vom Blickwinkel des Betrachters.

Im Laufe der Jahre habe sich das Autorenerlebnis in Guides dahingehend verbessert, dass das Erstellen holografischer Anweisungen so einfach sei wie das Erstellen einer PowerPoint-Präsentation, fügte Kleiner hinzu.

„Ich muss keine Armee von Beratern einstellen, um das aufzubauen. Ich muss nicht unbedingt viele Leute mit Informatikabschlüssen haben. Ich kann es den Experten an vorderster Front geben, und sie können ihre eigenen Inhalte erstellen, um andere Leute zu schulen oder zu teilen“, sagte er.

Toyota habe in den Guides als Schulungsinstrument einen unmittelbaren Wert gefunden, sagte Kleiner. Anstatt einzeln mit den Auszubildenden zu arbeiten, können Toyota-Trainer die Auszubildenden selbstständig arbeiten lassen und mehrere Auszubildende gleichzeitig betreuen – was ihre Effizienz um ein Vielfaches steigert.

Während eines Pilotprojekts in seinem Werk in San Antonio nutzte Toyota HoloLens 2 und Guides, um Mitarbeiter in der Montage einer neuen Version des Toyota Tundra zu schulen. Die Daten zeigten, dass es ein Erfolg war, sagte Kleiner. Die Mängel wurden halbiert. Je nach Person sei die Trainingszeit um 20 bis 50 Prozent gesunken, sagte er.

Während HoloLens 2-Geräte dazu beigetragen haben, zu definieren, was im industriellen Metaversum möglich ist, sei Microsoft ein Plattformunternehmen, sagte Taylor. Aus diesem Grund ist Microsoft bestrebt, seine Mixed-Reality-Software überall dort verfügbar zu machen, wo sich seine Kunden befinden – sei es auf einer HoloLens 2 oder dem Gerät eines anderen Unternehmens. Und während Dynamics 365 Mixed Reality Apps Unternehmenssoftware bereitstellen, damit Kunden sofort mit der Arbeit beginnen können, hat Microsoft auch ein Mixed Reality-Partnernetzwerk von ISVs aufgebaut, die Lösungen erweitern können, um individuelle Anforderungen in verschiedenen Branchen zu erfüllen, vom Baugewerbe über das Bildungswesen bis hin zum Gesundheitswesen pharmazeutisch.

Die Arbeitssicherheits- und Gesundheitsbehörde (OSHA) des US-Arbeitsministeriums wandte sich an einen dieser Partner, um die Sicherheit der Arbeiter beim Grabenaushub zu verbessern. Auf Baustellen sind Graben- und Aushubarbeiten riskante, aber lebenswichtige Arbeiten. Laut OSHA kann ein Kubikmeter Erde so viel wiegen wie ein Auto, und dieses empfindliche Gleichgewicht mit der Schwerkraft kann augenblicklich gestört werden. Deshalb sind Grabeneinstürze die häufigste Todesursache in der Baubranche.

Um diese Gefahr zu mindern, verwenden OSHA-Ausbilder eine benutzerdefinierte Mixed-Reality-App, um Grabensicherheitsinspektoren ein umfassendes, praktisches Gefahrentraining ohne reale Risiken zu ermöglichen. Die vom Softwarestudio Clirio erstellte App besteht aus sechs verschiedenen Szenen mit realistischen und immersiven Grafiken, um Variablen wie Bodenbedingungen, Gefahren, Sicherheitsausrüstung und Best Practices zur Risikominderung darzustellen. Anspruchsvolles Sounddesign und Animationen tragen zum lebensechten Erlebnis bei.

„Wenn man jemandem etwas beibringt, ist es eine Sache, es ihm zu sagen, es ist eine Sache, es ihm zu zeigen, und eine andere Sache, ihn es tun zu lassen“, sagte Anthony Towey, Direktor des OSHA Training Institute. „Wir können tatsächlich in eine Graben- und Aushubumgebung vordringen, die so nah wie möglich an das Feld herankommt.“

Tausende von Bauunternehmern könnten diese Schulung nutzen, fügte er hinzu. „Und jetzt können sie es in einer sicheren Umgebung tun, in der sie üben und Fehler machen können.“

Die Hokkaido Electric Power Company nutzt HoloLens 2, Dynamics 365 Remote Assist und eine benutzerdefinierte App, um Mitarbeitern bei der Inspektion wichtiger Geräte in einem Wärmekraftwerk zu helfen. Bei jeder Inspektionspatrouille navigieren Arbeiter durch ein riesiges Labyrinth aus Kesseln, Turbinen und Generatoren und untersuchen Tausende von Ausrüstungsteilen auf oft subtile Änderungen, die ihnen helfen können, größere Probleme zu vermeiden, sagte Takaharu Umemoto, der in der Informationstechnologieabteilung des Unternehmens für Wärmeenergie arbeitet Abteilung. Das erfordere umfangreiches Know-how und Erfahrung, sagte er. Neue Mitarbeiter brauchten oft ein Jahr, um erfahrene Techniker zu begleiten, bevor sie alles bewältigen konnten.

Heutzutage seien Neueinstellungen viel schneller eingearbeitet, sagte er, und die App habe die Effizienz von Streifeninspektionen verbessert. Die Erfahrung habe das Unternehmen zu begeisterten Unterstützern der Mixed-Reality-Technologie gemacht, sagte Umemoto.

„Ich hatte eine Vorstellung von (Mixed Reality) als Technologie für Spiele, aber es war eine Offenbarung, als ich herausfand, dass sie als intuitive und leicht verständliche Lösung im Hinblick auf die Übertragung von Fähigkeiten zur Streifenkontrolle eingesetzt werden kann“, sagte Umemoto .

Da frühe Kundenpiloten mit HoloLens 2 zu größeren Bereitstellungen geführt haben, hat Microsoft stark investiert, um die mit der Cloud verbundene Technologie einfacher und skalierbarer zu verwalten. Das bedeutet, dass IT-Abteilungen ein HoloLens 2-Headset wie jeden anderen Laptop, jedes andere Telefon oder Tablet verwalten können, sagte Evans.

Diese Verbesserungen hätten Toyota geholfen, HoloLens 2 nahtlos vom Labor ins Unternehmen zu bringen, sagte Kleiner. „Wenn wir das Labor verlassen, steht uns normalerweise eine enorme Lernkurve bevor: Wie warten und betreiben wir diese auf Unternehmensebene?“ sagte Kleiner. „All das konnte vermieden werden, denn als wir das Gerät zur IT-Abteilung brachten, sagten sie: ‚Oh, das ist nur ein weiterer Windows-Rechner.‘ Wir wissen, wie man damit umgeht.‘“

Microsoft werde weiterhin mit Kunden zusammenarbeiten, um einzigartige und schwierige Herausforderungen zu lösen, betonte Evans.

Kunden wie die US-Armee helfen dabei, sowohl Software als auch Hardware zu verbessern, während andere dazu beitragen, branchenspezifische Verbesserungen voranzutreiben, die schließlich möglicherweise eine breitere Anwendung finden, sagte Evans. Es ähnelt der Art und Weise, wie Technologien wie Keramikbremsen und variable Ventilsteuerung erstmals in der Formel 1 auftauchten, aber schließlich von der Rennstrecke auf die alltäglichen Straßen übergingen.

„Das Militärprogramm hat seine eigenen Anforderungen, die auf die Bedürfnisse des Soldaten abgestimmt sind. Es trägt also dazu bei, die gesamte Plattform voranzutreiben. „Es ist großartig, Early Adopters zu haben, die die Anforderungen vorantreiben, denn am Ende kommt es zu diesem Trickle-Down-Effekt“, sagte Evans.

Laut Evans hört Microsoft von Kunden, dass Unternehmen ihre Geräte nicht alle zwei Jahre austauschen wollen, im Gegensatz zu Verbrauchern, die ständig neue Geräte erwarten. Das verursacht zu viel Abwanderung. „Niemand möchte für 10 % bessere Funktionen veraltet sein. Sie brauchen noch keinen Nachfolger, aber sie wollen wissen, dass er zum richtigen Zeitpunkt da ist“, sagte er.

Evans sagte, Microsoft treibe alle wichtigen Hardwaretechnologien voran: Anzeige, Tracking, Sensoren, Akkulaufzeit. „Wir suchen lediglich nach dem richtigen Designpunkt, um daraus ein sinnvolles Update zu machen. Sie wollen ein Nachfolgegerät, das eine noch höhere Kapitalrendite ermöglicht“, sagte Evans.

Da sich die HoloLens-Hardware und -Software ständig weiterentwickelt, erwartet Kleiner von Toyota, dass Guides „die Killer-Mixed-Reality-App“ für Mitarbeiter an vorderster Front bleiben wird. Eines Tages könnte es wie Word sein und auf jedem Gerät verfügbar sein. Aber vorerst wird Toyota weiterhin HoloLens 2-Headsets im gesamten Unternehmen einführen und den Mitarbeitern an vorderster Front die Werkzeuge an die Hand geben, die sie auf neue Art und Weise arbeiten und zusammenarbeiten können.

„Wir haben jetzt ein Gerät, das wir für jeden Menschen einsetzen können“, sagte Kleiner. „Es ist einfach zu warten und ermöglicht es unseren Mitarbeitern, sich an größeren Gesprächen zu beteiligen, unabhängig von Rang oder Teamstruktur. Jeder hat jetzt eine Stimme.“

Bild oben: Desktop-Mitarbeiter können im 3D-Raum Anmerkungen machen und das, was ein Frontarbeiter mit HoloLens 2 sieht, mit dem neuesten Update von Dynamics 365 Guides erweitern. (Bild mit freundlicher Genehmigung von Microsoft)

Jake Siegel schreibt über Forschung und Innovation von Microsoft.