Puuh, så fik jeg da lige brugt den weekend...
I sidste uge får vi en bil ind der er gået i sort skærm efter opgradering til ny eMMC, vi tænker, det var da lige godt pokker, men ok, vi kan jo have lavet en fejl, selv om vi jo selv mener det lyder virkelig usandsynligt :)
Inden vi når at få kunden ud med bilen kommer meldingen, to biler mere på vej med sort skærm efter opgradering til ny eMMC ship.
Her begynder vi at blive bekymrede, har vi fået en sending dårlige chips, har maskinen været sat forkert op, er der sket fejl i lodningen?
Vi undersøger datoen for lodningerne, ingen af dem har været inde på samme tid, så chippen er ikke fra samme sending (kan jo teoretisk godt være fra samme produktion da man nok producerer pænt mange af gange), der er lavet flere biler på de dage hvor ikke har hørt om problemer.
Nå, vi må vente og se indtil vi får den første bil ind. Bilen kommer ind, vi tager Tegra-kortet ud, undersøger eMMC kredsen, ingen problemer, alle data er intakte og alle partitioner ser fine ud. Mærkeligt.
I med kortet igen, starte MCU'en op, sort skærm intet sker. LAver en telnet ind i boot-loaderen, den står blot i recovery mode. Recovery mode er den status MCU'en går i hvis den ikke kan se eMMC kredsen. Super weird. Ind med Tegra-kortet i et røntgen apparat, er der baner der ikke er som de skal være, alt ser find ud på billede
Vi får de næste to biler ind. Starter dem op og ganske som forventet, sort skærm (det var jo sådan set også fejlmeldingen), telnet ind i boot-loader, samme fejl. Det var lige godt spøjst. Vi ser på software versionen Bilen forventer at starte på 2020.12.11.5 og kommer fra version version 2020.12.5. Det er samme søster på alle tre biler. Opgradering fra samme tidlige version til samme nuværende version.
Vi tænker der måske kan være en fejl på selve tegra-bordet, så alle data flyttes til et nyt Tegra-kort, men fejlen flyttede fra kort til kort. Så det var ikke selve Tegrakortet.
Vi forsøgte at undersøge bundkortet, det kunne være en UART kreds der lavede støj og sendte et tastetryk videre, men svært at gennemskue. Så sidste udvej, hele MDU'en blev torsdag sendt til Holland med express, og ankom fredag morgen.
Så hele weekenden er derefter gået med fejlfinding, indtil vi her til aften fandt ud af, at den NOR flash kreds på 64MB der også sidder på kortet, lavede ged i det hele. Opdateringen Tesla havde rullet ud, havde lavet en fejl i hvad nor-flash forventede af softwareversionog hvad Tegra-kortet kunne se lå på eMMC kortet som bilen havde downloaded.
Hold op hvor tog det lang tid at finde ud af, men efter at have reflashet nor-kredsen, virker MCU'en igen...
Så risikoen for sort skærm er til stede selv om man får skiftet eMMC kredsen. Men reparationen er relativ simpel, læg software på nor-kredsen igen, med den version der allerede ligger på eMMC kredsen.
Vi er ved at undersøge om man kan reflashe kredsen via software direkte fra eMMC, men det er nok lidt svært hvis den allerede er gået i sort grundet fejl. Ellers er vi ved at udvikle hardware der kan fixe problemet uden brug af lodning.
Blot en lille historie om hvordan man også kan bruge sin weekend. Og nå ja, så fik jeg da også lige skiftet padle gear i en bagdør i dag også. Så er den dag også gået :)
/Martin
Ja ... man ser lidt af hvert. Fedt I har fået styr på den del også. Man bliver klogere og klogere ... fedt vi kan få bilerne ud på vejen igen! :-)
De håndtag er bare fantastiske ... men har du slet ikke lavet bremserens så? Det lyder som en lidt kedelig weekend alligevel ... ;-) he he ...
