Discussions (German)

Registered 7 years 342 days

Muschelpuster Friday, 3 July 2020, 01:44 PM

kein Zugriff auf App-PF@IP811

Moin zusammen,

zum wiederholten Mal ist uns die App-PF auf der IP811 unseres Kunden abgeraucht. Der findet das natürlich überhaupt nicht lustig.

Ich kann den App-PF-IP pingen und auch SSH geht, nur eben kein Web-Access. Beim komme ich aber weder mit dem Admin-PW noch mit dem Default-PW weiter. Kann ich da noch etwas machen, bevor ich die App-PF schon wieder platt mache?

wiederholte Grüße

Niels

Für die Spezis noch die Meldungen von der App-PF (nach Hardrestart):

Booting Linux on physical CPU 0x1

Linux version 5.4.10 (root@debian) (gcc version 6.3.0 20170516 (Debian 6.3.0-18)) #1 SMP Fri Jan 10 15:03:09 CET 2020

CPU: ARMv7 Processor [414fc091] revision 1 (ARMv7), cr=10c5387d

CPU: PIPT / VIPT nonaliasing data cache, VIPT aliasing instruction cache

OF: fdt: Machine model: innovaphone IP811

Memory policy: Data cache writealloc

percpu: Embedded 12 pages/cpu s28108 r0 d21044 u49152

Built 1 zonelists, mobility grouping on. Total pages: 389890

Kernel command line: root=/dev/sda3

Dentry cache hash table entries: 262144 (order: 8, 1048576 bytes, linear)

Inode-cache hash table entries: 131072 (order: 7, 524288 bytes, linear)

mem auto-init: stack:off, heap alloc:off, heap free:off

Memory: 1547132K/1571840K available (7168K kernel code, 173K rwdata, 1396K rodata, 1024K init, 369K bss, 24708K reserved, 0K cma-reserved)

SLUB: HWalign=64, Order=0-3, MinObjects=0, CPUs=1, Nodes=1

rcu: Hierarchical RCU implementation.

rcu: RCU restricting CPUs from NR_CPUS=2 to nr_cpu_ids=1.

rcu: RCU calculated value of scheduler-enlistment delay is 25 jiffies.

rcu: Adjusting geometry for rcu_fanout_leaf=16, nr_cpu_ids=1

NR_IRQS: 16, nr_irqs: 16, preallocated irqs: 16

GIC physical location is 0xf100d000

L2C-310 enabling early BRESP for Cortex-A9

L2C-310: enabling full line of zeros but not enabled in Cortex-A9

L2C-310 ID prefetch enabled, offset 1 lines

L2C-310 dynamic clock gating enabled, standby mode enabled

L2C-310 Coherent cache controller enabled, 8 ways, 256 kB

L2C-310 Coherent: CACHE_ID 0x410054c9, AUX_CTRL 0x76040001

random: get_random_bytes called from start_kernel+0x2b0/0x434 with crng_init=0

Switching to timer-based delay loop, resolution 40ns

sched_clock: 32 bits at 25MHz, resolution 40ns, wraps every 85899345900ns

clocksource: armada_370_xp_clocksource: mask: 0xffffffff max_cycles: 0xffffffff, max_idle_ns: 76450417870 ns

Console: colour dummy device 80x30

printk: console [tty0] enabled

Calibrating delay loop (skipped), value calculated using timer frequency.. 50.00 BogoMIPS (lpj=100000)

pid_max: default: 32768 minimum: 301

LSM: Security Framework initializing

Mount-cache hash table entries: 4096 (order: 2, 16384 bytes, linear)

Mountpoint-cache hash table entries: 4096 (order: 2, 16384 bytes, linear)

CPU: Testing write buffer coherency: ok

CPU0: Spectre v2: using BPIALL workaround

CPU0: thread -1, cpu 1, socket 0, mpidr 80000001

Setting up static identity map for 0x20100000 - 0x20100060

rcu: Hierarchical SRCU implementation.

smp: Bringing up secondary CPUs ...

smp: Brought up 1 node, 1 CPU

SMP: Total of 1 processors activated (50.00 BogoMIPS).

CPU: All CPU(s) started in SVC mode.

devtmpfs: initialized

VFP support v0.3: implementor 41 architecture 3 part 30 variant 9 rev 4

clocksource: jiffies: mask: 0xffffffff max_cycles: 0xffffffff, max_idle_ns: 7645041785100000 ns

futex hash table entries: 256 (order: 2, 16384 bytes, linear)

xor: measuring software checksum speed

arm4regs : 1258.000 MB/sec

8regs : 969.000 MB/sec

32regs : 1006.000 MB/sec

neon : 917.000 MB/sec

xor: using function: arm4regs (1258.000 MB/sec)

pinctrl core: initialized pinctrl subsystem

NET: Registered protocol family 16

DMA: preallocated 256 KiB pool for atomic coherent allocations

cryptd: max_cpu_qlen set to 1000

raid6: neonx8 gen() 539 MB/s

raid6: neonx8 xor() 490 MB/s

raid6: neonx4 gen() 749 MB/s

raid6: neonx4 xor() 654 MB/s

raid6: neonx2 gen() 643 MB/s

raid6: neonx2 xor() 673 MB/s

raid6: neonx1 gen() 604 MB/s

raid6: neonx1 xor() 572 MB/s

raid6: int32x8 gen() 210 MB/s

raid6: int32x8 xor() 153 MB/s

raid6: int32x4 gen() 196 MB/s

raid6: int32x4 xor() 166 MB/s

raid6: int32x2 gen() 166 MB/s

raid6: int32x2 xor() 173 MB/s

raid6: int32x1 gen() 105 MB/s

raid6: int32x1 xor() 150 MB/s

raid6: using algorithm neonx4 gen() 749 MB/s

raid6: .... xor() 654 MB/s, rmw enabled

raid6: using neon recovery algorithm

SCSI subsystem initialized

NetLabel: Initializing

NetLabel: domain hash size = 128

NetLabel: protocols = UNLABELED CIPSOv4 CALIPSO

NetLabel: unlabeled traffic allowed by default

clocksource: Switched to clocksource armada_370_xp_clocksource

FS-Cache: Loaded

thermal_sys: Registered thermal governor 'step_wise'

NET: Registered protocol family 2

tcp_listen_portaddr_hash hash table entries: 1024 (order: 1, 12288 bytes, linear)

TCP established hash table entries: 16384 (order: 4, 65536 bytes, linear)

TCP bind hash table entries: 16384 (order: 5, 131072 bytes, linear)

TCP: Hash tables configured (established 16384 bind 16384)

UDP hash table entries: 1024 (order: 3, 32768 bytes, linear)

UDP-Lite hash table entries: 1024 (order: 3, 32768 bytes, linear)

NET: Registered protocol family 1

printk: console [shm_console0] enabled

workingset: timestamp_bits=30 max_order=19 bucket_order=0

FS-Cache: Netfs 'cifs' registered for caching

Key type cifs.idmap registered

SGI XFS with security attributes, no debug enabled

Block layer SCSI generic (bsg) driver version 0.4 loaded (major 252)

io scheduler mq-deadline registered

io scheduler kyber registered

io scheduler bfq registered

Serial: 8250/16550 driver, 4 ports, IRQ sharing disabled

f1012000.serial: ttyS0 at MMIO 0xf1012000 (irq = 18, base_baud = 12500000) is a 16550A

brd: module loaded

loop: module loaded

sata_mv f10a0000.sata: slots 32 ports 1

scsi host0: sata_mv

ata1: SATA max UDMA/133 irq 25

libphy: Fixed MDIO Bus: probed

eth0: Using hardware mac address 02:90:33:41:0c:07

NET: Registered protocol family 10

Segment Routing with IPv6

mip6: Mobile IPv6

sit: IPv6, IPv4 and MPLS over IPv4 tunneling driver

NET: Registered protocol family 17

Key type dns_resolver registered

Registering SWP/SWPB emulation handler

Key type ._fscrypt registered

Key type .fscrypt registered

Btrfs loaded, crc32c=crc32c-generic

Key type encrypted registered

ata1: SATA link up 3.0 Gbps (SStatus 123 SControl F300)

ata1.00: ATA-9: TS64GMSA370, P1225CH1, max UDMA/133

ata1.00: 125045424 sectors, multi 1: LBA48 NCQ (depth 31/32)

ata1.00: configured for UDMA/133

scsi 0:0:0:0: Direct-Access ATA TS64GMSA370 5CH1 PQ: 0 ANSI: 5

sd 0:0:0:0: [sda] 125045424 512-byte logical blocks: (64.0 GB/59.6 GiB)

sd 0:0:0:0: [sda] Write Protect is off

sd 0:0:0:0: [sda] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA

sda: sda1 sda2 sda3 sda4

sd 0:0:0:0: [sda] Attached SCSI disk

EXT4-fs (sda3): mounted filesystem with ordered data mode. Opts: (null)

VFS: Mounted root (ext4 filesystem) readonly on device 8:3.

devtmpfs: mounted

Freeing unused kernel memory: 1024K

Run /sbin/init as init process

EXT4-fs (sda3): re-mounted. Opts: (null)

FAT-fs (sda1): Volume was not properly unmounted. Some data may be corrupt. Please run fsck.

EXT4-fs (sda2): mounted filesystem with ordered data mode. Opts: (null)

Adding 524628k swap on /dev/sda4. Priority:-2 extents:1 across:524628k SS

random: dd: uninitialized urandom read (512 bytes read)

random: crng init done

Moderator

Registered 14 years 346 days

Daniel Deterding (innovaphone) Friday, 3 July 2020, 03:22 PM

Re: kein Zugriff auf App-PF@IP811

Hallo Niels,

ein reines Stoppen+Starten von der AP bringt sie nicht wieder hoch (unter App Platform -> General)?
Mit SSH einloggen und admin + ipapps eingeben geht nicht?
Mit SSH einloggen und admin + Administratorpasswort aus dem Install eingeben?
Mit SSH einloggen und admin + Passwort der Devices-Domäne eingeben, falls das geändert wurde?

Gruß,

Daniel

Registered 7 years 342 days

Muschelpuster Friday, 3 July 2020, 03:47 PM

Re: kein Zugriff auf App-PF@IP811

Moin Daniel,

ein reines Stoppen+Starten von der AP bringt sie nicht wieder hoch (unter App Platform -> General)?

nein

Mit SSH einloggen und admin + ipapps eingeben geht nicht?

nein

Mit SSH einloggen und admin + Administratorpasswort aus dem Install eingeben?

nein

Mit SSH einloggen und admin + Passwort der Devices-Domäne eingeben, falls das geändert wurde?

wurde nicht geändert

Das Admin-PW habe ich auch auf der klassischen GUI geprüft, das bei uns hinterlegte PW passt dort.

Wie geschrieben, das ist zum wiederholten Mal passiert und inzwischen wurde sogar schon die IP811 und das Drive getauscht. Und soweit ich weiß läuft da effektiv nur die Voicemail-App drauf (oder gerade eben mal wieder nicht). Das System ist auch aktuell auf sr14.

unberechtigte Grüße

Niels

Moderator

Registered 14 years 346 days

Daniel Deterding (innovaphone) Friday, 3 July 2020, 03:53 PM

Re: kein Zugriff auf App-PF@IP811

Uff, das hört sich tatsächlich nicht gut an

Mir fallen keine weiteren Möglichkeiten für das admin-Passwort ein. Als ob es die /etc/shadow-Datei zerlegt hätte, in der die Benutzerpasswörter liegen?

Man könnte weiterstochern, indem man die RAM-Disk bootet und von dort aus sda2 und sda3 prüft. Da müsste man wie hier beschrieben vorgehen:

http://wiki.innovaphone.com/index.php?title=Reference13r1:Concept_App_Platform#How_to_recover_from_a_broken_File_System

Damit könnte man zumindest mal erstmal die Dateisysteme auf sda2+sda3 prüfen und schauen, ob da Fehler gemeldet werden.

Wenn nicht, könnte man sich /mnt/sda2/etc/shadow anschauen, was da so drin steht und evtl. sogar das Passwort dort zurücksetzen ...

Ist aber ein Gestochere.

Gruß,

Daniel

Registered 7 years 342 days

Muschelpuster Friday, 3 July 2020, 06:36 PM

Re: kein Zugriff auf App-PF@IP811

Bin dran - Problem saß vor dem PC - das PW ging nicht über die Zwischenablage

Nachdem ich die ganzen Sonderzeichen manuell richtig getippt habe bin ich dran.

DF ist (leider) unauffällig:

admin@app-platform|/mnt/sda2/home/admin> df -h

Filesystem Size Used Available Use% Mounted on

/dev/root 476.2M 97.8M 349.4M 22% /

devtmpfs 755.4M 0 755.4M 0% /dev

/dev/sda1 49.2M 45.0M 4.2M 91% /mnt/sda1

/dev/sda2 57.3G 855.5M 53.5G 2% /mnt/sda2

tmpfs 755.9M 36.0K 755.9M 0% /dev/shm

tmpfs 755.9M 4.0K 755.9M 0% /tmp

tmpfs 755.9M 28.0K 755.9M 0% /run

Manager stop & start und schon läuft alles wieder. Wobei ich vorher nicht geschaut habe, ob es auch schon wieder lief. Auf jeden Fall ist das Wochenende erst einmal gerettet und ich kann die nächsten Woche die Thematik nochmal in der Ruhe die ich sowieso nicht haben werde genießen

gelöste Grüße

Niels

Moderator

Registered 14 years 346 days

Daniel Deterding (innovaphone) Friday, 3 July 2020, 05:07 PM in response to Muschelpuster

1 of 1 users consider this post helpful

Re: kein Zugriff auf App-PF@IP811

Hi Niels,

ein anderer Gedanke: wurden auf dieser AP zwei verschiedene Devices Registration URLs konfiguriert, so dass sie von zwei Devices aus erreichbar war?

Siehe auch http://wiki.innovaphone.com/index.php?title=Reference13r1:Concept_App_Service_Devices#Second_Devices_Registration_URL

Gruß,

Daniel

Registered 7 years 342 days

Muschelpuster Monday, 6 July 2020, 03:40 PM

Re: kein Zugriff auf App-PF@IP811

Danke Daniel,

das mit der 2. URL werde ich jetzt mal in Angriff nehmen, denn die Kiste war schon wieder weg. Ein Neustart des Manger hat es nichts gebracht, ich habe das hilflose Standard-Verhalten eines Windows-Users zum Einsatz gebracht und das ganze Linux neu gestartet. Danach ist wieder alles gut - nur für wie lange?

Ansonsten ist das System für mich erst einmal unauffällig, nur die ungewöhnliche CPU-Time des Webserver fällt in's Auge (s. Abfragen unten).

hilflose Grüße

Niels

Using keyboard-interactive authentication.

Password:

admin@app-platform|/mnt/sda2/home/admin> df -h

Filesystem Size Used Available Use% Mounted on

/dev/root 476.2M 97.8M 349.4M 22% /

devtmpfs 755.4M 0 755.4M 0% /dev

/dev/sda1 49.2M 45.0M 4.2M 91% /mnt/sda1

/dev/sda2 57.3G 867.9M 53.5G 2% /mnt/sda2

tmpfs 755.9M 36.0K 755.9M 0% /dev/shm

tmpfs 755.9M 4.0K 755.9M 0% /tmp

tmpfs 755.9M 28.0K 755.9M 0% /run

admin@app-platform|/mnt/sda2/home/admin> ps -A

PID TTY TIME CMD

1 ? 00:00:01 init

2 ? 00:00:00 kthreadd

3 ? 00:00:00 rcu_gp

4 ? 00:00:00 rcu_par_gp

6 ? 00:00:00 kworker/0:0H-kblockd

7 ? 00:00:00 kworker/u2:0-events_unbound

8 ? 00:00:00 mm_percpu_wq

9 ? 00:01:19 ksoftirqd/0

10 ? 00:03:26 rcu_sched

11 ? 00:00:00 migration/0

12 ? 00:00:00 cpuhp/0

13 ? 00:00:00 kdevtmpfs

174 ? 00:00:00 oom_reaper

175 ? 00:00:00 writeback

177 ? 00:00:00 kcompactd0

189 ? 00:00:00 cryptd

208 ? 00:00:00 kblockd

213 ? 00:00:00 ata_sff

227 ? 00:00:00 watchdogd

321 ? 00:00:00 kswapd0

408 ? 00:00:00 cifsiod

409 ? 00:00:00 smb3decryptd

410 ? 00:00:00 cifsfileinfoput

411 ? 00:00:00 cifsoplockd

412 ? 00:00:00 xfsalloc

428 ? 00:00:00 xfs_mru_cache

586 ? 00:00:00 kworker/0:0

1019 ? 00:00:00 scsi_eh_0

1020 ? 00:00:00 scsi_tmf_0

1067 ? 00:00:00 ipv6_addrconf

1068 ? 00:00:00 kstrp

1082 ? 00:00:00 kworker/u3:0

1097 ? 00:00:51 kworker/0:1H-kblockd

1104 ? 00:00:00 jbd2/sda3-8

1105 ? 00:00:00 ext4-rsv-conver

1111 ? 00:00:29 jbd2/sda2-8

1112 ? 00:00:00 ext4-rsv-conver

1121 ? 00:00:00 syslogd

1125 ? 00:00:00 klogd

1132 ? 00:00:13 haveged

1182 ? 00:00:00 udhcpc

1191 ? 00:00:36 postgres

1192 ? 00:00:00 postgres

1194 ? 00:00:48 postgres

1195 ? 00:00:15 postgres

1196 ? 00:00:56 postgres

1197 ? 00:00:44 postgres

1198 ? 00:00:00 postgres

1202 ? 00:00:00 sshd

1235 ? 00:02:30 manager

1236 ? 00:05:05 manager_supervi

1237 tty1 00:00:00 getty

1295 ? 00:07:32 postgres

1312 ? 00:00:27 ntpd

1314 ? 00:00:00 sudo

1315 ? 1-07:03:37 webserver

1318 ? 00:00:00 sudo

1319 ? 00:00:00 sudo

1320 ? 00:00:00 sudo

1321 ? 00:00:01 contacts

1322 ? 00:00:00 sudo

1323 ? 00:00:08 devices

1324 ? 00:01:02 events

1325 ? 00:00:00 sudo

1326 ? 00:00:00 sudo

1327 ? 00:00:00 sudo

1328 ? 1-01:01:50 files

1334 ? 00:00:04 reporting

1335 ? 00:00:03 users

1336 ? 14:03:55 voicemail_de

1342 ? 00:00:00 postgres

1343 ? 00:00:04 postgres

1344 ? 00:02:11 postgres

1345 ? 00:00:00 postgres

1346 ? 00:00:00 postgres

1347 ? 00:00:04 postgres

1348 ? 00:00:02 postgres

1366 ? 00:00:00 postgres

1592 ? 00:03:53 postgres

3700 ? 00:00:00 kworker/0:2-events

5123 ? 00:00:00 sshd

5269 ? 00:00:00 sshd

5273 pts/0 00:00:00 sh

5869 ? 00:00:00 sleep

5870 pts/0 00:00:00 ps

25402 ? 00:00:00 kworker/u2:1-events_unbound

Registered 7 years 342 days

Muschelpuster Monday, 6 July 2020, 03:52 PM

Re: kein Zugriff auf App-PF@IP811

Ach so, doch noch eine Auffälligkeit: Die CPU war vor dem Restart zu 100% ausgelastet, danach dödelt sie unter 10% rum.

admin@app-platform|/mnt/sda2/home/admin> top

top - 13:09:45 up 3 days, 1:37, 1 user, load average: 1.76, 1.94, 1.90

Tasks: 86 total, 3 running, 83 sleeping, 0 stopped, 0 zombie

%Cpu0 : 23.9/76.1 100[|||||||||||||||||||||||||||||||||||||||||||||||||||||]

GiB Mem : 17.3/1.5 [ ]

GiB Swap: 0.0/0.5 [ ]

ausgelastete Grüße

Niels

Moderator

Registered 14 years 346 days

Daniel Deterding (innovaphone) Tuesday, 7 July 2020, 07:25 AM

Re: kein Zugriff auf App-PF@IP811

Hi Niels,

auf jeden Fall mal auf SR14 hochrüsten! Vor längerer Zeit gabs mal einen Bug, der zu hoher CPU-Last führen konnte (ist aber schon mehrere SRs her) und mit SR14 wurde ein Bug gefixt, der beim Update einer einzelnen App dazu führen konnte, dass der Manager sich die Karten legt und das System dann nur noch per SSH erreichbar ist (ähnlich wie bei dir jetzt).

Gruß,
Daniel

Registered 7 years 342 days

Muschelpuster Tuesday, 7 July 2020, 07:52 AM

Re: kein Zugriff auf App-PF@IP811

Moin Daniel,

das System ist schon komplett auf sr14...

Da schon alles getauscht und neu installiert wurde, vermute ich sogar, das die jetzige App-PF direkt mit sr14 installiert wurde. Wir haben wenig App-PFs auf Blech, daher habe ich hier auch nicht so die Vergleichswerte, was hier vielleicht noch anders ist als bei Anderen - das System ist rein auf IP ohne DNS aufgesetzt.

Scheinbar ist es tatsächlich so, dass der Punk erst erst abgeht, wenn die Voicemail gefragt ist. Ich habe das gestern nachgestellt:

Restart der App-PF - alles gut.
Anruf der Voicemail und keine Nachricht hinterlassen - CPU kurz auf 30%, dann wieder Ruhe
Anruf auf Voicemail und eine Nachricht hinterlassen - Webserver und Voicemail teilen sich alles an CPU was sie bekommen können

Das führt aber noch nicht zwingend zu dem Ausfall. Auch nach einer Nacht mit 100% läuft das System noch. Scheinbar muss das noch etwas reifen (10-14 Tage)

aktuelle Grüße

Niels

You are here