Registered 5 years 77 days

Oliver 4678 Wednesday, 27 May 2020, 01:54 PM

App Platform defekt.

Hallo Zusammen.

Ich habe ein großes Problem mit unserer App Platform.

Wenn ich diese aufrufe kann ich prinzipiell nur noch den PBX Manager starten. Bei allen anderen Apps (Devices, User, Contacts etc.) fehlt das Icon und starten nicht mehr.

Ich habe die App-Platform neu gestartet. Die PBX neu gestartet. Keine Besserung.

Unter Messages habe ich folgenden Eintrag:

FAT-fs (sda1): Volume was not properly unmounted. Some data may be corrupt. Please run fsck. random: fast init done

Habe auch schon wie im WIKI "How to recover from a broken FileSystem" von ram0 das ganze gestartet.

Aber auch hier bekomme ich keinen Zugriff über putty um sda1 zu prüfen.

Natürlich hat unser Dienstleister keine Backups der einzelnen Apps gemacht.

Die würden mir ja schon reichen damit ich das ganze jetzt (relativ schmerzfrei) in eine VM umziehen lassen könnte.

Hoffe jemand hat eine Idee.

Viele Grüße

Oliver

Registered 12 years 269 days

Christoph 291 Wednesday, 27 May 2020, 02:04 PM

Re: App Platform defekt.

Willkommen im Club.

Das ist mir bei einem Kunden drei Mal nacheinander passiert.

Dabei gibt die APP Installation immer einen Teil der SSD frei und du siehst dies unter SSD. Da ist dann immer eine Partition von ca 48 Mb frei zur Verügung.

Diesen Teil kann die APP Installation nicht mehr lesen und verabschiedet sich.

Das Problem ist die SSD. Ich habe das Teil dreimal aufgesetzt. Ich hatte zum Glück das Backup der Instanzen.

Nach dem drittenmal habe ich die SSD ersetzt. Gewisse Typen von SSD funktionieren nicht richtig.

Seither ist Ruhe.

Aber ohne Backup wirst du keine grosse Chance haben.

Gruss

Christoph

Registered 5 years 77 days

Oliver 4678 Wednesday, 27 May 2020, 02:14 PM

Re: App Platform defekt.

Hi Christoph.

Danke schonmal für die Info. Die SSD ist eine originale von innovaphone ... da sollte man doch annehmen das die wissen was Sie da einbauen.

Das ich keine Backups habe, muss ich mir ja nun auch zum Teil selbst ankreiden, aber wenn man schon für den Service bezahlt, kann man doch auch erwarten das Backups existieren. Zumindest vom System im Auslieferungszustand. Schließlich kann die Kiste ja auch mal komplett abrauchen.

Naja, dann freue ich mich auf einiges an Arbeit das ganze neu aufzubauen

Gruss

Oliver

Moderator

Registered 14 years 351 days

Daniel Deterding (innovaphone) Wednesday, 27 May 2020, 02:39 PM

1 of 1 users consider this post helpful

Re: App Platform defekt.

Hallo Oliver,

wenn die RAM-Disk erfolgreich bootet und man kommt per SSH nicht drauf, liegt es nicht an der SSD.

Wenn man dem Wiki-Artikel folgt und von /dev/ram0 bootet, was erscheint dann unter App-Platform -> Messages?

Wenn man das Linux unter App-Platform->General stoppt und sich danach das FAT-Dateisystem anschaut, unter General->SSD->Browse content (HTML), was für Dateien sieht man da, mit welcher Größe?

Falls möglich, wäre es toll, wenn wir die SSD zum Untersuchen bekommen könnten. Wenn ja, bitte einen Supportcase aufmachen.

Gruß,

Daniel

Registered 5 years 77 days

Oliver 4678 Wednesday, 27 May 2020, 03:24 PM

Re: App Platform defekt.

Hi Daniel.

Dann sehe ich folgendes:

[To Parent Directory]
Monday, February 17, 2020	9:53 AM	4213000	kernel-armv5te
Monday, February 17, 2020	9:53 AM	4604296	kernel-armv7te
Monday, February 17, 2020	9:53 AM	5	label
Monday, February 17, 2020	9:53 AM	9643944	ramdisk.ext2.xz
Monday, February 17, 2020	9:53 AM	3	releasestate
Monday, February 17, 2020	9:53 AM	28658464	rootfs.tar.xz
Saturday, March 14, 2020	11:06 AM	1062	install_step1.log
Tuesday, January 01, 1980	0:00 PM	<dir>	boot

Hilft das weiter ??? Ich hoffe!!

Zum Teil funktionieren die Apps ja auch augenscheinlich... z.B. haben wir Zeitschalter die noch greifen (nach Feierabend kommt ein Ansagenbaum).

Oliver

Registered 5 years 77 days

Oliver 4678 Wednesday, 27 May 2020, 03:30 PM

Re: App Platform defekt.

Messages bei ram0

Booting Linux on physical CPU 0x1 Linux version 5.4.10 (root@debian) (gcc version 6.3.0 20170516 (Debian 6.3.0-18)) #1 SMP Fri Jan 10 15:03:09 CET 2020 CPU: ARMv7 Processor [414fc091] revision 1 (ARMv7), cr=10c5387d CPU: PIPT / VIPT nonaliasing data cache, VIPT aliasing instruction cache OF: fdt: Machine model: innovaphone IP0011 Memory policy: Data cache writealloc percpu: Embedded 12 pages/cpu s28108 r0 d21044 u49152 Built 1 zonelists, mobility grouping on. Total pages: 389890 Kernel command line: root=/dev/ram0 ramdisk_size=100000 Dentry cache hash table entries: 262144 (order: 8, 1048576 bytes, linear) Inode-cache hash table entries: 131072 (order: 7, 524288 bytes, linear) mem auto-init: stack:off, heap alloc:off, heap free:off Memory: 1537712K/1571840K available (7168K kernel code, 173K rwdata, 1396K rodata, 1024K init, 369K bss, 34128K reserved, 0K cma-reserved) SLUB: HWalign=64, Order=0-3, MinObjects=0, CPUs=1, Nodes=1 rcu: Hierarchical RCU implementation. rcu: RCU restricting CPUs from NR_CPUS=2 to nr_cpu_ids=1. rcu: RCU calculated value of scheduler-enlistment delay is 25 jiffies. rcu: Adjusting geometry for rcu_fanout_leaf=16, nr_cpu_ids=1 NR_IRQS: 16, nr_irqs: 16, preallocated irqs: 16 GIC physical location is 0xf100d000 L2C-310 enabling early BRESP for Cortex-A9 L2C-310: enabling full line of zeros but not enabled in Cortex-A9 L2C-310 ID prefetch enabled, offset 1 lines L2C-310 dynamic clock gating enabled, standby mode enabled L2C-310 Coherent cache controller enabled, 8 ways, 256 kB L2C-310 Coherent: CACHE_ID 0x410054c9, AUX_CTRL 0x76040001 random: get_random_bytes called from start_kernel+0x2b0/0x434 with crng_init=0 Switching to timer-based delay loop, resolution 40ns sched_clock: 32 bits at 25MHz, resolution 40ns, wraps every 85899345900ns clocksource: armada_370_xp_clocksource: mask: 0xffffffff max_cycles: 0xffffffff, max_idle_ns: 76450417870 ns Console: colour dummy device 80x30 printk: console [tty0] enabled Calibrating delay loop (skipped), value calculated using timer frequency.. 50.00 BogoMIPS (lpj=100000) pid_max: default: 32768 minimum: 301 LSM: Security Framework initializing Mount-cache hash table entries: 4096 (order: 2, 16384 bytes, linear) Mountpoint-cache hash table entries: 4096 (order: 2, 16384 bytes, linear) CPU: Testing write buffer coherency: ok CPU0: Spectre v2: using BPIALL workaround CPU0: thread -1, cpu 1, socket 0, mpidr 80000001 Setting up static identity map for 0x20100000 - 0x20100060 rcu: Hierarchical SRCU implementation. smp: Bringing up secondary CPUs ... smp: Brought up 1 node, 1 CPU SMP: Total of 1 processors activated (50.00 BogoMIPS). CPU: All CPU(s) started in SVC mode. devtmpfs: initialized VFP support v0.3: implementor 41 architecture 3 part 30 variant 9 rev 4 clocksource: jiffies: mask: 0xffffffff max_cycles: 0xffffffff, max_idle_ns: 7645041785100000 ns futex hash table entries: 256 (order: 2, 16384 bytes, linear) xor: measuring software checksum speed arm4regs : 1258.000 MB/sec 8regs : 969.000 MB/sec 32regs : 1006.000 MB/sec neon : 917.000 MB/sec xor: using function: arm4regs (1258.000 MB/sec) pinctrl core: initialized pinctrl subsystem NET: Registered protocol family 16 DMA: preallocated 256 KiB pool for atomic coherent allocations cryptd: max_cpu_qlen set to 1000 raid6: neonx8 gen() 539 MB/s raid6: neonx8 xor() 490 MB/s raid6: neonx4 gen() 749 MB/s raid6: neonx4 xor() 654 MB/s raid6: neonx2 gen() 643 MB/s raid6: neonx2 xor() 673 MB/s raid6: neonx1 gen() 604 MB/s raid6: neonx1 xor() 571 MB/s raid6: int32x8 gen() 210 MB/s raid6: int32x8 xor() 154 MB/s raid6: int32x4 gen() 196 MB/s raid6: int32x4 xor() 166 MB/s raid6: int32x2 gen() 166 MB/s raid6: int32x2 xor() 170 MB/s raid6: int32x1 gen() 105 MB/s raid6: int32x1 xor() 152 MB/s raid6: using algorithm neonx4 gen() 749 MB/s raid6: .... xor() 654 MB/s, rmw enabled raid6: using neon recovery algorithm SCSI subsystem initialized NetLabel: Initializing NetLabel: domain hash size = 128 NetLabel: protocols = UNLABELED CIPSOv4 CALIPSO NetLabel: unlabeled traffic allowed by default clocksource: Switched to clocksource armada_370_xp_clocksource FS-Cache: Loaded thermal_sys: Registered thermal governor 'step_wise' NET: Registered protocol family 2 tcp_listen_portaddr_hash hash table entries: 1024 (order: 1, 12288 bytes, linear) TCP established hash table entries: 16384 (order: 4, 65536 bytes, linear) TCP bind hash table entries: 16384 (order: 5, 131072 bytes, linear) TCP: Hash tables configured (established 16384 bind 16384) UDP hash table entries: 1024 (order: 3, 32768 bytes, linear) UDP-Lite hash table entries: 1024 (order: 3, 32768 bytes, linear) NET: Registered protocol family 1 Trying to unpack rootfs image as initramfs... rootfs image is not initramfs (no cpio magic); looks like an initrd Freeing initrd memory: 9420K printk: console [shm_console0] enabled workingset: timestamp_bits=30 max_order=19 bucket_order=0 FS-Cache: Netfs 'cifs' registered for caching Key type cifs.idmap registered SGI XFS with security attributes, no debug enabled Block layer SCSI generic (bsg) driver version 0.4 loaded (major 252) io scheduler mq-deadline registered io scheduler kyber registered io scheduler bfq registered Serial: 8250/16550 driver, 4 ports, IRQ sharing disabled f1012000.serial: ttyS0 at MMIO 0xf1012000 (irq = 18, base_baud = 12500000) is a 16550A brd: module loaded loop: module loaded sata_mv f10a0000.sata: slots 32 ports 1 scsi host0: sata_mv ata1: SATA max UDMA/133 irq 25 libphy: Fixed MDIO Bus: probed eth0: Using hardware mac address 02:90:33:42:0a:b8 NET: Registered protocol family 10 Segment Routing with IPv6 mip6: Mobile IPv6 sit: IPv6, IPv4 and MPLS over IPv4 tunneling driver NET: Registered protocol family 17 Key type dns_resolver registered Registering SWP/SWPB emulation handler Key type ._fscrypt registered Key type .fscrypt registered Btrfs loaded, crc32c=crc32c-generic Key type encrypted registered ata1: SATA link up 3.0 Gbps (SStatus 123 SControl F300) ata1.00: ATA-10: InnoDisk Corp. - mSATA 3ME4, L17606, max UDMA/133 ata1.00: 62533296 sectors, multi 1: LBA48 NCQ (depth 31/32) ata1.00: configured for UDMA/133 scsi 0:0:0:0: Direct-Access ATA InnoDisk Corp. - 06 PQ: 0 ANSI: 5 sd 0:0:0:0: [sda] 62533296 512-byte logical blocks: (32.0 GB/29.8 GiB) sd 0:0:0:0: [sda] Write Protect is off sd 0:0:0:0: [sda] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA sda: sda1 sda2 sda3 sda4 sd 0:0:0:0: [sda] Attached SCSI disk RAMDISK: xz image found at block 0 EXT4-fs (ram0): mounted filesystem without journal. Opts: (null) VFS: Mounted root (ext4 filesystem) readonly on device 1:0. devtmpfs: mounted Freeing unused kernel memory: 1024K Run /sbin/init as init process EXT4-fs (ram0): re-mounted. Opts: errors=remount-ro random: dd: uninitialized urandom read (512 bytes read) random: crng init done FAT-fs (sda1): Volume was not properly unmounted. Some data may be corrupt. Please run fsck. EXT4-fs (sda3): recovery complete EXT4-fs (sda3): mounted filesystem with ordered data mode. Opts: (null)

Moderator

Registered 14 years 351 days

Daniel Deterding (innovaphone) Wednesday, 27 May 2020, 03:37 PM

Re: App Platform defekt.

DIe Dateien und Dateigrößen sehen ganz gut aus.

Die Kernel-Messages beim Booten von /dev/ram0 ebenfalls.

Kannst du denn in dem Zustand die IP-Adresse der AP pingen? Vom PC aus oder vom Gateway selbst aus?

Gruß,

Daniel

Registered 5 years 77 days

Oliver 4678 Wednesday, 27 May 2020, 03:46 PM

Re: App Platform defekt.

Von der PBX aus klappt der ping.

Vom PC aus funktioniert er nicht.

Oliver

Moderator

Registered 14 years 351 days

Daniel Deterding (innovaphone) Wednesday, 27 May 2020, 03:57 PM

Re: App Platform defekt.

Wenn Ping vom Gateway aus funktioniert, läuft das Linux.

Ist unter IP4->ETH0 das Proxy Arp flag gesetzt? Ohne dieses Flag kommt man nicht aufs Linux von außerhalb.

Liegt das IP vom Linux auf ETH1 oder ETH0?

Wenn das Flag schon gesetzt ist, wie sieht die Rourting-Tabelle unter IP4->General->Routing aus?

Dass manche Apps funktionieren liegt daran, dass diese Apps auf der PBX selbst liegen, nicht auf der AP.

Gruß,

Daniel

Registered 5 years 77 days

Oliver 4678 Wednesday, 27 May 2020, 04:14 PM

Re: App Platform defekt.

Also das Proxy ARP Flag war nicht gesetzt. (nur Check ARP)

Und siehe da..... die APP-Platform läuft wieder und ist auch per Ping zu erreichen!!!!!!

Ungelogen .... es hat vorgestern ein Techniker hier 4 Stunden versucht es ans laufen zu bringen mit der letzten Aussage: Die SSD ist kaputt, da muss eine neue rein oder die APP Platform in einer VM laufen. Das wäre eh besser.

Da wir Ende letzter Woche anhaltende Gesprächsabbrüche hatte, kann ich mir nur vorstellen das unser Dienstleister auf der Suche nach dem Fehler.... diesen neun Fehler wegen Unkenntniss selbst eingebaut hat!!!

Ich denke wir werden uns dann doch lieber nach einem neuen Dienstleister umschauen.

Vielen Dank nochmal !!!!!!! Super Support hier.!!!!

VG
Oliver

Registered 8 years 259 days

Michel 2733 Thursday, 22 October 2020, 09:24 AM in response to Christoph 291

Re: App Platform defekt.

Hallo Christoph,

genau das Problem habe ich aktuell auch bei einem Kunden.

Bislang hat es geholfen, die Platform neu zu starten.

Nun hängt sie in der Boot-Phase fest, Zugriff nicht mehr möglich.

Hier mal die letzten Zeilen "Messages":

devtmpfs: mounted Freeing unused kernel memory: 1024K Run /sbin/init as init process EXT4-fs (sda3): re-mounted. Opts: (null) FAT-fs (sda1): Volume was not properly unmounted. Some data may be corrupt. Please run fsck. random: fast init done EXT4-fs (sda2): recovery complete EXT4-fs (sda2): mounted filesystem with ordered data mode. Opts: (null) Adding 525140k swap on /dev/sda4. Priority:-2 extents:1 across:525140k SS random: dd: uninitialized urandom read (512 bytes read) random: crng init done

Index of /DRIVE/CF0/

Monday, February 17, 2020 9:53 AM 4213000 kernel-armv5te
Monday, February 17, 2020 9:53 AM 4604296 kernel-armv7te
Monday, February 17, 2020 9:53 AM 5 label
Monday, February 17, 2020 9:53 AM 9643944 ramdisk.ext2.xz
Monday, February 17, 2020 9:53 AM 3 releasestate
Monday, February 17, 2020 9:53 AM 28658464 rootfs.tar.xz
Monday, March 16, 2020 6:59 AM 4194 install_step1.log
Tuesday, January 01, 1980 0:00 PM <dir> boot

@inno: Komme ich um eine neue SSD + neu aufsetzen nicht herum ?

Beste Grüße, Michèl

Moderator

Registered 14 years 351 days

Daniel Deterding (innovaphone) Thursday, 22 October 2020, 09:29 AM

Re: App Platform defekt.

Hallo Michèl,

die Kernel-Messages sind recht unspektakulär.

Kannst du in dem Zustand mittels Putty auf die AP zugreifen?

Gruß,

Daniel

Registered 8 years 259 days

Michel 2733 Thursday, 22 October 2020, 09:39 AM

Re: App Platform defekt.

Ich bin leider nicht vor Ort - klappt das auch aus der Ferne über den Reverse-Proxy ? Ich vermute mal nicht..

Beste Grüße, Michel

Moderator

Registered 14 years 351 days

Daniel Deterding (innovaphone) Thursday, 22 October 2020, 09:47 AM

Re: App Platform defekt.

Nein, der SSH-Port wird nicht über den RP freigegeben.

Gruß,

Daniel

Registered 8 years 259 days

Michel 2733 Thursday, 22 October 2020, 10:33 AM

Re: App Platform defekt.

Ich bin mal über den Kunden-PC gegangen und komme per putty drauf mit admin\admin-Password-aus-Installer

Kann ich dort noch etwas versuchen ?

putty.PNG

Moderator

Registered 14 years 351 days

Daniel Deterding (innovaphone) Thursday, 22 October 2020, 10:45 AM

Re: App Platform defekt.

Bitte mal mittels "su" und dem gleichen Passwort als root anmelden und danach folgenden Befehl ausführen:

/etc/init.d/S92manager restart

Dann schauen, ob ihr wieder draufkommt.

Wenn ja, bitte den AP Manager aufmachen, links auf AP Manager klicken und rechts "Download All" machen und dem Support zukommen lassen, damit wir das untersuchen können.

Wenn nein, bitte "df -h" ausführen und schauen, ob /dev/sda2 eventuell voll ist.

Gruß,

Daniel

Registered 8 years 259 days

Michel 2733 Thursday, 22 October 2020, 10:59 AM

Re: App Platform defekt.

Restart Befehl war nicht erfolgreich, df -h brachte folgende Ausgabe:
sda2 zu 100% voll.
Bekommt man das gefixt ?

Beste Grüße, Michèl

sda.PNG

Moderator

Registered 14 years 351 days

Daniel Deterding (innovaphone) Thursday, 22 October 2020, 11:07 AM

2 of 2 users consider this post helpful

Re: App Platform defekt.

Ja: http://wiki.innovaphone.com/index.php?title=Reference13r1:Concept_App_Platform#App_Platform.2FApps_app_not_online_anymore_due_to_full_disk

Gruß,

Daniel

Registered 8 years 259 days

Michel 2733 Thursday, 22 October 2020, 12:04 PM

Re: App Platform defekt.

Super - rennt wieder !
Vielen Dank für den flotten Support - muss nun mal schauen, wieso sda2 voll gelaufen ist ?!

Und mir diesen Thread als How-To wegsichern

Beste Grüße, Michèl

Registered 8 years 259 days

Michel 2733 Thursday, 22 October 2020, 12:12 PM

Re: App Platform defekt.

Steigt stetig an...

usage.PNG

Registered 8 years 259 days

Michel 2733 Thursday, 22 October 2020, 12:37 PM

Re: App Platform defekt.

Files App lief voll... Backup-Jobs waren wohl zu groß.

Moderator

Registered 14 years 351 days

Daniel Deterding (innovaphone) Thursday, 22 October 2020, 12:47 PM

Re: App Platform defekt.

Naja, ich denke, das ist der typische Fehlerfall, dass ein Backup in eine normale Files-Instanz geschrieben wird, die selbst wieder mitgesichert wird.

In dem Fall wird das Backup ganz schnell immer größer und größer.

Deswegen muss man explizit darauf achten, dass man die Backup-Files-Instanz verwendet, die ab SRX erst im Install angelegt wird.

Kann man aber auch nachträglich anlegen und dann in den Einstellungen der Instanz im AP Manager den Haken setzen, dass diese Instanz vom Backup ausgeschlossen wird!

Gruß,

Daniel

Moderator

Registered 14 years 351 days

Daniel Deterding (innovaphone) Thursday, 22 October 2020, 12:38 PM in response to Michel 2733

Re: App Platform defekt.

Did you read this?

Make sure, that you do not have backups configured to a local files
instance while this files instance is not excluded from backups.
An instance can be excluded from backups in the instance settings
in the AP Manager.  Greetings, Daniel

Registered 8 years 259 days

Michel 2733 Friday, 23 October 2020, 08:30 AM

Re: App Platform defekt.

Yes, i did.

Ist ja auch mal ganz gut, dass man diese Dinge erst einmal durchleben muss... So lernt man dazu

Aber noch einmal zu der Checkbox:
Wenn ich bei der Files-Instanz (nicht Backup) "Von Gesamt-Backups ausschließen" auswähle, sollte das doch auch passen, oder ?

Beste Grüße, Michèl

Moderator

Registered 14 years 351 days

Daniel Deterding (innovaphone) Friday, 23 October 2020, 08:34 AM

Re: App Platform defekt.

Ja, nur werden dann eben die Dateien, die Benutzer in Files ablegen, nicht mitgesichert (u.U. also auch Ansagen usw.).

Gruß,

Daniel

Registered 8 years 259 days

Michel 2733 Friday, 23 October 2020, 08:47 AM

Re: App Platform defekt.

Habe das jetzt umgebaut auf die Backup-Instanz.

Btw: Was ist, wenn die App-Platform wirklich mal nicht mehr starten will ?
Kommt man dann noch an die Backups ? Oder muss man die turnusmäßig wegsichern aus dem Verzeichnis ? Ist ein Zugriff via WebDAV möglich ?

Beste Grüße, Michèl

Moderator

Registered 14 years 351 days

Daniel Deterding (innovaphone) Friday, 23 October 2020, 08:55 AM

1 of 1 users consider this post helpful

Re: App Platform defekt.

Backups auf sich selbst zu machen bringt nur etwas, wenn man mal ein altes Backup für eine konkrete App zurückspielen muss.

Wenn die AP selbst kaputt ist, ist damit das gesamte System im Eimer. Deswegen muss man die Backups zwingend auf ein anderes System spielen, um auch für einen AP-Ausfall gerüstet zu sein (sofern man nicht eine VM verwendet, die man mit deren Methoden sichert, was ja einem externen Backup gleich käme).

Gruß,

Daniel

You are here

Index of /DRIVE/CF0/