6.3 just died (not for the first time)

classic Classic list List threaded Threaded
4 messages Options
Reply | Threaded
Open this post in threaded view
|

6.3 just died (not for the first time)

Harald Dunkel-2
Hi folks,

6.3 just died. Last words:

login: kernel: protection fault trap, code=0
Stopped at      export_sa+0x5c: movl    0(%rcx),%ecx
ddb{0}> show panic
the kernel did not panic
ddb{0}> trace
export_sa(10,ffff800033445e70) at export_sa+0x5c
pfkeyv2_expire(ffff8000013d4c00,ffff8000013d4c00) at pfkeyv2_expire+0x14e
tdb_timeout(ffff800033446020) at tdb_timeout+0x39
softclock_thread(0) at softclock_thread+0xc6
end trace frame: 0x0, count: -4
ddb{0}> show registers
rdi               0xffff800033445e98
rsi               0xffff8000013d4c00
rbp               0xffff800033445e70
rbx               0xffff800033445e98
rdx               0xffffffff81abdff0    cpu_info_full_primary+0x1ff0
rcx               0xdeadbeefdeadbeef
rax               0xffff800001387510
r8                             0x120
r9                0xffffffff81aa58d8    netlock
r10               0xffffffffffffffff
r11               0xffff800033445ea0
r12               0xffff800001387500
r13                              0x3
r14               0xffff8000013d4c00
r15                             0x90
rip               0xffffffff8121fefc    export_sa+0x5c
cs                               0x8
rflags                       0x10282    __ALIGN_SIZE+0xf282
rsp               0xffff800033445e70
ss                              0x10
export_sa+0x5c: movl    0(%rcx),%ecx
ddb{0}> ps
    PID     TID   PPID    UID  S       FLAGS  WAIT          COMMAND
  74371   82200      1      0  3        0x82  ttyopn        getty
  64133  371566      1      0  3    0x100083  ttyin         getty
  73177  400616      1      0  3    0x100083  ttyin         getty
   2198  160363      1      0  3    0x100083  ttyin         getty
  66943   62449      1      0  3    0x100083  ttyin         getty
  77195  409193      1      0  3    0x100083  ttyin         getty
  30152   89639      1      0  3    0x100083  ttyin         getty
  54326   20290      1      0  3    0x100098  poll          cron
  81308    6330      1      0  3        0x80  kqread        apmd
  21604  251912  61088     74  3    0x100092  bpf           pflogd
  61088  386173      1      0  3        0x80  netio         pflogd
  38994  395332  22137    623  3        0x90  nanosleep     zabbix_agentd
  92334  256603  22137    623  3        0x90  select        zabbix_agentd
   5776  303931  22137    623  3        0x90  netcon        zabbix_agentd
  71818  109922  22137    623  3        0x90  select        zabbix_agentd
  28432  430198  22137    623  3        0x90  nanosleep     zabbix_agentd
  55014  131036  54187     74  3    0x100092  bpf           pflogd
  54187  404660      1      0  3        0x80  netio         pflogd
  32954  132161  74424     74  3    0x100092  bpf           pflogd
  74424   72323      1      0  3        0x80  netio         pflogd
  22137  193504      1    623  3        0x90  wait          zabbix_agentd
  23016    6037      1      0  3        0x80  poll          openvpn
  27849  148250      1      0  3        0x80  poll          openvpn
  78572  192037      1      0  3        0x80  poll          openvpn
  83974  209100      1      0  3        0x80  poll          openvpn
   1297  379204      1     99  3    0x100090  poll          sndiod
  72635   52767      1    110  3    0x100090  poll          sndiod
  59204  423537      1     62  3    0x100090  bpf           spamlogd
  51694  290283  46867     62  3    0x100090  piperd        spamd
  76899  369277  46867     62  3    0x100090  poll          spamd
  46867   52758      1     62  3    0x100090  nanosleep     spamd
  51631   64028      1    109  3        0x90  kqread        ftp-proxy
  74489  238300  13002     95  3    0x100092  kqread        smtpd
  69227  383337  13002    103  3    0x100092  kqread        smtpd
  95912  255952  13002     95  3    0x100092  kqread        smtpd
  52092  398675  13002     95  3    0x100092  kqread        smtpd
  15268  264170  13002     95  3    0x100092  kqread        smtpd
  23823   51587  13002     95  3    0x100092  kqread        smtpd
  13002  289905      1      0  3    0x100080  kqread        smtpd
  39875  399764      1      0  3        0x80  select        sshd
  84492   73143  16575     68  7        0x90                sasyncd
  16575  267935      1      0  3        0x80  select        sasyncd
   5600  244082  24905     68  7        0x10                isakmpd
  24905  484997      1      0  3        0x80  netio         isakmpd
  15412  155977      1      0  3    0x100080  poll          ntpd
  71665   62722  35888     83  3    0x100092  poll          ntpd
  35888  382324      1     83  3    0x100092  poll          ntpd
  79699  454922  42559     74  3    0x100092  bpf           pflogd
  42559  472293      1      0  3        0x80  netio         pflogd
  90864  469513  67456     73  3    0x100090  kqread        syslogd
  67456  146341      1      0  3    0x100082  netio         syslogd
  54377  194590  79772    115  3    0x100092  kqread        slaacd
  81742  432607  79772    115  3    0x100092  kqread        slaacd
  79772  398085      1      0  3        0x80  kqread        slaacd
  84892   75254      0      0  3     0x14200  pgzero        zerothread
  63373  100614      0      0  3     0x14200  aiodoned      aiodoned
  72872  341972      0      0  3     0x14200  syncer        update
  38598  248818      0      0  3     0x14200  cleaner       cleaner
  10377  444516      0      0  3     0x14200  reaper        reaper
  45526  458979      0      0  3     0x14200  pgdaemon      pagedaemon
  49336  347074      0      0  3     0x14200  bored         crynlk
  66086   58296      0      0  3     0x14200  bored         crypto
  24070  258491      0      0  3     0x14200  usbtsk        usbtask
  55027  468872      0      0  3     0x14200  usbatsk       usbatsk
  92887  460485      0      0  3     0x14200  bored         i915-hangcheck
  41493  155682      0      0  3     0x14200  bored         i915-dp
  66272   77311      0      0  3     0x14200  bored         i915
  71823  256416      0      0  3  0x40014200  acpi0         acpi0
  20125  439415      0      0  7  0x40014200                idle3
  42176  326787      0      0  3  0x40014200                idle2
  21681  480396      0      0  3  0x40014200                idle1
  39767  314589      0      0  3     0x14200  bored         sensors
  58848  324478      0      0  3     0x14200  netlock       softnet
  87175   58746      0      0  3     0x14200  bored         systqmp
  67735  194118      0      0  3     0x14200  bored         systq
*79929  171386      0      0  7  0x40014200                softclock
  81339  345588      0      0  3  0x40014200                idle0
      1  339913      0      0  3        0x82  wait          init
      0       0     -1      0  3     0x10200  scheduler     swapper
ddb{0}>

I had installed the recent ipsec and libcrypto syspatches from a few days
ago. Is there anything more I could try? Its still on the debugger
prompt (hoping the other host doesn't die as well).

Please respond asap. I have to boot this host tomorrow morning, i.e.
in about 7 hours.


Regards
Harri

Reply | Threaded
Open this post in threaded view
|

Re: 6.3 just died (not for the first time)

Peter van Oord van der Vlies-2
I have seen the same error here on a host around 2 days after the upgrade to 6.3 inclusing patches.

The keyboard wasnt working for me but the panic was the same.



Op 15 mei 2018 om 23:30 heeft Harald Dunkel <[hidden email]<mailto:[hidden email]>> het volgende geschreven:

Hi folks,

6.3 just died. Last words:

login: kernel: protection fault trap, code=0
Stopped at      export_sa+0x5c: movl    0(%rcx),%ecx
ddb{0}> show panic
the kernel did not panic
ddb{0}> trace
export_sa(10,ffff800033445e70) at export_sa+0x5c
pfkeyv2_expire(ffff8000013d4c00,ffff8000013d4c00) at pfkeyv2_expire+0x14e
tdb_timeout(ffff800033446020) at tdb_timeout+0x39
softclock_thread(0) at softclock_thread+0xc6
end trace frame: 0x0, count: -4
ddb{0}> show registers
rdi               0xffff800033445e98
rsi               0xffff8000013d4c00
rbp               0xffff800033445e70
rbx               0xffff800033445e98
rdx               0xffffffff81abdff0    cpu_info_full_primary+0x1ff0
rcx               0xdeadbeefdeadbeef
rax               0xffff800001387510
r8                             0x120
r9                0xffffffff81aa58d8    netlock
r10               0xffffffffffffffff
r11               0xffff800033445ea0
r12               0xffff800001387500
r13                              0x3
r14               0xffff8000013d4c00
r15                             0x90
rip               0xffffffff8121fefc    export_sa+0x5c
cs                               0x8
rflags                       0x10282    __ALIGN_SIZE+0xf282
rsp               0xffff800033445e70
ss                              0x10
export_sa+0x5c: movl    0(%rcx),%ecx
ddb{0}> ps
  PID     TID   PPID    UID  S       FLAGS  WAIT          COMMAND
74371   82200      1      0  3        0x82  ttyopn        getty
64133  371566      1      0  3    0x100083  ttyin         getty
73177  400616      1      0  3    0x100083  ttyin         getty
 2198  160363      1      0  3    0x100083  ttyin         getty
66943   62449      1      0  3    0x100083  ttyin         getty
77195  409193      1      0  3    0x100083  ttyin         getty
30152   89639      1      0  3    0x100083  ttyin         getty
54326   20290      1      0  3    0x100098  poll          cron
81308    6330      1      0  3        0x80  kqread        apmd
21604  251912  61088     74  3    0x100092  bpf           pflogd
61088  386173      1      0  3        0x80  netio         pflogd
38994  395332  22137    623  3        0x90  nanosleep     zabbix_agentd
92334  256603  22137    623  3        0x90  select        zabbix_agentd
 5776  303931  22137    623  3        0x90  netcon        zabbix_agentd
71818  109922  22137    623  3        0x90  select        zabbix_agentd
28432  430198  22137    623  3        0x90  nanosleep     zabbix_agentd
55014  131036  54187     74  3    0x100092  bpf           pflogd
54187  404660      1      0  3        0x80  netio         pflogd
32954  132161  74424     74  3    0x100092  bpf           pflogd
74424   72323      1      0  3        0x80  netio         pflogd
22137  193504      1    623  3        0x90  wait          zabbix_agentd
23016    6037      1      0  3        0x80  poll          openvpn
27849  148250      1      0  3        0x80  poll          openvpn
78572  192037      1      0  3        0x80  poll          openvpn
83974  209100      1      0  3        0x80  poll          openvpn
 1297  379204      1     99  3    0x100090  poll          sndiod
72635   52767      1    110  3    0x100090  poll          sndiod
59204  423537      1     62  3    0x100090  bpf           spamlogd
51694  290283  46867     62  3    0x100090  piperd        spamd
76899  369277  46867     62  3    0x100090  poll          spamd
46867   52758      1     62  3    0x100090  nanosleep     spamd
51631   64028      1    109  3        0x90  kqread        ftp-proxy
74489  238300  13002     95  3    0x100092  kqread        smtpd
69227  383337  13002    103  3    0x100092  kqread        smtpd
95912  255952  13002     95  3    0x100092  kqread        smtpd
52092  398675  13002     95  3    0x100092  kqread        smtpd
15268  264170  13002     95  3    0x100092  kqread        smtpd
23823   51587  13002     95  3    0x100092  kqread        smtpd
13002  289905      1      0  3    0x100080  kqread        smtpd
39875  399764      1      0  3        0x80  select        sshd
84492   73143  16575     68  7        0x90                sasyncd
16575  267935      1      0  3        0x80  select        sasyncd
 5600  244082  24905     68  7        0x10                isakmpd
24905  484997      1      0  3        0x80  netio         isakmpd
15412  155977      1      0  3    0x100080  poll          ntpd
71665   62722  35888     83  3    0x100092  poll          ntpd
35888  382324      1     83  3    0x100092  poll          ntpd
79699  454922  42559     74  3    0x100092  bpf           pflogd
42559  472293      1      0  3        0x80  netio         pflogd
90864  469513  67456     73  3    0x100090  kqread        syslogd
67456  146341      1      0  3    0x100082  netio         syslogd
54377  194590  79772    115  3    0x100092  kqread        slaacd
81742  432607  79772    115  3    0x100092  kqread        slaacd
79772  398085      1      0  3        0x80  kqread        slaacd
84892   75254      0      0  3     0x14200  pgzero        zerothread
63373  100614      0      0  3     0x14200  aiodoned      aiodoned
72872  341972      0      0  3     0x14200  syncer        update
38598  248818      0      0  3     0x14200  cleaner       cleaner
10377  444516      0      0  3     0x14200  reaper        reaper
45526  458979      0      0  3     0x14200  pgdaemon      pagedaemon
49336  347074      0      0  3     0x14200  bored         crynlk
66086   58296      0      0  3     0x14200  bored         crypto
24070  258491      0      0  3     0x14200  usbtsk        usbtask
55027  468872      0      0  3     0x14200  usbatsk       usbatsk
92887  460485      0      0  3     0x14200  bored         i915-hangcheck
41493  155682      0      0  3     0x14200  bored         i915-dp
66272   77311      0      0  3     0x14200  bored         i915
71823  256416      0      0  3  0x40014200  acpi0         acpi0
20125  439415      0      0  7  0x40014200                idle3
42176  326787      0      0  3  0x40014200                idle2
21681  480396      0      0  3  0x40014200                idle1
39767  314589      0      0  3     0x14200  bored         sensors
58848  324478      0      0  3     0x14200  netlock       softnet
87175   58746      0      0  3     0x14200  bored         systqmp
67735  194118      0      0  3     0x14200  bored         systq
*79929  171386      0      0  7  0x40014200                softclock
81339  345588      0      0  3  0x40014200                idle0
    1  339913      0      0  3        0x82  wait          init
    0       0     -1      0  3     0x10200  scheduler     swapper
ddb{0}>

I had installed the recent ipsec and libcrypto syspatches from a few days
ago. Is there anything more I could try? Its still on the debugger
prompt (hoping the other host doesn't die as well).

Please respond asap. I have to boot this host tomorrow morning, i.e.
in about 7 hours.


Regards
Harri

Reply | Threaded
Open this post in threaded view
|

Re: 6.3 just died (not for the first time)

Peter van Oord van der Vlies-2
In reply to this post by Harald Dunkel-2
Hello,

Anyone found an solution for this or is there more information required ?
This night it happened 2 times in less then 3 hours time.

Please let me know.

Running 6.3 with all syspatches applied.

Kind Regards,

Peter van Oord van der Vlies

´╗┐On 15/05/2018, 23:30, "[hidden email] on behalf of Harald Dunkel" <[hidden email] on behalf of [hidden email]> wrote:

    Hi folks,
   
    6.3 just died. Last words:
   
    login: kernel: protection fault trap, code=0
    Stopped at      export_sa+0x5c: movl    0(%rcx),%ecx
    ddb{0}> show panic
    the kernel did not panic
    ddb{0}> trace
    export_sa(10,ffff800033445e70) at export_sa+0x5c
    pfkeyv2_expire(ffff8000013d4c00,ffff8000013d4c00) at pfkeyv2_expire+0x14e
    tdb_timeout(ffff800033446020) at tdb_timeout+0x39
    softclock_thread(0) at softclock_thread+0xc6
    end trace frame: 0x0, count: -4
    ddb{0}> show registers
    rdi               0xffff800033445e98
    rsi               0xffff8000013d4c00
    rbp               0xffff800033445e70
    rbx               0xffff800033445e98
    rdx               0xffffffff81abdff0    cpu_info_full_primary+0x1ff0
    rcx               0xdeadbeefdeadbeef
    rax               0xffff800001387510
    r8                             0x120
    r9                0xffffffff81aa58d8    netlock
    r10               0xffffffffffffffff
    r11               0xffff800033445ea0
    r12               0xffff800001387500
    r13                              0x3
    r14               0xffff8000013d4c00
    r15                             0x90
    rip               0xffffffff8121fefc    export_sa+0x5c
    cs                               0x8
    rflags                       0x10282    __ALIGN_SIZE+0xf282
    rsp               0xffff800033445e70
    ss                              0x10
    export_sa+0x5c: movl    0(%rcx),%ecx
    ddb{0}> ps
        PID     TID   PPID    UID  S       FLAGS  WAIT          COMMAND
      74371   82200      1      0  3        0x82  ttyopn        getty
      64133  371566      1      0  3    0x100083  ttyin         getty
      73177  400616      1      0  3    0x100083  ttyin         getty
       2198  160363      1      0  3    0x100083  ttyin         getty
      66943   62449      1      0  3    0x100083  ttyin         getty
      77195  409193      1      0  3    0x100083  ttyin         getty
      30152   89639      1      0  3    0x100083  ttyin         getty
      54326   20290      1      0  3    0x100098  poll          cron
      81308    6330      1      0  3        0x80  kqread        apmd
      21604  251912  61088     74  3    0x100092  bpf           pflogd
      61088  386173      1      0  3        0x80  netio         pflogd
      38994  395332  22137    623  3        0x90  nanosleep     zabbix_agentd
      92334  256603  22137    623  3        0x90  select        zabbix_agentd
       5776  303931  22137    623  3        0x90  netcon        zabbix_agentd
      71818  109922  22137    623  3        0x90  select        zabbix_agentd
      28432  430198  22137    623  3        0x90  nanosleep     zabbix_agentd
      55014  131036  54187     74  3    0x100092  bpf           pflogd
      54187  404660      1      0  3        0x80  netio         pflogd
      32954  132161  74424     74  3    0x100092  bpf           pflogd
      74424   72323      1      0  3        0x80  netio         pflogd
      22137  193504      1    623  3        0x90  wait          zabbix_agentd
      23016    6037      1      0  3        0x80  poll          openvpn
      27849  148250      1      0  3        0x80  poll          openvpn
      78572  192037      1      0  3        0x80  poll          openvpn
      83974  209100      1      0  3        0x80  poll          openvpn
       1297  379204      1     99  3    0x100090  poll          sndiod
      72635   52767      1    110  3    0x100090  poll          sndiod
      59204  423537      1     62  3    0x100090  bpf           spamlogd
      51694  290283  46867     62  3    0x100090  piperd        spamd
      76899  369277  46867     62  3    0x100090  poll          spamd
      46867   52758      1     62  3    0x100090  nanosleep     spamd
      51631   64028      1    109  3        0x90  kqread        ftp-proxy
      74489  238300  13002     95  3    0x100092  kqread        smtpd
      69227  383337  13002    103  3    0x100092  kqread        smtpd
      95912  255952  13002     95  3    0x100092  kqread        smtpd
      52092  398675  13002     95  3    0x100092  kqread        smtpd
      15268  264170  13002     95  3    0x100092  kqread        smtpd
      23823   51587  13002     95  3    0x100092  kqread        smtpd
      13002  289905      1      0  3    0x100080  kqread        smtpd
      39875  399764      1      0  3        0x80  select        sshd
      84492   73143  16575     68  7        0x90                sasyncd
      16575  267935      1      0  3        0x80  select        sasyncd
       5600  244082  24905     68  7        0x10                isakmpd
      24905  484997      1      0  3        0x80  netio         isakmpd
      15412  155977      1      0  3    0x100080  poll          ntpd
      71665   62722  35888     83  3    0x100092  poll          ntpd
      35888  382324      1     83  3    0x100092  poll          ntpd
      79699  454922  42559     74  3    0x100092  bpf           pflogd
      42559  472293      1      0  3        0x80  netio         pflogd
      90864  469513  67456     73  3    0x100090  kqread        syslogd
      67456  146341      1      0  3    0x100082  netio         syslogd
      54377  194590  79772    115  3    0x100092  kqread        slaacd
      81742  432607  79772    115  3    0x100092  kqread        slaacd
      79772  398085      1      0  3        0x80  kqread        slaacd
      84892   75254      0      0  3     0x14200  pgzero        zerothread
      63373  100614      0      0  3     0x14200  aiodoned      aiodoned
      72872  341972      0      0  3     0x14200  syncer        update
      38598  248818      0      0  3     0x14200  cleaner       cleaner
      10377  444516      0      0  3     0x14200  reaper        reaper
      45526  458979      0      0  3     0x14200  pgdaemon      pagedaemon
      49336  347074      0      0  3     0x14200  bored         crynlk
      66086   58296      0      0  3     0x14200  bored         crypto
      24070  258491      0      0  3     0x14200  usbtsk        usbtask
      55027  468872      0      0  3     0x14200  usbatsk       usbatsk
      92887  460485      0      0  3     0x14200  bored         i915-hangcheck
      41493  155682      0      0  3     0x14200  bored         i915-dp
      66272   77311      0      0  3     0x14200  bored         i915
      71823  256416      0      0  3  0x40014200  acpi0         acpi0
      20125  439415      0      0  7  0x40014200                idle3
      42176  326787      0      0  3  0x40014200                idle2
      21681  480396      0      0  3  0x40014200                idle1
      39767  314589      0      0  3     0x14200  bored         sensors
      58848  324478      0      0  3     0x14200  netlock       softnet
      87175   58746      0      0  3     0x14200  bored         systqmp
      67735  194118      0      0  3     0x14200  bored         systq
    *79929  171386      0      0  7  0x40014200                softclock
      81339  345588      0      0  3  0x40014200                idle0
          1  339913      0      0  3        0x82  wait          init
          0       0     -1      0  3     0x10200  scheduler     swapper
    ddb{0}>
   
    I had installed the recent ipsec and libcrypto syspatches from a few days
    ago. Is there anything more I could try? Its still on the debugger
    prompt (hoping the other host doesn't die as well).
   
    Please respond asap. I have to boot this host tomorrow morning, i.e.
    in about 7 hours.
   
   
    Regards
    Harri
   
   

Reply | Threaded
Open this post in threaded view
|

Re: 6.3 just died (not for the first time)

Harald Dunkel-2
Hi Peter,

please check the threads on the [hidden email] mailing list. The patch
posted by Martin Pieuchot seemst to help. Its running on my hosts for
5 days without any hiccup.


Hope this helps
Harri