Cypress: Tests slow down since upgrading cypress from 4.4.1

Created on 9 Jul 2020 · 11Comments · Source: cypress-io/cypress

Current behaviour:

Since upgrading from 4.4.1 to 4.8.0 the tests I run have gone from taking ~10 minutes to ~27 minutes, with some random failures getting introduced due to timeouts. I think this is machine specific as other people on the team have not had similar problems and neither has the build server. I've also reset my laptop to default settings but the issue was still present.

I've included test runs on the cypress kitchen sink repo below using the cy:run command using different versions of cypress. Since 4.4.1 there seems to have been a noticeable slowdown going from 1:40 to roughly 2:30.

4.10.0

       Spec                                              Tests  Passing  Failing  Pending  Skipped  
  ┌────────────────────────────────────────────────────────────────────────────────────────────────┐
  │ ✔  examples\actions.spec.js                 00:25       14       14        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\aliasing.spec.js                00:03        2        2        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\assertions.spec.js              00:06        9        9        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\connectors.spec.js              00:05        8        8        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\cookies.spec.js                 00:04        5        5        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\cypress_api.spec.js             00:06       13       13        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\files.spec.js                   00:04        4        4        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\local_storage.spec.js           00:03        1        1        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\location.spec.js                00:02        3        3        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\misc.spec.js                    00:06        6        6        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\navigation.spec.js              00:05        3        3        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\network_requests.spec.js        00:19        7        7        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\querying.spec.js                00:07        5        5        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\spies_stubs_clocks.spec.js      00:06        7        7        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\traversal.spec.js               00:13       18       18        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\utilities.spec.js               00:05        6        6        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\viewport.spec.js                00:06        1        1        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\waiting.spec.js                 00:07        2        2        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\window.spec.js                  00:02        3        3        -        -        - │
  └────────────────────────────────────────────────────────────────────────────────────────────────┘
    ✔  All specs passed!                        02:25      117      117        -        -        -  

       Spec                                              Tests  Passing  Failing  Pending  Skipped  
  ┌────────────────────────────────────────────────────────────────────────────────────────────────┐
  │ ✔  examples\actions.spec.js                 00:25       14       14        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\aliasing.spec.js                00:03        2        2        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\assertions.spec.js              00:06        9        9        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\connectors.spec.js              00:05        8        8        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\cookies.spec.js                 00:04        5        5        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\cypress_api.spec.js             00:06       13       13        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\files.spec.js                   00:04        4        4        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\local_storage.spec.js           00:03        1        1        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\location.spec.js                00:04        3        3        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\misc.spec.js                    00:06        6        6        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\navigation.spec.js              00:05        3        3        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\network_requests.spec.js        00:09        7        7        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\querying.spec.js                00:05        5        5        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\spies_stubs_clocks.spec.js      00:06        7        7        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\traversal.spec.js               00:08       18       18        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\utilities.spec.js               00:06        6        6        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\viewport.spec.js                00:05        1        1        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\waiting.spec.js                 00:07        2        2        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\window.spec.js                  00:03        3        3        -        -        - │
  └────────────────────────────────────────────────────────────────────────────────────────────────┘
    ✔  All specs passed!                        02:12      117      117        -        -        -

4.9.0

       Spec                                              Tests  Passing  Failing  Pending  Skipped  
  ┌────────────────────────────────────────────────────────────────────────────────────────────────┐
  │ ✔  examples\actions.spec.js                 00:26       14       14        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\aliasing.spec.js                00:04        2        2        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\assertions.spec.js              00:07        9        9        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\connectors.spec.js              00:07        8        8        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\cookies.spec.js                 00:05        5        5        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\cypress_api.spec.js             00:07       13       13        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\files.spec.js                   00:08        4        4        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\local_storage.spec.js           00:05        1        1        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\location.spec.js                00:03        3        3        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\misc.spec.js                    00:07        6        6        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\navigation.spec.js              00:10        3        3        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\network_requests.spec.js        00:13        7        7        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\querying.spec.js                00:06        5        5        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\spies_stubs_clocks.spec.js      00:07        7        7        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\traversal.spec.js               00:12       18       18        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\utilities.spec.js               00:06        6        6        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\viewport.spec.js                00:07        1        1        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\waiting.spec.js                 00:16        2        2        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\window.spec.js                  00:02        3        3        -        -        - │
  └────────────────────────────────────────────────────────────────────────────────────────────────┘
    ✔  All specs passed!                        02:46      117      117        -        -        -  

     Spec                                              Tests  Passing  Failing  Pending  Skipped  
  ┌────────────────────────────────────────────────────────────────────────────────────────────────┐
  │ ✔  examples\actions.spec.js                 00:28       14       14        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\aliasing.spec.js                00:04        2        2        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\assertions.spec.js              00:07        9        9        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\connectors.spec.js              00:04        8        8        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\cookies.spec.js                 00:06        5        5        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\cypress_api.spec.js             00:29       13       13        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\files.spec.js                   00:04        4        4        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\local_storage.spec.js           00:03        1        1        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\location.spec.js                00:03        3        3        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\misc.spec.js                    00:06        6        6        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\navigation.spec.js              00:05        3        3        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\network_requests.spec.js        00:12        7        7        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\querying.spec.js                00:07        5        5        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\spies_stubs_clocks.spec.js      00:06        7        7        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\traversal.spec.js               00:08       18       18        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\utilities.spec.js               00:06        6        6        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\viewport.spec.js                00:07        1        1        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\waiting.spec.js                 00:09        2        2        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\window.spec.js                  00:03        3        3        -        -        - │
  └────────────────────────────────────────────────────────────────────────────────────────────────┘
    ✔  All specs passed!                        02:45      117      117        -        -        -

4.8.0

      Spec                                              Tests  Passing  Failing  Pending  Skipped  
  ┌────────────────────────────────────────────────────────────────────────────────────────────────┐
  │ ✔  examples\actions.spec.js                 00:36       14       14        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\aliasing.spec.js                00:03        2        2        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\assertions.spec.js              00:07        9        9        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\connectors.spec.js              00:05        8        8        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\cookies.spec.js                 00:06        5        5        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\cypress_api.spec.js             00:07       13       13        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\files.spec.js                   00:07        4        4        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\local_storage.spec.js           00:04        1        1        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\location.spec.js                00:03        3        3        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\misc.spec.js                    00:07        6        6        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\navigation.spec.js              00:07        3        3        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\network_requests.spec.js        00:10        7        7        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\querying.spec.js                00:06        5        5        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\spies_stubs_clocks.spec.js      00:07        7        7        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\traversal.spec.js               00:16       18       18        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\utilities.spec.js               00:11        6        6        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\viewport.spec.js                00:05        1        1        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\waiting.spec.js                 00:07        2        2        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\window.spec.js                  00:03        3        3        -        -        - │
  └────────────────────────────────────────────────────────────────────────────────────────────────┘
    ✔  All specs passed!                        02:46      117      117        -        -        -  


       Spec                                              Tests  Passing  Failing  Pending  Skipped  
  ┌────────────────────────────────────────────────────────────────────────────────────────────────┐
  │ ✔  examples\actions.spec.js                 00:27       14       14        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\aliasing.spec.js                00:04        2        2        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\assertions.spec.js              00:06        9        9        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\connectors.spec.js              00:06        8        8        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\cookies.spec.js                 00:04        5        5        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\cypress_api.spec.js             00:06       13       13        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\files.spec.js                   00:05        4        4        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\local_storage.spec.js           00:03        1        1        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\location.spec.js                00:02        3        3        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\misc.spec.js                    00:06        6        6        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\navigation.spec.js              00:05        3        3        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\network_requests.spec.js        00:09        7        7        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\querying.spec.js                00:06        5        5        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\spies_stubs_clocks.spec.js      00:10        7        7        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\traversal.spec.js               00:15       18       18        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\utilities.spec.js               00:09        6        6        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\viewport.spec.js                00:06        1        1        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\waiting.spec.js                 00:09        2        2        -        -        - │
  ├────────────────────────────────────────────────────────────────────────────────────────────────┤
  │ ✔  examples\window.spec.js                  00:07        3        3        -        -        - │
  └────────────────────────────────────────────────────────────────────────────────────────────────┘
    ✔  All specs passed!                        02:33      117      117        -        -        -  
````

#### 4.7.0

  Spec                                              Tests  Passing  Failing  Pending  Skipped

┌────────────────────────────────────────────────────────────────────────────────────────────────┐
│ ✔ examplesactions.spec.js 00:23 14 14 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examplesaliasing.spec.js 00:03 2 2 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examplesassertions.spec.js 00:07 9 9 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\connectors.spec.js 00:05 8 8 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\cookies.spec.js 00:04 5 5 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\cypress_api.spec.js 00:06 13 13 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\files.spec.js 00:05 4 4 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\local_storage.spec.js 00:03 1 1 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\location.spec.js 00:03 3 3 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\misc.spec.js 00:07 6 6 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\navigation.spec.js 00:05 3 3 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\network_requests.spec.js 00:10 7 7 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\querying.spec.js 00:04 5 5 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\spies_stubs_clocks.spec.js 00:06 7 7 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\traversal.spec.js 00:09 18 18 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\utilities.spec.js 00:05 6 6 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\viewport.spec.js 00:05 1 1 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\waiting.spec.js 00:07 2 2 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\window.spec.js 00:04 3 3 - - - │
└────────────────────────────────────────────────────────────────────────────────────────────────┘
✔ All specs passed! 02:11 117 117 - - -

 Spec                                              Tests  Passing  Failing  Pending  Skipped

┌────────────────────────────────────────────────────────────────────────────────────────────────┐
│ ✔ examplesactions.spec.js 00:23 14 14 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examplesaliasing.spec.js 00:03 2 2 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examplesassertions.spec.js 00:06 9 9 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\connectors.spec.js 00:04 8 8 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\cookies.spec.js 00:04 5 5 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\cypress_api.spec.js 00:06 13 13 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\files.spec.js 00:05 4 4 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\local_storage.spec.js 00:02 1 1 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\location.spec.js 00:03 3 3 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\misc.spec.js 00:07 6 6 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\navigation.spec.js 00:06 3 3 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\network_requests.spec.js 00:10 7 7 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\querying.spec.js 00:05 5 5 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\spies_stubs_clocks.spec.js 00:06 7 7 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\traversal.spec.js 00:08 18 18 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\utilities.spec.js 00:05 6 6 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\viewport.spec.js 00:05 1 1 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\waiting.spec.js 00:07 2 2 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\window.spec.js 00:02 3 3 - - - │
└────────────────────────────────────────────────────────────────────────────────────────────────┘
✔ All specs passed! 02:09 117 117 - - -

#### 4.6.0

 Spec                                              Tests  Passing  Failing  Pending  Skipped

┌────────────────────────────────────────────────────────────────────────────────────────────────┐
│ ✔ examplesactions.spec.js 00:23 14 14 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examplesaliasing.spec.js 00:03 2 2 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examplesassertions.spec.js 00:07 9 9 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\connectors.spec.js 00:05 8 8 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\cookies.spec.js 00:05 5 5 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\cypress_api.spec.js 00:09 13 13 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\files.spec.js 00:04 4 4 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\local_storage.spec.js 00:03 1 1 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\location.spec.js 00:03 3 3 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\misc.spec.js 00:06 6 6 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\navigation.spec.js 00:05 3 3 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\network_requests.spec.js 00:12 7 7 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\querying.spec.js 00:06 5 5 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\spies_stubs_clocks.spec.js 00:09 7 7 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\traversal.spec.js 00:20 18 18 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\utilities.spec.js 00:07 6 6 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\viewport.spec.js 00:07 1 1 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\waiting.spec.js 00:08 2 2 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\window.spec.js 00:03 3 3 - - - │
└────────────────────────────────────────────────────────────────────────────────────────────────┘
✔ All specs passed! 02:36 117 117 - - -

   Spec                                              Tests  Passing  Failing  Pending  Skipped

┌────────────────────────────────────────────────────────────────────────────────────────────────┐
│ ✔ examplesactions.spec.js 00:29 14 14 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examplesaliasing.spec.js 00:03 2 2 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examplesassertions.spec.js 00:08 9 9 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\connectors.spec.js 00:06 8 8 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\cookies.spec.js 00:06 5 5 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\cypress_api.spec.js 00:07 13 13 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\files.spec.js 00:06 4 4 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\local_storage.spec.js 00:04 1 1 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\location.spec.js 00:03 3 3 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\misc.spec.js 00:08 6 6 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\navigation.spec.js 00:06 3 3 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\network_requests.spec.js 00:12 7 7 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\querying.spec.js 00:05 5 5 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\spies_stubs_clocks.spec.js 00:06 7 7 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\traversal.spec.js 00:11 18 18 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\utilities.spec.js 00:07 6 6 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\viewport.spec.js 00:06 1 1 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\waiting.spec.js 00:09 2 2 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\window.spec.js 00:03 3 3 - - - │
└────────────────────────────────────────────────────────────────────────────────────────────────┘
✔ All specs passed! 02:34 117 117 - - -

#### 4.5.0

  Spec                                              Tests  Passing  Failing  Pending  Skipped

┌────────────────────────────────────────────────────────────────────────────────────────────────┐
│ ✔ examplesactions.spec.js 00:27 14 14 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examplesaliasing.spec.js 00:04 2 2 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examplesassertions.spec.js 00:09 9 9 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\connectors.spec.js 00:06 8 8 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\cookies.spec.js 00:07 5 5 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\cypress_api.spec.js 00:12 13 13 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\files.spec.js 00:05 4 4 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\local_storage.spec.js 00:04 1 1 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\location.spec.js 00:03 3 3 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\misc.spec.js 00:08 6 6 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\navigation.spec.js 00:07 3 3 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\network_requests.spec.js 00:12 7 7 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\querying.spec.js 00:07 5 5 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\spies_stubs_clocks.spec.js 00:07 7 7 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\traversal.spec.js 00:15 18 18 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\utilities.spec.js 00:06 6 6 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\viewport.spec.js 00:07 1 1 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\waiting.spec.js 00:09 2 2 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\window.spec.js 00:04 3 3 - - - │
└────────────────────────────────────────────────────────────────────────────────────────────────┘
✔ All specs passed! 02:51 117 117 - - -

   Spec                                              Tests  Passing  Failing  Pending  Skipped

┌────────────────────────────────────────────────────────────────────────────────────────────────┐
│ ✔ examplesactions.spec.js 00:28 14 14 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examplesaliasing.spec.js 00:06 2 2 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examplesassertions.spec.js 00:17 9 9 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\connectors.spec.js 00:06 8 8 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\cookies.spec.js 00:06 5 5 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\cypress_api.spec.js 00:12 13 13 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\files.spec.js 00:06 4 4 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\local_storage.spec.js 00:03 1 1 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\location.spec.js 00:03 3 3 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\misc.spec.js 00:08 6 6 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\navigation.spec.js 00:15 3 3 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\network_requests.spec.js 00:17 7 7 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\querying.spec.js 00:05 5 5 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\spies_stubs_clocks.spec.js 00:09 7 7 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\traversal.spec.js 00:26 18 18 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\utilities.spec.js 00:08 6 6 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\viewport.spec.js 00:06 1 1 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\waiting.spec.js 00:11 2 2 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\window.spec.js 00:03 3 3 - - - │
└────────────────────────────────────────────────────────────────────────────────────────────────┘
✔ All specs passed! 03:26 117 117 - - -

#### 4.4.1

 Spec                                              Tests  Passing  Failing  Pending  Skipped

┌────────────────────────────────────────────────────────────────────────────────────────────────┐
│ ✔ examplesactions.spec.js 00:19 14 14 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examplesaliasing.spec.js 00:03 2 2 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examplesassertions.spec.js 00:05 9 9 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\connectors.spec.js 00:03 8 8 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\cookies.spec.js 00:03 5 5 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\cypress_api.spec.js 00:04 13 13 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\files.spec.js 00:04 4 4 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\local_storage.spec.js 00:03 1 1 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\location.spec.js 00:02 3 3 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\misc.spec.js 00:07 6 6 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\navigation.spec.js 00:04 3 3 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\network_requests.spec.js 00:07 7 7 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\querying.spec.js 00:04 5 5 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\spies_stubs_clocks.spec.js 00:05 7 7 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\traversal.spec.js 00:06 18 18 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\utilities.spec.js 00:04 6 6 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\viewport.spec.js 00:05 1 1 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\waiting.spec.js 00:06 2 2 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\window.spec.js 00:02 3 3 - - - │
└────────────────────────────────────────────────────────────────────────────────────────────────┘
✔ All specs passed! 01:46 117 117 - - -

   Spec                                              Tests  Passing  Failing  Pending  Skipped

┌────────────────────────────────────────────────────────────────────────────────────────────────┐
│ ✔ examplesactions.spec.js 00:19 14 14 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examplesaliasing.spec.js 00:03 2 2 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examplesassertions.spec.js 00:05 9 9 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\connectors.spec.js 00:03 8 8 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\cookies.spec.js 00:03 5 5 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\cypress_api.spec.js 00:04 13 13 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\files.spec.js 00:03 4 4 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\local_storage.spec.js 00:02 1 1 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\location.spec.js 00:02 3 3 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\misc.spec.js 00:06 6 6 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\navigation.spec.js 00:04 3 3 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\network_requests.spec.js 00:07 7 7 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\querying.spec.js 00:04 5 5 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\spies_stubs_clocks.spec.js 00:05 7 7 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\traversal.spec.js 00:06 18 18 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\utilities.spec.js 00:04 6 6 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\viewport.spec.js 00:05 1 1 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\waiting.spec.js 00:06 2 2 - - - │
├────────────────────────────────────────────────────────────────────────────────────────────────┤
│ ✔ examples\window.spec.js 00:02 3 3 - - - │
└────────────────────────────────────────────────────────────────────────────────────────────────┘
✔ All specs passed! 01:41 117 117 - - -
```

Desired behaviour:

Figure out what happened between 4.4.1 and 4.5.0 to cause such an increase in test time.

Test code to reproduce

https://github.com/cypress-io/cypress-example-kitchensink

Versions

Any version after 4.4.1
Electron headless
Lenovo P51s
Windows 10 Enterprise

windows performance 🏃‍♀️ regression v4.5.0

Source

JSumner1992

All 11 comments

Are the other teams using Windows?

My Mac doesn't show this performance issue. If it were something in 4.5, it's maybe related to the Electron upgrade there? Nothing else seems like it would cause this.

4.4.1

Total runtime: 1:08

Screen Shot 2020-07-10 at 11 48 16 AM

4.5.0

Total runtime: 1:14

Screen Shot 2020-07-10 at 11 51 20 AM

jennifer-shehane on 10 Jul 2020

Yes, everyone else is using windows as well as the build server

JSumner1992 on 10 Jul 2020

hi JSumner1992, if you care for performance, try using version 3.7.0. We are still stuck with this version as since 3.8.0 the performance hit is enorm. Also look at this issue https://github.com/cypress-io/cypress/issues/5987

krawetko on 10 Jul 2020

We also have this issue, cypress now fails everytime, for random test, and became unusable in CI

lugosium on 19 Jul 2020

👍1

hi JSumner1992, if you care for performance, try using version 3.7.0. We are still stuck with this version as since 3.8.0 the performance hit is enorm. Also look at this issue #5987

Thank you JSumner for the tip! I reverted to 3.7.0 and the performance increase is very noticeable when running locally on my Windows machine.
I will just have to use this version locally until I see this ticket is resolved.

IMightGitIt on 6 Aug 2020

I was investigating in #8311
and for me it happens with the electron upgrade 8.2.0 -> 8.2.3 (https://github.com/cypress-io/cypress/commit/9d8992a4459eb77ef41ec1f32a15b3e9cbb996f2) which doesn't contain that much

Now I'm seeing if I can work out which version of electron introduces the slowdown to narrow it down further.

lukeapage on 19 Aug 2020

The regression occurs once upgrading to electron 8.2.1 from 8.2.0

commits:
https://github.com/electron/electron/commits/8-x-y?after=d70b1c68fed04f205d7f90cb119f01ff62942652+0&branch=8-x-y

lukeapage on 19 Aug 2020

Looking at the commits I spotted this:
https://github.com/electron/electron/commit/a4d89745567983fb514ba943ffd927a83e83a90b

which re-enables offscreen support.

Now.. cypress sets offscreen to true:
https://github.com/cypress-io/cypress/blob/develop/packages/server/lib/gui/windows.ts#L148

but I can't find any code using the 'paint' event - given it was disabled in 8.2.0 I can't think why cypress would need it on.

Since offscreen support was enabled and then disabled and then enabled, it would fit with the pattern of performance in the cypress releases I describe in my original issue.

🤞

lukeapage on 19 Aug 2020

🚀1

Confirmed the problem with a custom cypress build and then on all tests with v5 of cypress using a hack:

((Get-Content -path node_modules\.azure_pipeline_cypress_cache\5.0.0\Cypress\resources\app\packages\server\lib\gui\windows.js -Raw) -replace 'options.webPreferences.offscreen','//') | Set-Content -Path node_modules\.azure_pipeline_cypress_cache\5.0.0\Cypress\resources\app\packages\server\lib\gui\windows.js

Replace the paths with where you keep your cypress cache on your build server.

Pr raised - #8351

lukeapage on 19 Aug 2020

👍1

The code for this is done in cypress-io/cypress#8351, but has yet to be released.
We'll update this issue and reference the changelog when it's released.