.. DO NOT EDIT.
.. THIS FILE WAS AUTOMATICALLY GENERATED BY SPHINX-GALLERY.
.. TO MAKE CHANGES, EDIT THE SOURCE PYTHON FILE:
.. "examples/processing/filtering_data.py"
.. LINE NUMBERS ARE GIVEN BELOW.

.. only:: html

    .. note::
        :class: sphx-glr-download-link-note

        :ref:`Go to the end <sphx_glr_download_examples_processing_filtering_data.py>`
        to download the full example code.

.. rst-class:: sphx-glr-example-title

.. _sphx_glr_examples_processing_filtering_data.py:


Filtering Data
==============

If you have a low number of counts in your data, you may want to filter the data
to remove noise. This can be done using the `filter` function which applies some
function to the entire dataset and returns a filtered dataset of the same shape.

.. GENERATED FROM PYTHON SOURCE LINES 9-33

.. code-block:: Python


    from scipy.ndimage import gaussian_filter
    from dask_image.ndfilters import gaussian_filter as dask_gaussian_filter
    import pyxem as pxm
    import hyperspy.api as hs
    import numpy as np

    s = pxm.data.mgo_nanocrystals(allow_download=True)  # MgO nanocrystals dataset

    s_filtered = s.filter(
        gaussian_filter, sigma=1.0, inplace=False
    )  # Gaussian filter with sigma=1.0

    s_filtered2 = s.filter(
        gaussian_filter, sigma=(1.0, 1.0, 0, 0), inplace=False
    )  # Only filter in real space

    hs.plot.plot_images(
        [s.inav[10, 10], s_filtered.inav[10, 10], s_filtered2.inav[10, 10]],
        label=["Original", "GaussFilt(all)", "GaussFilt(real space)"],
        tight_layout=True,
        vmax="99th",
    )




.. image-sg:: /examples/processing/images/sphx_glr_filtering_data_001.png
   :alt: Original, GaussFilt(all), GaussFilt(real space)
   :srcset: /examples/processing/images/sphx_glr_filtering_data_001.png
   :class: sphx-glr-single-img


.. rst-class:: sphx-glr-script-out

 .. code-block:: none


      0%|                                               | 0.00/104M [00:00<?, ?B/s]
      0%|                                       | 14.3k/104M [00:00<12:37, 138kB/s]
      0%|                                       | 47.1k/104M [00:00<07:09, 242kB/s]
      0%|                                        | 111k/104M [00:00<04:13, 412kB/s]
      0%|                                        | 205k/104M [00:00<02:51, 606kB/s]
      0%|▏                                       | 343k/104M [00:00<01:59, 866kB/s]
      0%|▏                                       | 432k/104M [00:00<02:00, 864kB/s]
      1%|▏                                       | 563k/104M [00:00<01:44, 993kB/s]
      1%|▎                                       | 663k/104M [00:00<01:45, 982kB/s]
      1%|▎                                       | 761k/104M [00:00<01:46, 971kB/s]
      1%|▎                                       | 858k/104M [00:01<01:47, 960kB/s]
      1%|▎                                       | 954k/104M [00:01<01:48, 949kB/s]
      1%|▍                                      | 1.05M/104M [00:01<01:50, 938kB/s]
      1%|▍                                      | 1.14M/104M [00:01<01:51, 929kB/s]
      1%|▍                                      | 1.24M/104M [00:01<01:51, 920kB/s]
      1%|▍                                      | 1.33M/104M [00:01<01:53, 910kB/s]
      1%|▌                                      | 1.43M/104M [00:01<01:50, 928kB/s]
      1%|▌                                      | 1.54M/104M [00:01<01:44, 980kB/s]
      2%|▌                                     | 1.66M/104M [00:01<01:41, 1.01MB/s]
      2%|▋                                     | 1.84M/104M [00:01<01:23, 1.23MB/s]
      2%|▊                                     | 2.25M/104M [00:02<00:49, 2.04MB/s]
      2%|▉                                     | 2.45M/104M [00:02<01:05, 1.55MB/s]
      3%|▉                                     | 2.62M/104M [00:02<01:20, 1.27MB/s]
      3%|█                                     | 2.77M/104M [00:02<01:18, 1.30MB/s]
      3%|█                                     | 2.98M/104M [00:02<01:08, 1.48MB/s]
      3%|█▏                                    | 3.15M/104M [00:02<01:07, 1.50MB/s]
      3%|█▏                                    | 3.31M/104M [00:02<01:06, 1.52MB/s]
      3%|█▎                                    | 3.64M/104M [00:03<00:51, 1.97MB/s]
      4%|█▍                                    | 3.84M/104M [00:03<00:51, 1.97MB/s]
      4%|█▌                                    | 4.23M/104M [00:03<00:40, 2.46MB/s]
      4%|█▋                                    | 4.48M/104M [00:03<00:40, 2.45MB/s]
      5%|█▊                                    | 4.81M/104M [00:03<00:37, 2.67MB/s]
      5%|█▊                                    | 5.09M/104M [00:03<00:37, 2.63MB/s]
      5%|█▉                                    | 5.35M/104M [00:03<00:37, 2.61MB/s]
      5%|██                                    | 5.61M/104M [00:03<00:38, 2.60MB/s]
      6%|██▏                                   | 5.88M/104M [00:03<00:38, 2.56MB/s]
      6%|██▏                                   | 6.13M/104M [00:03<00:38, 2.54MB/s]
      6%|██▎                                   | 6.39M/104M [00:04<00:38, 2.51MB/s]
      6%|██▍                                   | 6.64M/104M [00:04<00:39, 2.48MB/s]
      7%|██▌                                   | 6.89M/104M [00:04<00:39, 2.45MB/s]
      7%|██▌                                   | 7.14M/104M [00:04<00:51, 1.87MB/s]
      7%|██▋                                   | 7.34M/104M [00:04<00:51, 1.89MB/s]
      7%|██▋                                   | 7.55M/104M [00:04<00:50, 1.91MB/s]
      7%|██▊                                   | 7.75M/104M [00:04<00:50, 1.92MB/s]
      8%|██▉                                   | 7.95M/104M [00:04<00:49, 1.93MB/s]
      8%|██▉                                   | 8.15M/104M [00:05<01:04, 1.50MB/s]
      8%|███                                   | 8.32M/104M [00:05<01:03, 1.52MB/s]
      8%|███                                   | 8.51M/104M [00:05<00:59, 1.62MB/s]
      8%|███▏                                  | 8.77M/104M [00:05<00:51, 1.86MB/s]
      9%|███▎                                  | 9.13M/104M [00:05<00:41, 2.30MB/s]
      9%|███▍                                  | 9.43M/104M [00:05<00:38, 2.45MB/s]
      9%|███▌                                  | 9.83M/104M [00:05<00:32, 2.87MB/s]
     10%|███▋                                  | 10.1M/104M [00:05<00:33, 2.84MB/s]
     10%|███▊                                  | 10.4M/104M [00:05<00:33, 2.82MB/s]
     10%|███▉                                  | 10.7M/104M [00:06<00:43, 2.17MB/s]
     10%|███▉                                  | 10.9M/104M [00:06<00:42, 2.20MB/s]
     11%|████                                  | 11.2M/104M [00:06<00:41, 2.22MB/s]
     11%|████▏                                 | 11.4M/104M [00:06<00:41, 2.23MB/s]
     11%|████▏                                 | 11.7M/104M [00:06<00:52, 1.75MB/s]
     11%|████▎                                 | 11.8M/104M [00:06<00:51, 1.79MB/s]
     12%|████▍                                 | 12.2M/104M [00:06<00:44, 2.09MB/s]
     12%|████▌                                 | 12.5M/104M [00:06<00:36, 2.53MB/s]
     12%|████▋                                 | 12.8M/104M [00:07<00:45, 2.00MB/s]
     13%|████▊                                 | 13.2M/104M [00:07<00:39, 2.28MB/s]
     13%|████▉                                 | 13.4M/104M [00:07<00:39, 2.32MB/s]
     13%|████▉                                 | 13.7M/104M [00:07<00:38, 2.34MB/s]
     13%|█████                                 | 13.9M/104M [00:07<00:38, 2.36MB/s]
     14%|█████▏                                | 14.2M/104M [00:07<00:38, 2.36MB/s]
     14%|█████▏                                | 14.4M/104M [00:07<00:38, 2.36MB/s]
     14%|█████▎                                | 14.6M/104M [00:08<00:49, 1.82MB/s]
     14%|█████▍                                | 15.0M/104M [00:08<00:42, 2.10MB/s]
     15%|█████▌                                | 15.2M/104M [00:08<00:41, 2.12MB/s]
     15%|█████▌                                | 15.4M/104M [00:08<00:41, 2.14MB/s]
     15%|█████▋                                | 15.6M/104M [00:08<00:40, 2.16MB/s]
     15%|█████▊                                | 15.9M/104M [00:08<00:41, 2.15MB/s]
     15%|█████▊                                | 16.1M/104M [00:08<00:52, 1.67MB/s]
     16%|█████▉                                | 16.3M/104M [00:08<00:51, 1.69MB/s]
     16%|█████▉                                | 16.5M/104M [00:08<00:51, 1.72MB/s]
     16%|██████                                | 16.6M/104M [00:09<00:50, 1.73MB/s]
     16%|██████▏                               | 16.8M/104M [00:09<00:50, 1.74MB/s]
     16%|██████▏                               | 17.1M/104M [00:09<00:45, 1.90MB/s]
     17%|██████▎                               | 17.4M/104M [00:09<00:37, 2.31MB/s]
     17%|██████▍                               | 17.6M/104M [00:09<00:37, 2.28MB/s]
     17%|██████▌                               | 17.9M/104M [00:09<00:49, 1.76MB/s]
     17%|██████▌                               | 18.1M/104M [00:09<00:48, 1.79MB/s]
     18%|██████▋                               | 18.3M/104M [00:09<00:47, 1.81MB/s]
     18%|██████▋                               | 18.5M/104M [00:09<00:44, 1.94MB/s]
     18%|██████▊                               | 18.7M/104M [00:10<00:43, 1.97MB/s]
     18%|██████▉                               | 19.0M/104M [00:10<00:38, 2.21MB/s]
     18%|███████                               | 19.2M/104M [00:10<00:49, 1.71MB/s]
     19%|███████                               | 19.4M/104M [00:10<00:47, 1.80MB/s]
     19%|███████▏                              | 19.7M/104M [00:10<00:41, 2.06MB/s]
     19%|███████▎                              | 20.0M/104M [00:10<00:40, 2.10MB/s]
     19%|███████▍                              | 20.3M/104M [00:10<00:35, 2.38MB/s]
     20%|███████▍                              | 20.6M/104M [00:10<00:34, 2.42MB/s]
     20%|███████▌                              | 20.9M/104M [00:11<00:32, 2.58MB/s]
     20%|███████▋                              | 21.1M/104M [00:11<00:32, 2.56MB/s]
     21%|███████▊                              | 21.4M/104M [00:11<00:42, 1.97MB/s]
     21%|███████▉                              | 21.6M/104M [00:11<00:51, 1.61MB/s]
     21%|███████▉                              | 21.8M/104M [00:11<00:49, 1.65MB/s]
     21%|████████                              | 22.1M/104M [00:11<00:44, 1.86MB/s]
     22%|████████▏                             | 22.4M/104M [00:11<00:35, 2.30MB/s]
     22%|████████▎                             | 22.7M/104M [00:12<00:44, 1.83MB/s]
     22%|████████▎                             | 23.0M/104M [00:12<00:40, 2.01MB/s]
     22%|████████▍                             | 23.2M/104M [00:12<00:39, 2.04MB/s]
     23%|████████▌                             | 23.6M/104M [00:12<00:32, 2.50MB/s]
     23%|████████▋                             | 23.9M/104M [00:12<00:40, 1.98MB/s]
     23%|████████▊                             | 24.1M/104M [00:12<00:39, 2.03MB/s]
     23%|████████▊                             | 24.3M/104M [00:12<00:48, 1.65MB/s]
     23%|████████▉                             | 24.5M/104M [00:13<00:47, 1.69MB/s]
     24%|████████▉                             | 24.7M/104M [00:13<00:46, 1.72MB/s]
     24%|█████████                             | 24.9M/104M [00:13<00:45, 1.73MB/s]
     24%|█████████▏                            | 25.1M/104M [00:13<00:45, 1.74MB/s]
     24%|█████████▏                            | 25.2M/104M [00:13<00:57, 1.37MB/s]
     24%|█████████▎                            | 25.4M/104M [00:13<01:09, 1.13MB/s]
     24%|█████████▎                            | 25.5M/104M [00:13<01:08, 1.16MB/s]
     25%|█████████▎                            | 25.7M/104M [00:13<01:07, 1.17MB/s]
     25%|█████████▍                            | 25.8M/104M [00:14<01:06, 1.19MB/s]
     25%|█████████▍                            | 25.9M/104M [00:14<01:05, 1.19MB/s]
     25%|█████████▌                            | 26.1M/104M [00:14<00:55, 1.40MB/s]
     25%|█████████▌                            | 26.3M/104M [00:14<00:55, 1.40MB/s]
     25%|█████████▌                            | 26.4M/104M [00:14<00:55, 1.41MB/s]
     25%|█████████▋                            | 26.6M/104M [00:14<00:53, 1.45MB/s]
     26%|█████████▋                            | 26.7M/104M [00:14<00:53, 1.44MB/s]
     26%|█████████▊                            | 26.9M/104M [00:14<00:54, 1.43MB/s]
     26%|█████████▊                            | 27.0M/104M [00:14<00:52, 1.48MB/s]
     26%|█████████▉                            | 27.2M/104M [00:14<00:49, 1.55MB/s]
     26%|█████████▉                            | 27.4M/104M [00:15<00:50, 1.53MB/s]
     26%|██████████                            | 27.5M/104M [00:15<01:05, 1.17MB/s]
     27%|██████████                            | 27.6M/104M [00:15<01:04, 1.19MB/s]
     27%|██████████▍                            | 27.8M/104M [00:15<01:19, 958kB/s]
     27%|██████████▍                            | 27.9M/104M [00:15<01:18, 979kB/s]
     27%|██████████▍                            | 28.0M/104M [00:15<01:16, 995kB/s]
     27%|██████████▏                           | 28.1M/104M [00:15<01:15, 1.01MB/s]
     27%|██████████▎                           | 28.2M/104M [00:16<01:15, 1.01MB/s]
     27%|██████████▎                           | 28.3M/104M [00:16<01:15, 1.01MB/s]
     27%|██████████▎                           | 28.4M/104M [00:16<01:15, 1.00MB/s]
     27%|██████████▍                           | 28.5M/104M [00:16<01:15, 1.00MB/s]
     27%|██████████▍                           | 28.7M/104M [00:16<01:08, 1.10MB/s]
     28%|██████████▍                           | 28.8M/104M [00:16<01:08, 1.10MB/s]
     28%|██████████▌                           | 28.9M/104M [00:16<01:09, 1.08MB/s]
     28%|██████████▌                           | 29.0M/104M [00:16<01:09, 1.08MB/s]
     28%|██████████▌                           | 29.1M/104M [00:16<01:10, 1.06MB/s]
     28%|██████████▋                           | 29.2M/104M [00:16<01:11, 1.06MB/s]
     28%|██████████▋                           | 29.3M/104M [00:17<01:11, 1.05MB/s]
     28%|███████████                            | 29.4M/104M [00:17<01:33, 800kB/s]
     28%|███████████                            | 29.5M/104M [00:17<01:31, 815kB/s]
     29%|██████████▊                           | 29.8M/104M [00:17<00:57, 1.30MB/s]
     29%|██████████▉                           | 29.9M/104M [00:17<00:56, 1.32MB/s]
     29%|██████████▉                           | 30.1M/104M [00:17<00:56, 1.32MB/s]
     29%|███████████                           | 30.2M/104M [00:17<00:55, 1.32MB/s]
     29%|███████████                           | 30.4M/104M [00:17<00:50, 1.46MB/s]
     29%|███████████▏                          | 30.7M/104M [00:18<00:41, 1.77MB/s]
     30%|███████████▏                          | 30.8M/104M [00:18<00:41, 1.76MB/s]
     30%|███████████▎                          | 31.0M/104M [00:18<00:54, 1.35MB/s]
     30%|███████████▎                          | 31.2M/104M [00:18<00:53, 1.37MB/s]
     30%|███████████▍                          | 31.3M/104M [00:18<01:05, 1.11MB/s]
     30%|███████████▍                          | 31.4M/104M [00:18<01:04, 1.13MB/s]
     30%|███████████▌                          | 31.7M/104M [00:18<00:49, 1.47MB/s]
     31%|███████████▌                          | 31.9M/104M [00:19<01:01, 1.18MB/s]
     31%|███████████▋                          | 32.1M/104M [00:19<00:50, 1.42MB/s]
     31%|███████████▊                          | 32.3M/104M [00:19<00:49, 1.45MB/s]
     31%|███████████▊                          | 32.4M/104M [00:19<00:48, 1.47MB/s]
     31%|███████████▊                          | 32.6M/104M [00:19<01:01, 1.18MB/s]
     31%|███████████▉                          | 32.7M/104M [00:19<00:59, 1.20MB/s]
     31%|███████████▉                          | 32.8M/104M [00:19<00:58, 1.22MB/s]
     32%|████████████                          | 33.0M/104M [00:19<00:57, 1.23MB/s]
     32%|████████████                          | 33.1M/104M [00:19<00:57, 1.24MB/s]
     32%|████████████▍                          | 33.2M/104M [00:20<01:13, 969kB/s]
     32%|████████████▏                         | 33.3M/104M [00:20<01:09, 1.01MB/s]
     32%|████████████▏                         | 33.5M/104M [00:20<01:08, 1.03MB/s]
     32%|████████████▏                         | 33.6M/104M [00:20<01:08, 1.04MB/s]
     32%|████████████▎                         | 33.7M/104M [00:20<01:07, 1.04MB/s]
     32%|████████████▋                          | 33.8M/104M [00:20<01:26, 815kB/s]
     32%|████████████▋                          | 33.9M/104M [00:20<01:24, 830kB/s]
     33%|████████████▋                          | 34.0M/104M [00:21<01:23, 842kB/s]
     33%|████████████▋                          | 34.1M/104M [00:21<01:21, 866kB/s]
     33%|████████████▊                          | 34.2M/104M [00:21<01:18, 888kB/s]
     33%|████████████▌                         | 34.5M/104M [00:21<00:42, 1.66MB/s]
     33%|████████████▋                         | 34.7M/104M [00:21<00:42, 1.65MB/s]
     33%|████████████▋                         | 34.9M/104M [00:21<00:39, 1.75MB/s]
     34%|████████████▊                         | 35.1M/104M [00:21<00:39, 1.74MB/s]
     34%|████████████▊                         | 35.3M/104M [00:21<00:51, 1.33MB/s]
     34%|████████████▉                         | 35.5M/104M [00:21<00:47, 1.44MB/s]
     34%|████████████▉                         | 35.7M/104M [00:22<00:42, 1.60MB/s]
     34%|█████████████                         | 35.8M/104M [00:22<00:42, 1.61MB/s]
     35%|█████████████                         | 36.0M/104M [00:22<00:42, 1.61MB/s]
     35%|█████████████▏                        | 36.2M/104M [00:22<00:54, 1.26MB/s]
     35%|█████████████▏                        | 36.3M/104M [00:22<00:52, 1.29MB/s]
     35%|█████████████▎                        | 36.5M/104M [00:22<00:51, 1.32MB/s]
     35%|█████████████▎                        | 36.6M/104M [00:22<00:50, 1.33MB/s]
     35%|█████████████▍                        | 36.8M/104M [00:22<00:50, 1.33MB/s]
     35%|█████████████▍                        | 36.9M/104M [00:22<00:50, 1.33MB/s]
     36%|█████████████▍                        | 37.0M/104M [00:23<00:50, 1.32MB/s]
     36%|█████████████▌                        | 37.2M/104M [00:23<01:05, 1.02MB/s]
     36%|█████████████▋                        | 37.4M/104M [00:23<00:49, 1.34MB/s]
     36%|█████████████▋                        | 37.6M/104M [00:23<00:48, 1.36MB/s]
     36%|█████████████▋                        | 37.7M/104M [00:23<00:48, 1.38MB/s]
     36%|█████████████▊                        | 37.8M/104M [00:23<00:48, 1.38MB/s]
     36%|█████████████▊                        | 38.0M/104M [00:23<00:47, 1.39MB/s]
     37%|█████████████▉                        | 38.1M/104M [00:23<00:47, 1.38MB/s]
     37%|█████████████▉                        | 38.3M/104M [00:24<01:01, 1.07MB/s]
     37%|█████████████▉                        | 38.4M/104M [00:24<01:00, 1.09MB/s]
     37%|██████████████▍                        | 38.5M/104M [00:24<01:14, 879kB/s]
     37%|██████████████                        | 38.8M/104M [00:24<00:53, 1.22MB/s]
     37%|██████████████▏                       | 38.9M/104M [00:24<00:52, 1.25MB/s]
     38%|██████████████▎                       | 39.1M/104M [00:24<00:43, 1.51MB/s]
     38%|██████████████▎                       | 39.3M/104M [00:24<00:42, 1.53MB/s]
     38%|██████████████▍                       | 39.5M/104M [00:24<00:42, 1.54MB/s]
     38%|██████████████▍                       | 39.6M/104M [00:25<00:53, 1.21MB/s]
     38%|██████████████▍                       | 39.8M/104M [00:25<00:52, 1.23MB/s]
     38%|██████████████▉                        | 39.9M/104M [00:25<01:04, 997kB/s]
     38%|██████████████▌                       | 40.0M/104M [00:25<01:02, 1.02MB/s]
     39%|██████████████▋                       | 40.2M/104M [00:25<00:56, 1.13MB/s]
     39%|██████████████▋                       | 40.4M/104M [00:25<00:44, 1.44MB/s]
     39%|██████████████▊                       | 40.6M/104M [00:25<00:41, 1.52MB/s]
     39%|██████████████▊                       | 40.8M/104M [00:26<00:40, 1.58MB/s]
     39%|██████████████▉                       | 41.0M/104M [00:26<00:36, 1.71MB/s]
     39%|██████████████▉                       | 41.2M/104M [00:26<00:36, 1.71MB/s]
     40%|███████████████                       | 41.3M/104M [00:26<00:47, 1.32MB/s]
     40%|███████████████                       | 41.5M/104M [00:26<00:46, 1.34MB/s]
     40%|███████████████▏                      | 41.6M/104M [00:26<00:46, 1.36MB/s]
     40%|███████████████▏                      | 41.8M/104M [00:26<00:45, 1.37MB/s]
     40%|███████████████▎                      | 41.9M/104M [00:26<00:58, 1.07MB/s]
     40%|███████████████▎                      | 42.0M/104M [00:27<00:56, 1.10MB/s]
     40%|███████████████▎                      | 42.2M/104M [00:27<00:55, 1.11MB/s]
     41%|███████████████▍                      | 42.3M/104M [00:27<00:55, 1.12MB/s]
     41%|███████████████▍                      | 42.4M/104M [00:27<00:55, 1.12MB/s]
     41%|███████████████▉                       | 42.5M/104M [00:27<01:10, 878kB/s]
     41%|███████████████▉                       | 42.6M/104M [00:27<01:08, 895kB/s]
     41%|███████████████▋                      | 43.1M/104M [00:27<00:33, 1.81MB/s]
     41%|███████████████▊                      | 43.3M/104M [00:27<00:33, 1.84MB/s]
     42%|███████████████▊                      | 43.5M/104M [00:27<00:32, 1.86MB/s]
     42%|███████████████▉                      | 43.7M/104M [00:28<00:32, 1.87MB/s]
     42%|███████████████▉                      | 43.9M/104M [00:28<00:41, 1.45MB/s]
     42%|████████████████                      | 44.0M/104M [00:28<00:40, 1.48MB/s]
     42%|████████████████                      | 44.2M/104M [00:28<00:50, 1.20MB/s]
     43%|████████████████▏                     | 44.4M/104M [00:28<00:43, 1.38MB/s]
     43%|████████████████▎                     | 44.6M/104M [00:28<00:39, 1.50MB/s]
     43%|████████████████▊                      | 44.8M/104M [00:29<01:42, 579kB/s]
     43%|████████████████▊                      | 44.9M/104M [00:30<02:13, 444kB/s]
     43%|████████████████▊                      | 45.0M/104M [00:30<01:58, 502kB/s]
     43%|████████████████▉                      | 45.2M/104M [00:30<01:38, 598kB/s]
     43%|████████████████▉                      | 45.3M/104M [00:30<01:29, 661kB/s]
     44%|█████████████████                      | 45.5M/104M [00:30<01:01, 956kB/s]
     44%|████████████████▋                     | 45.7M/104M [00:30<00:56, 1.04MB/s]
     44%|████████████████▋                     | 45.8M/104M [00:30<00:52, 1.11MB/s]
     44%|████████████████▋                     | 45.9M/104M [00:30<00:50, 1.16MB/s]
     44%|████████████████▊                     | 46.1M/104M [00:31<00:48, 1.20MB/s]
     44%|████████████████▊                     | 46.2M/104M [00:31<00:47, 1.23MB/s]
     44%|████████████████▉                     | 46.3M/104M [00:31<00:46, 1.25MB/s]
     45%|████████████████▉                     | 46.5M/104M [00:31<00:46, 1.25MB/s]
     45%|████████████████▉                     | 46.6M/104M [00:31<00:45, 1.26MB/s]
     45%|█████████████████                     | 46.7M/104M [00:31<00:46, 1.25MB/s]
     45%|█████████████████                     | 46.9M/104M [00:31<00:46, 1.25MB/s]
     45%|█████████████████                     | 47.0M/104M [00:31<00:46, 1.24MB/s]
     45%|█████████████████▏                    | 47.1M/104M [00:31<00:46, 1.23MB/s]
     45%|█████████████████▏                    | 47.2M/104M [00:31<00:46, 1.23MB/s]
     46%|█████████████████▎                    | 47.5M/104M [00:32<00:38, 1.49MB/s]
     46%|█████████████████▍                    | 47.7M/104M [00:32<00:30, 1.84MB/s]
     46%|█████████████████▍                    | 47.9M/104M [00:32<00:31, 1.81MB/s]
     46%|█████████████████▌                    | 48.1M/104M [00:32<00:40, 1.39MB/s]
     46%|█████████████████▌                    | 48.3M/104M [00:32<00:39, 1.41MB/s]
     46%|█████████████████▋                    | 48.4M/104M [00:32<00:39, 1.41MB/s]
     47%|█████████████████▋                    | 48.6M/104M [00:32<00:39, 1.41MB/s]
     47%|█████████████████▋                    | 48.7M/104M [00:32<00:50, 1.10MB/s]
     47%|█████████████████▊                    | 48.8M/104M [00:33<00:48, 1.14MB/s]
     47%|█████████████████▊                    | 49.0M/104M [00:33<00:45, 1.21MB/s]
     47%|█████████████████▉                    | 49.1M/104M [00:33<00:42, 1.31MB/s]
     47%|█████████████████▉                    | 49.3M/104M [00:33<00:37, 1.47MB/s]
     47%|██████████████████                    | 49.5M/104M [00:33<00:36, 1.50MB/s]
     48%|██████████████████                    | 49.7M/104M [00:33<00:36, 1.49MB/s]
     48%|██████████████████▏                   | 49.8M/104M [00:33<00:36, 1.50MB/s]
     48%|██████████████████▏                   | 50.0M/104M [00:33<00:35, 1.52MB/s]
     48%|██████████████████▎                   | 50.1M/104M [00:33<00:35, 1.51MB/s]
     48%|██████████████████▎                   | 50.3M/104M [00:34<00:36, 1.50MB/s]
     48%|██████████████████▍                   | 50.4M/104M [00:34<00:36, 1.48MB/s]
     49%|██████████████████▍                   | 50.6M/104M [00:34<00:36, 1.46MB/s]
     49%|██████████████████▍                   | 50.7M/104M [00:34<00:37, 1.44MB/s]
     49%|██████████████████▌                   | 50.9M/104M [00:34<00:37, 1.43MB/s]
     49%|██████████████████▌                   | 51.0M/104M [00:34<00:37, 1.42MB/s]
     49%|██████████████████▋                   | 51.2M/104M [00:34<00:37, 1.41MB/s]
     49%|██████████████████▋                   | 51.3M/104M [00:34<00:38, 1.39MB/s]
     49%|██████████████████▋                   | 51.4M/104M [00:34<00:38, 1.38MB/s]
     49%|██████████████████▊                   | 51.6M/104M [00:35<00:50, 1.05MB/s]
     50%|██████████████████▊                   | 51.8M/104M [00:35<00:41, 1.25MB/s]
     50%|██████████████████▉                   | 51.9M/104M [00:35<00:39, 1.34MB/s]
     50%|███████████████████                   | 52.2M/104M [00:35<00:30, 1.70MB/s]
     50%|███████████████████                   | 52.4M/104M [00:35<00:38, 1.34MB/s]
     50%|███████████████████▏                  | 52.6M/104M [00:35<00:37, 1.37MB/s]
     51%|███████████████████▏                  | 52.7M/104M [00:35<00:37, 1.39MB/s]
     51%|███████████████████▎                  | 52.9M/104M [00:35<00:36, 1.41MB/s]
     51%|███████████████████▎                  | 53.0M/104M [00:36<00:46, 1.11MB/s]
     51%|███████████████████▎                  | 53.1M/104M [00:36<00:45, 1.13MB/s]
     51%|███████████████████▍                  | 53.3M/104M [00:36<00:44, 1.15MB/s]
     51%|███████████████████▍                  | 53.4M/104M [00:36<00:39, 1.29MB/s]
     51%|███████████████████▌                  | 53.6M/104M [00:36<00:37, 1.37MB/s]
     52%|███████████████████▌                  | 53.8M/104M [00:36<00:30, 1.65MB/s]
     52%|███████████████████▋                  | 54.1M/104M [00:36<00:27, 1.85MB/s]
     52%|███████████████████▊                  | 54.3M/104M [00:36<00:27, 1.84MB/s]
     52%|███████████████████▊                  | 54.5M/104M [00:36<00:27, 1.83MB/s]
     52%|███████████████████▉                  | 54.6M/104M [00:37<00:27, 1.82MB/s]
     53%|███████████████████▉                  | 54.8M/104M [00:37<00:27, 1.80MB/s]
     53%|████████████████████                  | 55.0M/104M [00:37<00:27, 1.78MB/s]
     53%|████████████████████                  | 55.2M/104M [00:37<00:27, 1.76MB/s]
     53%|████████████████████▏                 | 55.4M/104M [00:37<00:28, 1.74MB/s]
     53%|████████████████████▏                 | 55.5M/104M [00:37<00:36, 1.34MB/s]
     53%|████████████████████▎                 | 55.7M/104M [00:37<00:35, 1.36MB/s]
     54%|████████████████████▍                 | 55.9M/104M [00:37<00:29, 1.64MB/s]
     54%|████████████████████▍                 | 56.1M/104M [00:37<00:29, 1.65MB/s]
     54%|████████████████████▌                 | 56.3M/104M [00:38<00:29, 1.65MB/s]
     54%|████████████████████▌                 | 56.5M/104M [00:38<00:37, 1.29MB/s]
     54%|████████████████████▋                 | 56.6M/104M [00:38<00:36, 1.31MB/s]
     54%|████████████████████▋                 | 56.8M/104M [00:38<00:35, 1.33MB/s]
     55%|████████████████████▋                 | 56.9M/104M [00:38<00:35, 1.34MB/s]
     55%|████████████████████▊                 | 57.1M/104M [00:38<00:33, 1.40MB/s]
     55%|████████████████████▊                 | 57.2M/104M [00:38<00:33, 1.40MB/s]
     55%|████████████████████▉                 | 57.4M/104M [00:38<00:28, 1.63MB/s]
     55%|█████████████████████                 | 57.6M/104M [00:39<00:26, 1.74MB/s]
     56%|█████████████████████                 | 57.9M/104M [00:39<00:23, 1.97MB/s]
     56%|█████████████████████▏                | 58.1M/104M [00:39<00:30, 1.51MB/s]
     56%|█████████████████████▏                | 58.3M/104M [00:39<00:30, 1.53MB/s]
     56%|█████████████████████▎                | 58.4M/104M [00:39<00:29, 1.55MB/s]
     56%|█████████████████████▎                | 58.6M/104M [00:39<00:37, 1.23MB/s]
     56%|█████████████████████▍                | 58.7M/104M [00:39<00:36, 1.26MB/s]
     56%|█████████████████████▍                | 58.9M/104M [00:39<00:35, 1.27MB/s]
     57%|█████████████████████▌                | 59.1M/104M [00:40<00:33, 1.36MB/s]
     57%|█████████████████████▌                | 59.2M/104M [00:40<00:32, 1.37MB/s]
     57%|█████████████████████▌                | 59.3M/104M [00:40<00:32, 1.37MB/s]
     57%|█████████████████████▋                | 59.5M/104M [00:40<00:32, 1.36MB/s]
     57%|█████████████████████▋                | 59.6M/104M [00:40<00:32, 1.36MB/s]
     57%|█████████████████████▊                | 59.8M/104M [00:40<00:33, 1.35MB/s]
     57%|█████████████████████▊                | 60.0M/104M [00:40<00:29, 1.51MB/s]
     58%|█████████████████████▉                | 60.1M/104M [00:40<00:29, 1.49MB/s]
     58%|█████████████████████▉                | 60.3M/104M [00:40<00:29, 1.47MB/s]
     58%|██████████████████████                | 60.4M/104M [00:41<00:38, 1.13MB/s]
     58%|██████████████████████                | 60.5M/104M [00:41<00:38, 1.15MB/s]
     58%|██████████████████████                | 60.7M/104M [00:41<00:34, 1.25MB/s]
     58%|██████████████████████▏               | 60.9M/104M [00:41<00:30, 1.42MB/s]
     59%|██████████████████████▎               | 61.1M/104M [00:41<00:25, 1.68MB/s]
     59%|██████████████████████▎               | 61.3M/104M [00:41<00:25, 1.68MB/s]
     59%|██████████████████████▍               | 61.5M/104M [00:41<00:32, 1.30MB/s]
     59%|██████████████████████▍               | 61.6M/104M [00:41<00:32, 1.33MB/s]
     59%|██████████████████████▌               | 61.8M/104M [00:42<00:31, 1.34MB/s]
     59%|██████████████████████▌               | 61.9M/104M [00:42<00:31, 1.35MB/s]
     60%|██████████████████████▌               | 62.1M/104M [00:42<00:31, 1.36MB/s]
     60%|██████████████████████▋               | 62.2M/104M [00:42<00:39, 1.06MB/s]
     60%|██████████████████████▋               | 62.3M/104M [00:42<00:38, 1.08MB/s]
     60%|██████████████████████▋               | 62.4M/104M [00:42<00:38, 1.09MB/s]
     60%|██████████████████████▊               | 62.6M/104M [00:42<00:36, 1.15MB/s]
     60%|██████████████████████▊               | 62.7M/104M [00:42<00:36, 1.15MB/s]
     60%|██████████████████████▉               | 62.8M/104M [00:42<00:36, 1.15MB/s]
     60%|██████████████████████▉               | 62.9M/104M [00:43<00:35, 1.15MB/s]
     60%|██████████████████████▉               | 63.0M/104M [00:43<00:36, 1.14MB/s]
     61%|███████████████████████               | 63.2M/104M [00:43<00:33, 1.22MB/s]
     61%|███████████████████████               | 63.4M/104M [00:43<00:28, 1.42MB/s]
     61%|███████████████████████▏              | 63.5M/104M [00:43<00:29, 1.40MB/s]
     61%|███████████████████████▏              | 63.7M/104M [00:43<00:29, 1.39MB/s]
     61%|███████████████████████▎              | 63.8M/104M [00:43<00:29, 1.38MB/s]
     61%|███████████████████████▎              | 64.0M/104M [00:43<00:29, 1.36MB/s]
     61%|███████████████████████▎              | 64.1M/104M [00:44<00:38, 1.04MB/s]
     62%|███████████████████████▍              | 64.2M/104M [00:44<00:37, 1.06MB/s]
     62%|███████████████████████▍              | 64.3M/104M [00:44<00:37, 1.08MB/s]
     62%|███████████████████████▍              | 64.4M/104M [00:44<00:36, 1.08MB/s]
     62%|███████████████████████▌              | 64.5M/104M [00:44<00:36, 1.08MB/s]
     62%|███████████████████████▌              | 64.7M/104M [00:44<00:36, 1.08MB/s]
     62%|███████████████████████▌              | 64.8M/104M [00:44<00:31, 1.24MB/s]
     62%|███████████████████████▋              | 65.0M/104M [00:44<00:29, 1.34MB/s]
     62%|███████████████████████▋              | 65.1M/104M [00:44<00:29, 1.33MB/s]
     63%|███████████████████████▊              | 65.3M/104M [00:44<00:29, 1.32MB/s]
     63%|███████████████████████▊              | 65.4M/104M [00:45<00:29, 1.30MB/s]
     63%|███████████████████████▉              | 65.5M/104M [00:45<00:30, 1.29MB/s]
     63%|███████████████████████▉              | 65.7M/104M [00:45<00:30, 1.28MB/s]
     63%|████████████████████████▌              | 65.8M/104M [00:45<00:39, 979kB/s]
     63%|████████████████████████              | 66.0M/104M [00:45<00:31, 1.22MB/s]
     63%|████████████████████████              | 66.1M/104M [00:45<00:30, 1.24MB/s]
     64%|████████████████████████▏             | 66.3M/104M [00:45<00:30, 1.25MB/s]
     64%|████████████████████████▏             | 66.4M/104M [00:45<00:28, 1.32MB/s]
     64%|████████████████████████▏             | 66.6M/104M [00:45<00:28, 1.32MB/s]
     64%|████████████████████████▎             | 66.7M/104M [00:46<00:28, 1.32MB/s]
     64%|████████████████████████▍             | 66.9M/104M [00:46<00:24, 1.54MB/s]
     64%|████████████████████████▍             | 67.1M/104M [00:46<00:24, 1.53MB/s]
     64%|████████████████████████▍             | 67.2M/104M [00:46<00:24, 1.51MB/s]
     65%|████████████████████████▌             | 67.4M/104M [00:46<00:24, 1.50MB/s]
     65%|████████████████████████▌             | 67.5M/104M [00:46<00:23, 1.55MB/s]
     65%|████████████████████████▋             | 67.7M/104M [00:46<00:23, 1.54MB/s]
     65%|████████████████████████▋             | 67.9M/104M [00:46<00:23, 1.52MB/s]
     65%|████████████████████████▊             | 68.0M/104M [00:47<00:31, 1.16MB/s]
     65%|████████████████████████▊             | 68.2M/104M [00:47<00:26, 1.37MB/s]
     66%|████████████████████████▉             | 68.4M/104M [00:47<00:25, 1.39MB/s]
     66%|████████████████████████▉             | 68.6M/104M [00:47<00:22, 1.60MB/s]
     66%|█████████████████████████             | 68.8M/104M [00:47<00:22, 1.60MB/s]
     66%|█████████████████████████             | 68.9M/104M [00:47<00:22, 1.60MB/s]
     66%|█████████████████████████▏            | 69.1M/104M [00:47<00:22, 1.60MB/s]
     66%|█████████████████████████▏            | 69.3M/104M [00:47<00:28, 1.23MB/s]
     67%|█████████████████████████▎            | 69.4M/104M [00:47<00:27, 1.26MB/s]
     67%|██████████████████████████             | 69.5M/104M [00:48<00:39, 879kB/s]
     67%|██████████████████████████             | 69.6M/104M [00:48<00:37, 916kB/s]
     67%|██████████████████████████             | 69.7M/104M [00:48<00:36, 946kB/s]
     67%|██████████████████████████             | 69.9M/104M [00:48<00:35, 968kB/s]
     67%|██████████████████████████▏            | 70.0M/104M [00:48<00:34, 981kB/s]
     67%|█████████████████████████▋            | 70.3M/104M [00:48<00:20, 1.69MB/s]
     68%|█████████████████████████▋            | 70.5M/104M [00:48<00:19, 1.70MB/s]
     68%|█████████████████████████▊            | 70.7M/104M [00:49<00:25, 1.34MB/s]
     68%|█████████████████████████▊            | 70.9M/104M [00:49<00:24, 1.37MB/s]
     68%|█████████████████████████▊            | 71.0M/104M [00:49<00:24, 1.38MB/s]
     68%|█████████████████████████▉            | 71.2M/104M [00:49<00:22, 1.45MB/s]
     68%|█████████████████████████▉            | 71.3M/104M [00:49<00:22, 1.45MB/s]
     69%|██████████████████████████▋            | 71.5M/104M [00:50<01:26, 377kB/s]
     69%|██████████████████████████▊            | 71.6M/104M [00:50<01:14, 436kB/s]
     69%|██████████████████████████▊            | 71.7M/104M [00:50<01:04, 504kB/s]
     69%|██████████████████████████▊            | 71.8M/104M [00:51<01:04, 504kB/s]
     69%|██████████████████████████▉            | 71.9M/104M [00:51<00:58, 556kB/s]
     69%|██████████████████████████▉            | 72.0M/104M [00:51<00:52, 621kB/s]
     69%|██████████████████████████▉            | 72.1M/104M [00:51<00:42, 750kB/s]
     69%|███████████████████████████            | 72.3M/104M [00:51<00:35, 899kB/s]
     69%|███████████████████████████            | 72.4M/104M [00:51<00:33, 944kB/s]
     70%|███████████████████████████            | 72.5M/104M [00:51<00:32, 975kB/s]
     70%|███████████████████████████▏           | 72.6M/104M [00:51<00:31, 998kB/s]
     70%|██████████████████████████▍           | 72.7M/104M [00:51<00:31, 1.01MB/s]
     70%|██████████████████████████▌           | 72.8M/104M [00:52<00:30, 1.02MB/s]
     70%|██████████████████████████▌           | 72.9M/104M [00:52<00:30, 1.02MB/s]
     70%|██████████████████████████▌           | 73.0M/104M [00:52<00:30, 1.02MB/s]
     70%|██████████████████████████▋           | 73.1M/104M [00:52<00:30, 1.01MB/s]
     70%|██████████████████████████▋           | 73.2M/104M [00:52<00:30, 1.01MB/s]
     70%|██████████████████████████▋           | 73.3M/104M [00:52<00:30, 1.00MB/s]
     70%|███████████████████████████▍           | 73.4M/104M [00:52<00:31, 993kB/s]
     71%|███████████████████████████▌           | 73.5M/104M [00:52<00:31, 985kB/s]
     71%|███████████████████████████▌           | 73.6M/104M [00:52<00:31, 975kB/s]
     71%|███████████████████████████▌           | 73.7M/104M [00:53<00:40, 746kB/s]
     71%|███████████████████████████▌           | 73.8M/104M [00:53<00:40, 759kB/s]
     71%|███████████████████████████▋           | 73.9M/104M [00:53<00:37, 805kB/s]
     71%|███████████████████████████▋           | 74.0M/104M [00:53<00:37, 811kB/s]
     71%|███████████████████████████▋           | 74.1M/104M [00:53<00:31, 966kB/s]
     71%|███████████████████████████           | 74.3M/104M [00:53<00:29, 1.00MB/s]
     71%|███████████████████████████           | 74.4M/104M [00:53<00:27, 1.08MB/s]
     71%|███████████████████████████▏          | 74.5M/104M [00:53<00:27, 1.07MB/s]
     72%|███████████████████████████▏          | 74.6M/104M [00:53<00:27, 1.07MB/s]
     72%|███████████████████████████▏          | 74.7M/104M [00:54<00:27, 1.06MB/s]
     72%|███████████████████████████▎          | 74.8M/104M [00:54<00:28, 1.05MB/s]
     72%|███████████████████████████▎          | 74.9M/104M [00:54<00:28, 1.05MB/s]
     72%|███████████████████████████▎          | 75.0M/104M [00:54<00:28, 1.04MB/s]
     72%|███████████████████████████▍          | 75.1M/104M [00:54<00:28, 1.03MB/s]
     72%|███████████████████████████▍          | 75.2M/104M [00:54<00:28, 1.02MB/s]
     73%|███████████████████████████▌          | 75.6M/104M [00:54<00:15, 1.82MB/s]
     73%|███████████████████████████▋          | 75.8M/104M [00:54<00:15, 1.79MB/s]
     73%|███████████████████████████▋          | 76.0M/104M [00:54<00:20, 1.37MB/s]
     73%|███████████████████████████▋          | 76.2M/104M [00:55<00:20, 1.39MB/s]
     73%|███████████████████████████▊          | 76.3M/104M [00:55<00:19, 1.40MB/s]
     73%|███████████████████████████▊          | 76.4M/104M [00:55<00:25, 1.11MB/s]
     73%|███████████████████████████▉          | 76.6M/104M [00:55<00:24, 1.13MB/s]
     74%|████████████████████████████▋          | 76.7M/104M [00:55<00:29, 921kB/s]
     74%|████████████████████████████▋          | 76.8M/104M [00:55<00:29, 941kB/s]
     74%|████████████████████████████          | 76.9M/104M [00:55<00:27, 1.00MB/s]
     74%|████████████████████████████          | 77.1M/104M [00:55<00:24, 1.11MB/s]
     74%|████████████████████████████▏         | 77.2M/104M [00:56<00:24, 1.12MB/s]
     74%|████████████████████████████▏         | 77.3M/104M [00:56<00:24, 1.12MB/s]
     74%|████████████████████████████▏         | 77.4M/104M [00:56<00:24, 1.12MB/s]
     74%|████████████████████████████▎         | 77.5M/104M [00:56<00:24, 1.11MB/s]
     74%|█████████████████████████████          | 77.7M/104M [00:56<00:30, 860kB/s]
     75%|█████████████████████████████          | 77.8M/104M [00:56<00:28, 937kB/s]
     75%|████████████████████████████▍         | 78.1M/104M [00:56<00:18, 1.39MB/s]
     75%|████████████████████████████▍         | 78.2M/104M [00:56<00:18, 1.41MB/s]
     75%|████████████████████████████▌         | 78.4M/104M [00:57<00:18, 1.44MB/s]
     75%|████████████████████████████▋         | 78.6M/104M [00:57<00:15, 1.65MB/s]
     76%|████████████████████████████▋         | 78.8M/104M [00:57<00:15, 1.65MB/s]
     76%|████████████████████████████▊         | 78.9M/104M [00:57<00:15, 1.63MB/s]
     76%|████████████████████████████▊         | 79.1M/104M [00:57<00:19, 1.26MB/s]
     76%|████████████████████████████▊         | 79.2M/104M [00:57<00:19, 1.28MB/s]
     76%|████████████████████████████▉         | 79.4M/104M [00:57<00:24, 1.03MB/s]
     76%|████████████████████████████▉         | 79.5M/104M [00:57<00:23, 1.06MB/s]
     76%|█████████████████████████████         | 79.6M/104M [00:58<00:23, 1.07MB/s]
     76%|█████████████████████████████         | 79.7M/104M [00:58<00:22, 1.08MB/s]
     77%|█████████████████████████████         | 79.8M/104M [00:58<00:22, 1.09MB/s]
     77%|█████████████████████████████▏        | 80.0M/104M [00:58<00:22, 1.09MB/s]
     77%|█████████████████████████████▉         | 80.1M/104M [00:58<00:28, 846kB/s]
     77%|█████████████████████████████▉         | 80.2M/104M [00:58<00:24, 969kB/s]
     77%|██████████████████████████████         | 80.3M/104M [00:58<00:24, 985kB/s]
     77%|██████████████████████████████         | 80.4M/104M [00:58<00:24, 994kB/s]
     77%|█████████████████████████████▎        | 80.5M/104M [00:58<00:23, 1.00MB/s]
     77%|█████████████████████████████▍        | 80.6M/104M [00:59<00:23, 1.00MB/s]
     77%|██████████████████████████████▏        | 80.7M/104M [00:59<00:23, 997kB/s]
     78%|██████████████████████████████▏        | 80.8M/104M [00:59<00:23, 994kB/s]
     78%|██████████████████████████████▎        | 80.9M/104M [00:59<00:23, 989kB/s]
     78%|██████████████████████████████▎        | 81.0M/104M [00:59<00:23, 984kB/s]
     78%|██████████████████████████████▎        | 81.1M/104M [00:59<00:23, 974kB/s]
     78%|██████████████████████████████▍        | 81.2M/104M [00:59<00:23, 966kB/s]
     78%|██████████████████████████████▍        | 81.3M/104M [00:59<00:23, 959kB/s]
     78%|██████████████████████████████▍        | 81.4M/104M [00:59<00:23, 959kB/s]
     78%|█████████████████████████████▋        | 81.6M/104M [01:00<00:22, 1.00MB/s]
     78%|█████████████████████████████▊        | 81.7M/104M [01:00<00:21, 1.03MB/s]
     78%|█████████████████████████████▊        | 81.8M/104M [01:00<00:22, 1.02MB/s]
     79%|█████████████████████████████▊        | 81.9M/104M [01:00<00:22, 1.01MB/s]
     79%|█████████████████████████████▊        | 82.0M/104M [01:00<00:22, 1.01MB/s]
     79%|██████████████████████████████▋        | 82.1M/104M [01:00<00:22, 998kB/s]
     79%|██████████████████████████████▋        | 82.2M/104M [01:00<00:22, 988kB/s]
     79%|██████████████████████████████▊        | 82.3M/104M [01:00<00:22, 978kB/s]
     79%|██████████████████████████████▊        | 82.4M/104M [01:00<00:22, 969kB/s]
     79%|██████████████████████████████▊        | 82.5M/104M [01:00<00:22, 959kB/s]
     79%|██████████████████████████████▉        | 82.6M/104M [01:01<00:22, 950kB/s]
     79%|██████████████████████████████▉        | 82.7M/104M [01:01<00:23, 939kB/s]
     79%|██████████████████████████████▉        | 82.8M/104M [01:01<00:23, 931kB/s]
     79%|██████████████████████████████▉        | 82.9M/104M [01:01<00:23, 921kB/s]
     80%|███████████████████████████████        | 82.9M/104M [01:01<00:23, 911kB/s]
     80%|███████████████████████████████        | 83.0M/104M [01:01<00:23, 901kB/s]
     80%|███████████████████████████████        | 83.1M/104M [01:01<00:22, 928kB/s]
     80%|███████████████████████████████▏       | 83.2M/104M [01:01<00:22, 933kB/s]
     80%|███████████████████████████████▏       | 83.4M/104M [01:01<00:21, 980kB/s]
     80%|███████████████████████████████▏       | 83.5M/104M [01:02<00:21, 966kB/s]
     80%|███████████████████████████████▏       | 83.6M/104M [01:02<00:21, 957kB/s]
     80%|███████████████████████████████▎       | 83.6M/104M [01:02<00:21, 946kB/s]
     80%|███████████████████████████████▎       | 83.7M/104M [01:02<00:21, 939kB/s]
     80%|███████████████████████████████▎       | 83.8M/104M [01:02<00:22, 930kB/s]
     80%|███████████████████████████████▍       | 83.9M/104M [01:02<00:22, 919kB/s]
     81%|███████████████████████████████▍       | 84.0M/104M [01:02<00:21, 922kB/s]
     81%|███████████████████████████████▍       | 84.1M/104M [01:02<00:21, 926kB/s]
     81%|███████████████████████████████▍       | 84.2M/104M [01:02<00:21, 917kB/s]
     81%|███████████████████████████████▌       | 84.3M/104M [01:02<00:21, 942kB/s]
     81%|███████████████████████████████▌       | 84.4M/104M [01:03<00:21, 931kB/s]
     81%|███████████████████████████████▌       | 84.5M/104M [01:03<00:19, 994kB/s]
     81%|███████████████████████████████▋       | 84.6M/104M [01:03<00:19, 994kB/s]
     81%|███████████████████████████████▋       | 84.7M/104M [01:03<00:20, 966kB/s]
     81%|██████████████████████████████▉       | 84.9M/104M [01:03<00:17, 1.13MB/s]
     82%|███████████████████████████████       | 85.1M/104M [01:03<00:13, 1.43MB/s]
     82%|███████████████████████████████       | 85.3M/104M [01:03<00:13, 1.42MB/s]
     82%|███████████████████████████████       | 85.4M/104M [01:03<00:13, 1.40MB/s]
     82%|███████████████████████████████▏      | 85.6M/104M [01:04<00:17, 1.07MB/s]
     82%|███████████████████████████████▏      | 85.7M/104M [01:04<00:17, 1.09MB/s]
     82%|███████████████████████████████▎      | 85.8M/104M [01:04<00:16, 1.10MB/s]
     82%|███████████████████████████████▎      | 85.9M/104M [01:04<00:16, 1.11MB/s]
     82%|███████████████████████████████▎      | 86.0M/104M [01:04<00:16, 1.11MB/s]
     83%|███████████████████████████████▍      | 86.1M/104M [01:04<00:16, 1.10MB/s]
     83%|███████████████████████████████▍      | 86.3M/104M [01:04<00:16, 1.10MB/s]
     83%|███████████████████████████████▍      | 86.4M/104M [01:04<00:16, 1.12MB/s]
     83%|███████████████████████████████▌      | 86.5M/104M [01:04<00:16, 1.11MB/s]
     83%|███████████████████████████████▌      | 86.6M/104M [01:04<00:16, 1.10MB/s]
     83%|███████████████████████████████▌      | 86.7M/104M [01:05<00:16, 1.09MB/s]
     83%|████████████████████████████████▍      | 86.8M/104M [01:05<00:20, 833kB/s]
     83%|████████████████████████████████▌      | 86.9M/104M [01:05<00:19, 886kB/s]
     83%|████████████████████████████████▌      | 87.0M/104M [01:05<00:19, 902kB/s]
     84%|████████████████████████████████▌      | 87.1M/104M [01:05<00:17, 956kB/s]
     84%|████████████████████████████████▋      | 87.3M/104M [01:05<00:17, 992kB/s]
     84%|████████████████████████████████▋      | 87.4M/104M [01:05<00:17, 991kB/s]
     84%|████████████████████████████████▋      | 87.5M/104M [01:05<00:17, 989kB/s]
     84%|████████████████████████████████▋      | 87.6M/104M [01:05<00:16, 984kB/s]
     84%|████████████████████████████████▊      | 87.7M/104M [01:06<00:16, 978kB/s]
     84%|████████████████████████████████▊      | 87.8M/104M [01:06<00:16, 972kB/s]
     84%|████████████████████████████████▊      | 87.9M/104M [01:06<00:16, 966kB/s]
     84%|████████████████████████████████      | 88.0M/104M [01:06<00:16, 1.01MB/s]
     84%|████████████████████████████████      | 88.1M/104M [01:06<00:15, 1.04MB/s]
     85%|████████████████████████████████▏     | 88.2M/104M [01:06<00:15, 1.03MB/s]
     85%|████████████████████████████████▏     | 88.3M/104M [01:06<00:15, 1.02MB/s]
     85%|████████████████████████████████▏     | 88.4M/104M [01:06<00:15, 1.01MB/s]
     85%|█████████████████████████████████      | 88.5M/104M [01:06<00:15, 994kB/s]
     85%|█████████████████████████████████▏     | 88.6M/104M [01:07<00:15, 988kB/s]
     85%|█████████████████████████████████▏     | 88.7M/104M [01:07<00:15, 980kB/s]
     85%|█████████████████████████████████▏     | 88.8M/104M [01:07<00:15, 970kB/s]
     85%|█████████████████████████████████▏     | 88.9M/104M [01:07<00:15, 990kB/s]
     85%|█████████████████████████████████▎     | 89.0M/104M [01:07<00:15, 978kB/s]
     85%|████████████████████████████████▍     | 89.1M/104M [01:07<00:14, 1.06MB/s]
     86%|████████████████████████████████▌     | 89.3M/104M [01:07<00:14, 1.07MB/s]
     86%|████████████████████████████████▌     | 89.4M/104M [01:07<00:14, 1.06MB/s]
     86%|████████████████████████████████▌     | 89.5M/104M [01:07<00:14, 1.05MB/s]
     86%|████████████████████████████████▋     | 89.6M/104M [01:07<00:14, 1.04MB/s]
     86%|████████████████████████████████▋     | 89.7M/104M [01:08<00:14, 1.03MB/s]
     86%|████████████████████████████████▋     | 89.8M/104M [01:08<00:14, 1.02MB/s]
     86%|████████████████████████████████▊     | 89.9M/104M [01:08<00:14, 1.01MB/s]
     86%|█████████████████████████████████▋     | 90.0M/104M [01:08<00:14, 997kB/s]
     86%|█████████████████████████████████▋     | 90.1M/104M [01:08<00:14, 990kB/s]
     86%|█████████████████████████████████▋     | 90.2M/104M [01:08<00:14, 979kB/s]
     87%|█████████████████████████████████▊     | 90.3M/104M [01:08<00:14, 969kB/s]
     87%|█████████████████████████████████▊     | 90.4M/104M [01:08<00:14, 960kB/s]
     87%|████████████████████████████████▉     | 90.5M/104M [01:08<00:13, 1.00MB/s]
     87%|█████████████████████████████████     | 90.7M/104M [01:09<00:11, 1.17MB/s]
     87%|█████████████████████████████████     | 90.8M/104M [01:09<00:11, 1.15MB/s]
     87%|█████████████████████████████████     | 90.9M/104M [01:09<00:11, 1.14MB/s]
     87%|█████████████████████████████████▏    | 91.0M/104M [01:09<00:11, 1.13MB/s]
     87%|█████████████████████████████████▏    | 91.1M/104M [01:09<00:11, 1.12MB/s]
     87%|█████████████████████████████████▏    | 91.2M/104M [01:09<00:11, 1.11MB/s]
     88%|█████████████████████████████████▎    | 91.4M/104M [01:09<00:11, 1.09MB/s]
     88%|█████████████████████████████████▎    | 91.5M/104M [01:09<00:11, 1.08MB/s]
     88%|█████████████████████████████████▎    | 91.6M/104M [01:09<00:11, 1.07MB/s]
     88%|█████████████████████████████████▍    | 91.7M/104M [01:09<00:11, 1.06MB/s]
     88%|█████████████████████████████████▍    | 91.8M/104M [01:10<00:11, 1.05MB/s]
     88%|█████████████████████████████████▍    | 91.9M/104M [01:10<00:11, 1.04MB/s]
     88%|█████████████████████████████████▌    | 92.0M/104M [01:10<00:11, 1.03MB/s]
     88%|█████████████████████████████████▌    | 92.1M/104M [01:10<00:11, 1.02MB/s]
     88%|█████████████████████████████████▌    | 92.2M/104M [01:10<00:12, 1.01MB/s]
     89%|█████████████████████████████████▋    | 92.3M/104M [01:10<00:11, 1.00MB/s]
     89%|██████████████████████████████████▌    | 92.4M/104M [01:10<00:12, 990kB/s]
     89%|██████████████████████████████████▌    | 92.5M/104M [01:10<00:12, 979kB/s]
     89%|█████████████████████████████████▋    | 92.6M/104M [01:10<00:11, 1.05MB/s]
     89%|█████████████████████████████████▊    | 92.7M/104M [01:10<00:10, 1.07MB/s]
     89%|█████████████████████████████████▊    | 92.8M/104M [01:11<00:10, 1.06MB/s]
     89%|█████████████████████████████████▊    | 93.0M/104M [01:11<00:10, 1.05MB/s]
     89%|█████████████████████████████████▉    | 93.1M/104M [01:11<00:10, 1.04MB/s]
     89%|█████████████████████████████████▉    | 93.2M/104M [01:11<00:10, 1.03MB/s]
     89%|█████████████████████████████████▉    | 93.3M/104M [01:11<00:09, 1.10MB/s]
     90%|██████████████████████████████████    | 93.4M/104M [01:11<00:09, 1.15MB/s]
     90%|██████████████████████████████████    | 93.5M/104M [01:11<00:09, 1.13MB/s]
     90%|██████████████████████████████████▏   | 93.7M/104M [01:11<00:09, 1.12MB/s]
     90%|██████████████████████████████████▏   | 93.8M/104M [01:11<00:09, 1.11MB/s]
     90%|██████████████████████████████████▏   | 93.9M/104M [01:12<00:09, 1.11MB/s]
     90%|██████████████████████████████████▎   | 94.0M/104M [01:12<00:08, 1.15MB/s]
     90%|██████████████████████████████████▎   | 94.1M/104M [01:12<00:09, 1.13MB/s]
     90%|██████████████████████████████████▎   | 94.2M/104M [01:12<00:09, 1.11MB/s]
     90%|██████████████████████████████████▍   | 94.4M/104M [01:12<00:09, 1.10MB/s]
     91%|██████████████████████████████████▍   | 94.5M/104M [01:12<00:09, 1.09MB/s]
     91%|██████████████████████████████████▍   | 94.7M/104M [01:12<00:07, 1.34MB/s]
     91%|██████████████████████████████████▌   | 94.8M/104M [01:12<00:07, 1.32MB/s]
     91%|██████████████████████████████████▌   | 94.9M/104M [01:12<00:07, 1.31MB/s]
     91%|██████████████████████████████████▋   | 95.1M/104M [01:13<00:09, 1.00MB/s]
     91%|██████████████████████████████████▋   | 95.2M/104M [01:13<00:08, 1.02MB/s]
     91%|██████████████████████████████████▋   | 95.3M/104M [01:13<00:08, 1.03MB/s]
     91%|██████████████████████████████████▊   | 95.4M/104M [01:13<00:08, 1.03MB/s]
     92%|██████████████████████████████████▊   | 95.5M/104M [01:13<00:08, 1.03MB/s]
     92%|██████████████████████████████████▊   | 95.6M/104M [01:13<00:08, 1.03MB/s]
     92%|███████████████████████████████████▊   | 95.7M/104M [01:13<00:09, 945kB/s]
     92%|███████████████████████████████████▊   | 95.8M/104M [01:13<00:08, 942kB/s]
     92%|███████████████████████████████████▊   | 95.9M/104M [01:13<00:08, 941kB/s]
     92%|███████████████████████████████████▉   | 96.0M/104M [01:14<00:08, 948kB/s]
     92%|███████████████████████████████████▉   | 96.1M/104M [01:14<00:08, 994kB/s]
     92%|███████████████████████████████████   | 96.3M/104M [01:14<00:07, 1.07MB/s]
     92%|███████████████████████████████████   | 96.4M/104M [01:14<00:07, 1.08MB/s]
     93%|███████████████████████████████████▏  | 96.5M/104M [01:14<00:07, 1.07MB/s]
     93%|███████████████████████████████████▏  | 96.6M/104M [01:14<00:07, 1.06MB/s]
     93%|███████████████████████████████████▏  | 96.7M/104M [01:14<00:07, 1.05MB/s]
     93%|███████████████████████████████████▎  | 96.8M/104M [01:14<00:07, 1.04MB/s]
     93%|███████████████████████████████████▎  | 96.9M/104M [01:14<00:07, 1.01MB/s]
     93%|████████████████████████████████████▎  | 97.0M/104M [01:14<00:07, 997kB/s]
     93%|████████████████████████████████████▎  | 97.1M/104M [01:15<00:07, 988kB/s]
     93%|████████████████████████████████████▎  | 97.2M/104M [01:15<00:07, 978kB/s]
     93%|████████████████████████████████████▍  | 97.3M/104M [01:15<00:07, 967kB/s]
     93%|███████████████████████████████████▌  | 97.4M/104M [01:15<00:06, 1.06MB/s]
     94%|███████████████████████████████████▌  | 97.6M/104M [01:15<00:06, 1.12MB/s]
     94%|███████████████████████████████████▌  | 97.7M/104M [01:15<00:05, 1.11MB/s]
     94%|███████████████████████████████████▋  | 97.8M/104M [01:15<00:05, 1.11MB/s]
     94%|███████████████████████████████████▋  | 97.9M/104M [01:15<00:05, 1.15MB/s]
     94%|███████████████████████████████████▋  | 98.0M/104M [01:15<00:05, 1.14MB/s]
     94%|███████████████████████████████████▊  | 98.2M/104M [01:16<00:05, 1.13MB/s]
     94%|███████████████████████████████████▊  | 98.3M/104M [01:16<00:05, 1.11MB/s]
     94%|███████████████████████████████████▊  | 98.4M/104M [01:16<00:05, 1.10MB/s]
     94%|███████████████████████████████████▉  | 98.5M/104M [01:16<00:05, 1.09MB/s]
     95%|███████████████████████████████████▉  | 98.6M/104M [01:16<00:05, 1.08MB/s]
     95%|███████████████████████████████████▉  | 98.7M/104M [01:16<00:05, 1.07MB/s]
     95%|████████████████████████████████████  | 98.8M/104M [01:16<00:05, 1.06MB/s]
     95%|████████████████████████████████████  | 98.9M/104M [01:16<00:05, 1.05MB/s]
     95%|████████████████████████████████████  | 99.0M/104M [01:16<00:05, 1.04MB/s]
     95%|████████████████████████████████████  | 99.1M/104M [01:16<00:05, 1.03MB/s]
     95%|█████████████████████████████████████  | 99.2M/104M [01:17<00:06, 785kB/s]
     95%|████████████████████████████████████▏ | 99.4M/104M [01:17<00:04, 1.02MB/s]
     95%|████████████████████████████████████▎ | 99.5M/104M [01:17<00:04, 1.04MB/s]
     96%|████████████████████████████████████▎ | 99.6M/104M [01:17<00:04, 1.05MB/s]
     96%|████████████████████████████████████▎ | 99.8M/104M [01:17<00:04, 1.11MB/s]
     96%|████████████████████████████████████▍ | 99.9M/104M [01:17<00:03, 1.11MB/s]
     96%|█████████████████████████████████████▍ | 100M/104M [01:17<00:03, 1.11MB/s]
     96%|██████████████████████████████████████▍ | 100M/104M [01:17<00:04, 855kB/s]
     96%|██████████████████████████████████████▍ | 100M/104M [01:18<00:04, 873kB/s]
     96%|██████████████████████████████████████▍ | 100M/104M [01:18<00:04, 883kB/s]
     96%|██████████████████████████████████████▌ | 100M/104M [01:18<00:04, 890kB/s]
     96%|██████████████████████████████████████▌ | 100M/104M [01:18<00:04, 891kB/s]
     96%|██████████████████████████████████████▌ | 101M/104M [01:18<00:04, 891kB/s]
     97%|██████████████████████████████████████▌ | 101M/104M [01:18<00:04, 887kB/s]
     97%|██████████████████████████████████████▋ | 101M/104M [01:18<00:04, 875kB/s]
     97%|██████████████████████████████████████▋ | 101M/104M [01:18<00:03, 892kB/s]
     97%|██████████████████████████████████████▋ | 101M/104M [01:18<00:03, 998kB/s]
     97%|██████████████████████████████████████▊ | 101M/104M [01:19<00:03, 989kB/s]
     97%|██████████████████████████████████████▊ | 101M/104M [01:19<00:03, 982kB/s]
     97%|██████████████████████████████████████▊ | 101M/104M [01:19<00:03, 975kB/s]
     97%|█████████████████████████████████████▉ | 101M/104M [01:19<00:02, 1.04MB/s]
     97%|█████████████████████████████████████▉ | 102M/104M [01:19<00:02, 1.06MB/s]
     97%|██████████████████████████████████████ | 102M/104M [01:19<00:02, 1.12MB/s]
     98%|██████████████████████████████████████ | 102M/104M [01:19<00:01, 1.35MB/s]
     98%|██████████████████████████████████████▏| 102M/104M [01:19<00:01, 1.84MB/s]
     98%|██████████████████████████████████████▎| 102M/104M [01:19<00:01, 1.81MB/s]
     98%|██████████████████████████████████████▎| 103M/104M [01:20<00:01, 1.38MB/s]
     98%|██████████████████████████████████████▍| 103M/104M [01:20<00:01, 1.40MB/s]
     99%|██████████████████████████████████████▍| 103M/104M [01:20<00:01, 1.12MB/s]
     99%|██████████████████████████████████████▌| 103M/104M [01:20<00:01, 1.15MB/s]
     99%|███████████████████████████████████████▌| 103M/104M [01:20<00:01, 935kB/s]
     99%|███████████████████████████████████████▌| 103M/104M [01:20<00:01, 987kB/s]
     99%|██████████████████████████████████████▋| 103M/104M [01:20<00:00, 1.01MB/s]
     99%|██████████████████████████████████████▋| 103M/104M [01:21<00:00, 1.04MB/s]
     99%|██████████████████████████████████████▋| 104M/104M [01:21<00:00, 1.04MB/s]
     99%|██████████████████████████████████████▊| 104M/104M [01:21<00:00, 1.11MB/s]
    100%|██████████████████████████████████████▊| 104M/104M [01:21<00:00, 1.11MB/s]
    100%|██████████████████████████████████████▊| 104M/104M [01:21<00:00, 1.11MB/s]
    100%|██████████████████████████████████████▉| 104M/104M [01:21<00:00, 1.10MB/s]
    100%|██████████████████████████████████████▉| 104M/104M [01:21<00:00, 1.09MB/s]
    100%|██████████████████████████████████████▉| 104M/104M [01:21<00:00, 1.08MB/s]
      0%|                                               | 0.00/104M [00:00<?, ?B/s]
    100%|████████████████████████████████████████| 104M/104M [00:00<00:00, 478GB/s]

    [<Axes: title={'center': 'Original'}, xlabel='kx axis ($A^{-1}$)', ylabel='ky axis ($A^{-1}$)'>, <Axes: title={'center': 'GaussFilt(all)'}, xlabel='kx axis ($A^{-1}$)', ylabel='ky axis ($A^{-1}$)'>, <Axes: title={'center': 'GaussFilt(real space)'}, xlabel='kx axis ($A^{-1}$)', ylabel='ky axis ($A^{-1}$)'>]



.. GENERATED FROM PYTHON SOURCE LINES 34-53

.. code-block:: Python

    """
    The `filter` function can also be used with a custom function as long as the function
    takes a numpy array as input and returns a numpy array of the same shape.
    """


    def custom_filter(array):
        filtered = gaussian_filter(array, sigma=1.0)
        return filtered - np.mean(filtered)


    s_filtered3 = s.filter(custom_filter, inplace=False)  # Custom filter

    hs.plot.plot_images(
        [s.inav[10, 10], s_filtered3.inav[10, 10]],
        label=["Original", "GaussFilt(Custom)"],
        tight_layout=True,
        vmax="99th",
    )



.. image-sg:: /examples/processing/images/sphx_glr_filtering_data_002.png
   :alt: Original, GaussFilt(Custom)
   :srcset: /examples/processing/images/sphx_glr_filtering_data_002.png
   :class: sphx-glr-single-img


.. rst-class:: sphx-glr-script-out

 .. code-block:: none


    [<Axes: title={'center': 'Original'}, xlabel='kx axis ($A^{-1}$)', ylabel='ky axis ($A^{-1}$)'>, <Axes: title={'center': 'GaussFilt(Custom)'}, xlabel='kx axis ($A^{-1}$)', ylabel='ky axis ($A^{-1}$)'>]



.. GENERATED FROM PYTHON SOURCE LINES 54-72

.. code-block:: Python


    """
    For lazy datasets, functions which operate on dask arrays can be used. For example,
    the `gaussian_filter` function from `scipy.ndimage` is replaced with the `dask_image`
    version which operates on dask arrays.
    """

    s = s.as_lazy()  # Convert to lazy dataset
    s_filtered4 = s.filter(
        dask_gaussian_filter, sigma=1.0, inplace=False
    )  # Gaussian filter with sigma=1.0

    hs.plot.plot_images(
        [s_filtered.inav[10, 10], s_filtered4.inav[10, 10]],
        label=["GaussFilt", "GaussFilt(Lazy)"],
        tight_layout=True,
        vmax="99th",
    )



.. image-sg:: /examples/processing/images/sphx_glr_filtering_data_003.png
   :alt: GaussFilt, GaussFilt(Lazy)
   :srcset: /examples/processing/images/sphx_glr_filtering_data_003.png
   :class: sphx-glr-single-img


.. rst-class:: sphx-glr-script-out

 .. code-block:: none


    [<Axes: title={'center': 'GaussFilt'}, xlabel='kx axis ($A^{-1}$)', ylabel='ky axis ($A^{-1}$)'>, <Axes: title={'center': 'GaussFilt(Lazy)'}, xlabel='kx axis ($A^{-1}$)', ylabel='ky axis ($A^{-1}$)'>]




.. rst-class:: sphx-glr-timing

   **Total running time of the script:** (1 minutes 45.310 seconds)


.. _sphx_glr_download_examples_processing_filtering_data.py:

.. only:: html

  .. container:: sphx-glr-footer sphx-glr-footer-example

    .. container:: sphx-glr-download sphx-glr-download-jupyter

      :download:`Download Jupyter notebook: filtering_data.ipynb <filtering_data.ipynb>`

    .. container:: sphx-glr-download sphx-glr-download-python

      :download:`Download Python source code: filtering_data.py <filtering_data.py>`


.. only:: html

 .. rst-class:: sphx-glr-signature

    `Gallery generated by Sphinx-Gallery <https://sphinx-gallery.github.io>`_