Note
Go to the end to download the full example code.
Filtering Data#
If you have a low number of counts in your data, you may want to filter the data to remove noise. This can be done using the filter function which applies some function to the entire dataset and returns a filtered dataset of the same shape.
from scipy.ndimage import gaussian_filter
from dask_image.ndfilters import gaussian_filter as dask_gaussian_filter
import pyxem as pxm
import hyperspy.api as hs
import numpy as np
s = pxm.data.mgo_nanocrystals(allow_download=True) # MgO nanocrystals dataset
s_filtered = s.filter(
gaussian_filter, sigma=1.0, inplace=False
) # Gaussian filter with sigma=1.0
s_filtered2 = s.filter(
gaussian_filter, sigma=(1.0, 1.0, 0, 0), inplace=False
) # Only filter in real space
hs.plot.plot_images(
[s.inav[10, 10], s_filtered.inav[10, 10], s_filtered2.inav[10, 10]],
label=["Original", "GaussFilt(all)", "GaussFilt(real space)"],
tight_layout=True,
vmax="99th",
)
0%| | 0.00/104M [00:00<?, ?B/s]
0%| | 14.3k/104M [00:00<12:40, 137kB/s]
0%| | 41.0k/104M [00:00<08:23, 207kB/s]
0%| | 119k/104M [00:00<03:50, 452kB/s]
0%| | 249k/104M [00:00<02:15, 767kB/s]
0%|▏ | 516k/104M [00:00<01:13, 1.42MB/s]
1%|▍ | 1.04M/104M [00:00<00:38, 2.65MB/s]
2%|▊ | 2.10M/104M [00:00<00:26, 3.85MB/s]
3%|█▎ | 3.65M/104M [00:00<00:14, 6.71MB/s]
5%|█▊ | 5.06M/104M [00:01<00:11, 8.57MB/s]
6%|██▍ | 6.55M/104M [00:01<00:09, 10.0MB/s]
7%|██▊ | 7.59M/104M [00:01<00:11, 8.22MB/s]
8%|███▏ | 8.69M/104M [00:01<00:10, 8.88MB/s]
9%|███▌ | 9.65M/104M [00:01<00:13, 7.10MB/s]
11%|████ | 11.2M/104M [00:01<00:10, 8.93MB/s]
12%|████▍ | 12.2M/104M [00:01<00:10, 8.99MB/s]
13%|████▊ | 13.2M/104M [00:01<00:10, 8.87MB/s]
14%|█████▏ | 14.2M/104M [00:02<00:10, 8.64MB/s]
14%|█████▍ | 15.1M/104M [00:02<00:15, 5.91MB/s]
16%|█████▉ | 16.3M/104M [00:02<00:12, 7.13MB/s]
16%|██████▎ | 17.2M/104M [00:02<00:12, 7.07MB/s]
17%|██████▌ | 18.0M/104M [00:02<00:13, 6.18MB/s]
18%|██████▊ | 18.7M/104M [00:02<00:13, 6.20MB/s]
19%|███████ | 19.4M/104M [00:03<00:14, 5.98MB/s]
19%|███████▎ | 20.0M/104M [00:03<00:17, 4.79MB/s]
20%|███████▌ | 20.7M/104M [00:03<00:15, 5.27MB/s]
20%|███████▊ | 21.3M/104M [00:03<00:16, 5.14MB/s]
21%|███████▉ | 21.9M/104M [00:03<00:17, 4.77MB/s]
21%|████████▏ | 22.4M/104M [00:03<00:18, 4.42MB/s]
22%|████████▎ | 22.8M/104M [00:03<00:18, 4.35MB/s]
22%|████████▍ | 23.3M/104M [00:03<00:18, 4.32MB/s]
23%|████████▋ | 23.7M/104M [00:04<00:18, 4.30MB/s]
23%|████████▊ | 24.2M/104M [00:04<00:18, 4.32MB/s]
24%|████████▉ | 24.6M/104M [00:04<00:18, 4.33MB/s]
24%|█████████ | 25.0M/104M [00:04<00:18, 4.33MB/s]
24%|█████████▎ | 25.5M/104M [00:04<00:18, 4.31MB/s]
25%|█████████▍ | 25.9M/104M [00:04<00:18, 4.33MB/s]
25%|█████████▌ | 26.4M/104M [00:04<00:17, 4.39MB/s]
26%|█████████▊ | 26.9M/104M [00:04<00:17, 4.41MB/s]
26%|█████████▉ | 27.3M/104M [00:04<00:17, 4.46MB/s]
27%|██████████▏ | 27.8M/104M [00:04<00:17, 4.45MB/s]
27%|██████████▎ | 28.3M/104M [00:05<00:16, 4.49MB/s]
28%|██████████▍ | 28.7M/104M [00:05<00:16, 4.51MB/s]
28%|██████████▋ | 29.2M/104M [00:05<00:19, 3.82MB/s]
29%|██████████▉ | 29.9M/104M [00:05<00:16, 4.59MB/s]
29%|███████████ | 30.4M/104M [00:05<00:18, 4.02MB/s]
30%|███████████▏ | 30.8M/104M [00:05<00:18, 3.93MB/s]
30%|███████████▍ | 31.2M/104M [00:05<00:19, 3.82MB/s]
30%|███████████▌ | 31.6M/104M [00:05<00:19, 3.77MB/s]
31%|███████████▋ | 32.0M/104M [00:06<00:19, 3.70MB/s]
31%|███████████▊ | 32.4M/104M [00:06<00:19, 3.62MB/s]
31%|███████████▉ | 32.7M/104M [00:06<00:19, 3.60MB/s]
32%|████████████ | 33.1M/104M [00:06<00:19, 3.57MB/s]
32%|████████████▏ | 33.5M/104M [00:06<00:19, 3.59MB/s]
32%|████████████▎ | 33.9M/104M [00:06<00:19, 3.60MB/s]
33%|████████████▍ | 34.2M/104M [00:06<00:19, 3.61MB/s]
33%|████████████▌ | 34.6M/104M [00:06<00:19, 3.61MB/s]
34%|████████████▊ | 35.0M/104M [00:06<00:18, 3.66MB/s]
34%|████████████▉ | 35.4M/104M [00:07<00:18, 3.65MB/s]
34%|█████████████ | 35.8M/104M [00:07<00:18, 3.69MB/s]
35%|█████████████▏ | 36.2M/104M [00:07<00:18, 3.71MB/s]
35%|█████████████▎ | 36.5M/104M [00:07<00:18, 3.69MB/s]
35%|█████████████▍ | 36.9M/104M [00:07<00:18, 3.71MB/s]
36%|█████████████▌ | 37.3M/104M [00:07<00:17, 3.73MB/s]
36%|█████████████▊ | 37.7M/104M [00:07<00:17, 3.79MB/s]
37%|█████████████▉ | 38.1M/104M [00:07<00:17, 3.79MB/s]
37%|██████████████ | 38.5M/104M [00:07<00:17, 3.79MB/s]
37%|██████████████▏ | 38.9M/104M [00:07<00:17, 3.79MB/s]
38%|██████████████▎ | 39.3M/104M [00:08<00:16, 3.83MB/s]
38%|██████████████▍ | 39.7M/104M [00:08<00:16, 3.82MB/s]
38%|██████████████▌ | 40.1M/104M [00:08<00:16, 3.85MB/s]
39%|██████████████▊ | 40.5M/104M [00:08<00:16, 3.84MB/s]
39%|██████████████▉ | 40.9M/104M [00:08<00:16, 3.87MB/s]
40%|███████████████ | 41.3M/104M [00:08<00:16, 3.88MB/s]
40%|███████████████▏ | 41.7M/104M [00:08<00:16, 3.90MB/s]
40%|███████████████▎ | 42.2M/104M [00:08<00:15, 3.91MB/s]
41%|███████████████▌ | 42.6M/104M [00:08<00:15, 3.92MB/s]
41%|███████████████▋ | 43.0M/104M [00:08<00:15, 3.89MB/s]
42%|███████████████▊ | 43.4M/104M [00:09<00:15, 3.90MB/s]
42%|███████████████▉ | 43.8M/104M [00:09<00:15, 3.92MB/s]
42%|████████████████ | 44.2M/104M [00:09<00:15, 3.92MB/s]
43%|████████████████▏ | 44.6M/104M [00:09<00:15, 3.93MB/s]
43%|████████████████▍ | 45.0M/104M [00:09<00:15, 3.92MB/s]
44%|████████████████▌ | 45.4M/104M [00:09<00:15, 3.92MB/s]
44%|████████████████▋ | 45.8M/104M [00:09<00:14, 3.92MB/s]
44%|████████████████▊ | 46.2M/104M [00:09<00:14, 3.93MB/s]
45%|████████████████▉ | 46.6M/104M [00:09<00:14, 3.94MB/s]
45%|█████████████████▏ | 47.0M/104M [00:10<00:14, 3.94MB/s]
45%|█████████████████▎ | 47.5M/104M [00:10<00:14, 3.94MB/s]
46%|█████████████████▍ | 47.9M/104M [00:10<00:14, 3.94MB/s]
46%|█████████████████▌ | 48.3M/104M [00:10<00:14, 3.93MB/s]
47%|█████████████████▋ | 48.7M/104M [00:10<00:14, 3.85MB/s]
47%|█████████████████▉ | 49.1M/104M [00:10<00:14, 3.88MB/s]
47%|██████████████████ | 49.5M/104M [00:10<00:14, 3.84MB/s]
48%|██████████████████▏ | 49.9M/104M [00:10<00:18, 2.88MB/s]
48%|██████████████████▍ | 50.5M/104M [00:10<00:14, 3.69MB/s]
49%|██████████████████▌ | 50.9M/104M [00:11<00:16, 3.17MB/s]
49%|██████████████████▋ | 51.3M/104M [00:11<00:16, 3.14MB/s]
50%|██████████████████▊ | 51.6M/104M [00:11<00:16, 3.15MB/s]
50%|██████████████████▉ | 52.0M/104M [00:11<00:16, 3.16MB/s]
50%|███████████████████ | 52.3M/104M [00:11<00:16, 3.16MB/s]
50%|███████████████████▏ | 52.6M/104M [00:11<00:16, 3.15MB/s]
51%|███████████████████▎ | 52.9M/104M [00:11<00:16, 3.14MB/s]
51%|███████████████████▍ | 53.3M/104M [00:11<00:16, 3.14MB/s]
51%|███████████████████▌ | 53.6M/104M [00:12<00:16, 3.13MB/s]
52%|███████████████████▋ | 53.9M/104M [00:12<00:16, 3.12MB/s]
52%|███████████████████▊ | 54.2M/104M [00:12<00:15, 3.18MB/s]
52%|███████████████████▉ | 54.6M/104M [00:12<00:15, 3.25MB/s]
53%|████████████████████ | 54.9M/104M [00:12<00:15, 3.25MB/s]
53%|████████████████████▏ | 55.3M/104M [00:12<00:14, 3.30MB/s]
53%|████████████████████▎ | 55.6M/104M [00:12<00:20, 2.35MB/s]
54%|████████████████████▍ | 56.2M/104M [00:12<00:14, 3.31MB/s]
54%|████████████████████▋ | 56.6M/104M [00:12<00:14, 3.22MB/s]
55%|████████████████████▊ | 57.0M/104M [00:13<00:16, 2.81MB/s]
55%|████████████████████▉ | 57.3M/104M [00:13<00:16, 2.79MB/s]
55%|████████████████████▉ | 57.6M/104M [00:13<00:16, 2.82MB/s]
56%|█████████████████████ | 57.9M/104M [00:13<00:16, 2.83MB/s]
56%|█████████████████████▏ | 58.2M/104M [00:13<00:16, 2.73MB/s]
56%|█████████████████████▎ | 58.5M/104M [00:13<00:23, 1.96MB/s]
57%|█████████████████████▍ | 58.9M/104M [00:13<00:17, 2.53MB/s]
57%|█████████████████████▌ | 59.2M/104M [00:14<00:20, 2.19MB/s]
57%|█████████████████████▋ | 59.5M/104M [00:14<00:19, 2.24MB/s]
57%|█████████████████████▊ | 59.8M/104M [00:14<00:20, 2.20MB/s]
58%|█████████████████████▊ | 60.0M/104M [00:14<00:22, 2.00MB/s]
58%|█████████████████████▉ | 60.2M/104M [00:14<00:21, 2.02MB/s]
58%|██████████████████████ | 60.4M/104M [00:14<00:21, 2.03MB/s]
58%|██████████████████████ | 60.6M/104M [00:14<00:21, 2.02MB/s]
58%|██████████████████████▏ | 60.9M/104M [00:14<00:21, 2.04MB/s]
59%|██████████████████████▎ | 61.1M/104M [00:15<00:21, 2.05MB/s]
59%|██████████████████████▎ | 61.3M/104M [00:15<00:20, 2.08MB/s]
59%|██████████████████████▍ | 61.6M/104M [00:15<00:20, 2.11MB/s]
59%|██████████████████████▌ | 61.8M/104M [00:15<00:20, 2.11MB/s]
59%|██████████████████████▌ | 62.0M/104M [00:15<00:19, 2.14MB/s]
60%|██████████████████████▋ | 62.2M/104M [00:15<00:19, 2.15MB/s]
60%|██████████████████████▊ | 62.5M/104M [00:15<00:19, 2.17MB/s]
60%|██████████████████████▊ | 62.7M/104M [00:15<00:18, 2.22MB/s]
60%|██████████████████████▉ | 62.9M/104M [00:15<00:18, 2.22MB/s]
61%|███████████████████████ | 63.2M/104M [00:15<00:18, 2.22MB/s]
61%|███████████████████████ | 63.4M/104M [00:16<00:18, 2.26MB/s]
61%|███████████████████████▏ | 63.6M/104M [00:16<00:18, 2.24MB/s]
61%|███████████████████████▎ | 63.9M/104M [00:16<00:17, 2.28MB/s]
61%|███████████████████████▎ | 64.1M/104M [00:16<00:17, 2.26MB/s]
62%|███████████████████████▍ | 64.4M/104M [00:16<00:17, 2.29MB/s]
62%|███████████████████████▌ | 64.6M/104M [00:16<00:17, 2.27MB/s]
62%|███████████████████████▌ | 64.8M/104M [00:16<00:17, 2.30MB/s]
62%|███████████████████████▋ | 65.1M/104M [00:16<00:17, 2.28MB/s]
63%|███████████████████████▊ | 65.3M/104M [00:16<00:16, 2.29MB/s]
63%|███████████████████████▉ | 65.6M/104M [00:17<00:16, 2.32MB/s]
63%|███████████████████████▉ | 65.8M/104M [00:17<00:16, 2.30MB/s]
63%|████████████████████████ | 66.0M/104M [00:17<00:16, 2.30MB/s]
64%|████████████████████████▏ | 66.3M/104M [00:17<00:16, 2.29MB/s]
64%|████████████████████████▏ | 66.5M/104M [00:17<00:16, 2.30MB/s]
64%|████████████████████████▎ | 66.7M/104M [00:17<00:16, 2.25MB/s]
64%|████████████████████████▍ | 67.0M/104M [00:17<00:17, 2.16MB/s]
64%|████████████████████████▍ | 67.2M/104M [00:17<00:16, 2.21MB/s]
65%|████████████████████████▌ | 67.5M/104M [00:17<00:16, 2.25MB/s]
65%|████████████████████████▋ | 67.7M/104M [00:17<00:16, 2.25MB/s]
65%|████████████████████████▋ | 67.9M/104M [00:18<00:16, 2.24MB/s]
65%|████████████████████████▊ | 68.2M/104M [00:18<00:15, 2.28MB/s]
66%|████████████████████████▉ | 68.4M/104M [00:18<00:15, 2.26MB/s]
66%|█████████████████████████ | 68.6M/104M [00:18<00:15, 2.29MB/s]
66%|█████████████████████████ | 68.9M/104M [00:18<00:15, 2.28MB/s]
66%|█████████████████████████▏ | 69.1M/104M [00:18<00:15, 2.29MB/s]
67%|█████████████████████████▎ | 69.4M/104M [00:18<00:15, 2.30MB/s]
67%|█████████████████████████▎ | 69.6M/104M [00:18<00:15, 2.30MB/s]
67%|█████████████████████████▍ | 69.8M/104M [00:18<00:15, 2.28MB/s]
67%|█████████████████████████▌ | 70.1M/104M [00:19<00:14, 2.30MB/s]
67%|█████████████████████████▌ | 70.3M/104M [00:19<00:14, 2.28MB/s]
68%|█████████████████████████▋ | 70.6M/104M [00:19<00:14, 2.30MB/s]
68%|█████████████████████████▊ | 70.8M/104M [00:19<00:14, 2.32MB/s]
68%|█████████████████████████▉ | 71.0M/104M [00:19<00:14, 2.30MB/s]
68%|█████████████████████████▉ | 71.3M/104M [00:19<00:14, 2.30MB/s]
69%|██████████████████████████ | 71.5M/104M [00:19<00:14, 2.31MB/s]
69%|██████████████████████████▏ | 71.8M/104M [00:19<00:14, 2.31MB/s]
69%|██████████████████████████▏ | 72.0M/104M [00:19<00:14, 2.29MB/s]
69%|██████████████████████████▎ | 72.2M/104M [00:19<00:14, 2.26MB/s]
70%|██████████████████████████▍ | 72.5M/104M [00:20<00:13, 2.28MB/s]
70%|██████████████████████████▍ | 72.7M/104M [00:20<00:13, 2.27MB/s]
70%|██████████████████████████▌ | 73.0M/104M [00:20<00:13, 2.30MB/s]
70%|██████████████████████████▋ | 73.2M/104M [00:20<00:13, 2.31MB/s]
70%|██████████████████████████▊ | 73.5M/104M [00:20<00:13, 2.33MB/s]
71%|██████████████████████████▊ | 73.7M/104M [00:20<00:16, 1.89MB/s]
71%|███████████████████████████ | 74.1M/104M [00:20<00:13, 2.27MB/s]
71%|███████████████████████████ | 74.3M/104M [00:20<00:14, 2.12MB/s]
71%|███████████████████████████▏ | 74.6M/104M [00:21<00:14, 2.04MB/s]
72%|███████████████████████████▏ | 74.8M/104M [00:21<00:19, 1.50MB/s]
72%|███████████████████████████▍ | 75.1M/104M [00:21<00:14, 1.96MB/s]
72%|███████████████████████████▍ | 75.4M/104M [00:21<00:17, 1.64MB/s]
72%|███████████████████████████▌ | 75.6M/104M [00:21<00:17, 1.67MB/s]
73%|███████████████████████████▌ | 75.8M/104M [00:21<00:20, 1.36MB/s]
73%|███████████████████████████▋ | 75.9M/104M [00:22<00:20, 1.38MB/s]
73%|███████████████████████████▋ | 76.1M/104M [00:22<00:20, 1.41MB/s]
73%|███████████████████████████▊ | 76.2M/104M [00:22<00:19, 1.41MB/s]
73%|███████████████████████████▊ | 76.4M/104M [00:22<00:19, 1.42MB/s]
73%|███████████████████████████▉ | 76.5M/104M [00:22<00:19, 1.39MB/s]
74%|███████████████████████████▉ | 76.7M/104M [00:22<00:20, 1.36MB/s]
74%|███████████████████████████▉ | 76.8M/104M [00:22<00:20, 1.35MB/s]
74%|████████████████████████████ | 77.0M/104M [00:22<00:26, 1.02MB/s]
74%|████████████████████████████▏ | 77.2M/104M [00:23<00:19, 1.39MB/s]
74%|████████████████████████████▏ | 77.4M/104M [00:23<00:19, 1.41MB/s]
74%|████████████████████████████▎ | 77.5M/104M [00:23<00:19, 1.41MB/s]
74%|████████████████████████████▎ | 77.7M/104M [00:23<00:23, 1.15MB/s]
75%|████████████████████████████▎ | 77.8M/104M [00:23<00:22, 1.17MB/s]
75%|████████████████████████████▍ | 78.0M/104M [00:23<00:22, 1.18MB/s]
75%|████████████████████████████▍ | 78.1M/104M [00:23<00:22, 1.19MB/s]
75%|████████████████████████████▍ | 78.2M/104M [00:23<00:21, 1.19MB/s]
75%|████████████████████████████▌ | 78.3M/104M [00:23<00:21, 1.19MB/s]
75%|████████████████████████████▌ | 78.4M/104M [00:24<00:21, 1.18MB/s]
75%|████████████████████████████▋ | 78.6M/104M [00:24<00:22, 1.15MB/s]
75%|█████████████████████████████▍ | 78.7M/104M [00:24<00:25, 995kB/s]
76%|████████████████████████████▋ | 78.9M/104M [00:24<00:20, 1.22MB/s]
76%|████████████████████████████▊ | 79.0M/104M [00:24<00:24, 1.02MB/s]
76%|████████████████████████████▊ | 79.1M/104M [00:24<00:24, 1.02MB/s]
76%|█████████████████████████████▋ | 79.2M/104M [00:24<00:25, 997kB/s]
76%|█████████████████████████████▋ | 79.3M/104M [00:24<00:24, 999kB/s]
76%|████████████████████████████▉ | 79.4M/104M [00:25<00:24, 1.00MB/s]
76%|█████████████████████████████▋ | 79.5M/104M [00:25<00:25, 987kB/s]
76%|█████████████████████████████▊ | 79.6M/104M [00:25<00:25, 984kB/s]
76%|█████████████████████████████▊ | 79.7M/104M [00:25<00:24, 987kB/s]
77%|█████████████████████████████▊ | 79.8M/104M [00:25<00:24, 995kB/s]
77%|█████████████████████████████▉ | 79.9M/104M [00:25<00:24, 997kB/s]
77%|█████████████████████████████▏ | 80.1M/104M [00:25<00:23, 1.01MB/s]
77%|█████████████████████████████▏ | 80.2M/104M [00:25<00:23, 1.03MB/s]
77%|█████████████████████████████▎ | 80.3M/104M [00:25<00:23, 1.03MB/s]
77%|█████████████████████████████▎ | 80.4M/104M [00:25<00:23, 1.03MB/s]
77%|█████████████████████████████▎ | 80.5M/104M [00:26<00:22, 1.04MB/s]
77%|█████████████████████████████▎ | 80.6M/104M [00:26<00:22, 1.06MB/s]
77%|█████████████████████████████▍ | 80.7M/104M [00:26<00:22, 1.06MB/s]
78%|█████████████████████████████▍ | 80.8M/104M [00:26<00:22, 1.05MB/s]
78%|█████████████████████████████▍ | 80.9M/104M [00:26<00:22, 1.06MB/s]
78%|█████████████████████████████▌ | 81.1M/104M [00:26<00:22, 1.05MB/s]
78%|█████████████████████████████▌ | 81.2M/104M [00:26<00:22, 1.03MB/s]
78%|█████████████████████████████▌ | 81.3M/104M [00:26<00:22, 1.02MB/s]
78%|█████████████████████████████▋ | 81.4M/104M [00:26<00:21, 1.04MB/s]
78%|█████████████████████████████▋ | 81.5M/104M [00:27<00:21, 1.06MB/s]
78%|█████████████████████████████▋ | 81.6M/104M [00:27<00:21, 1.07MB/s]
78%|█████████████████████████████▊ | 81.7M/104M [00:27<00:21, 1.06MB/s]
78%|█████████████████████████████▊ | 81.8M/104M [00:27<00:21, 1.05MB/s]
79%|█████████████████████████████▊ | 81.9M/104M [00:27<00:21, 1.06MB/s]
79%|█████████████████████████████▉ | 82.1M/104M [00:27<00:20, 1.07MB/s]
79%|█████████████████████████████▉ | 82.2M/104M [00:27<00:20, 1.08MB/s]
79%|█████████████████████████████▉ | 82.3M/104M [00:27<00:20, 1.08MB/s]
79%|██████████████████████████████ | 82.4M/104M [00:27<00:20, 1.06MB/s]
79%|██████████████████████████████ | 82.5M/104M [00:27<00:21, 1.01MB/s]
79%|██████████████████████████████▉ | 82.6M/104M [00:28<00:27, 785kB/s]
79%|██████████████████████████████▏ | 82.8M/104M [00:28<00:20, 1.05MB/s]
80%|███████████████████████████████ | 82.9M/104M [00:28<00:23, 927kB/s]
80%|███████████████████████████████ | 83.0M/104M [00:28<00:22, 939kB/s]
80%|███████████████████████████████ | 83.1M/104M [00:28<00:23, 918kB/s]
80%|███████████████████████████████ | 83.2M/104M [00:28<00:30, 688kB/s]
80%|███████████████████████████████▏ | 83.4M/104M [00:29<00:23, 880kB/s]
80%|███████████████████████████████▏ | 83.5M/104M [00:29<00:27, 760kB/s]
80%|███████████████████████████████▎ | 83.6M/104M [00:29<00:26, 773kB/s]
80%|███████████████████████████████▎ | 83.7M/104M [00:29<00:26, 775kB/s]
80%|███████████████████████████████▎ | 83.8M/104M [00:29<00:26, 764kB/s]
80%|███████████████████████████████▎ | 83.8M/104M [00:29<00:27, 736kB/s]
80%|███████████████████████████████▍ | 83.9M/104M [00:29<00:27, 748kB/s]
81%|███████████████████████████████▍ | 84.0M/104M [00:29<00:27, 751kB/s]
81%|███████████████████████████████▍ | 84.1M/104M [00:30<00:27, 746kB/s]
81%|███████████████████████████████▍ | 84.1M/104M [00:30<00:27, 741kB/s]
81%|███████████████████████████████▍ | 84.2M/104M [00:30<00:26, 749kB/s]
81%|███████████████████████████████▌ | 84.3M/104M [00:30<00:26, 745kB/s]
81%|███████████████████████████████▌ | 84.4M/104M [00:30<00:26, 741kB/s]
81%|███████████████████████████████▌ | 84.5M/104M [00:30<00:26, 744kB/s]
81%|███████████████████████████████▌ | 84.5M/104M [00:30<00:26, 758kB/s]
81%|███████████████████████████████▋ | 84.6M/104M [00:30<00:25, 763kB/s]
81%|███████████████████████████████▋ | 84.7M/104M [00:30<00:25, 770kB/s]
81%|███████████████████████████████▋ | 84.8M/104M [00:30<00:25, 774kB/s]
81%|███████████████████████████████▋ | 84.9M/104M [00:31<00:24, 779kB/s]
81%|███████████████████████████████▊ | 84.9M/104M [00:31<00:24, 781kB/s]
82%|███████████████████████████████▊ | 85.0M/104M [00:31<00:24, 781kB/s]
82%|███████████████████████████████▊ | 85.1M/104M [00:31<00:24, 775kB/s]
82%|███████████████████████████████▊ | 85.2M/104M [00:31<00:24, 788kB/s]
82%|███████████████████████████████▉ | 85.3M/104M [00:31<00:24, 789kB/s]
82%|███████████████████████████████▉ | 85.4M/104M [00:31<00:25, 756kB/s]
82%|███████████████████████████████▉ | 85.4M/104M [00:31<00:33, 558kB/s]
82%|███████████████████████████████▉ | 85.6M/104M [00:32<00:26, 698kB/s]
82%|████████████████████████████████ | 85.6M/104M [00:32<00:26, 711kB/s]
82%|████████████████████████████████ | 85.7M/104M [00:32<00:29, 632kB/s]
82%|████████████████████████████████ | 85.8M/104M [00:32<00:28, 644kB/s]
82%|████████████████████████████████ | 85.8M/104M [00:32<00:28, 645kB/s]
82%|████████████████████████████████▏ | 85.9M/104M [00:32<00:28, 650kB/s]
82%|████████████████████████████████▏ | 86.0M/104M [00:32<00:28, 650kB/s]
83%|████████████████████████████████▏ | 86.1M/104M [00:32<00:36, 498kB/s]
83%|████████████████████████████████▏ | 86.2M/104M [00:33<00:29, 619kB/s]
83%|████████████████████████████████▏ | 86.2M/104M [00:33<00:28, 630kB/s]
83%|████████████████████████████████▎ | 86.3M/104M [00:33<00:39, 451kB/s]
83%|████████████████████████████████▎ | 86.4M/104M [00:33<00:38, 468kB/s]
83%|████████████████████████████████▎ | 86.4M/104M [00:33<00:54, 329kB/s]
83%|████████████████████████████████▎ | 86.5M/104M [00:33<00:49, 362kB/s]
83%|████████████████████████████████▎ | 86.5M/104M [00:34<00:47, 375kB/s]
83%|████████████████████████████████▎ | 86.6M/104M [00:34<00:54, 326kB/s]
83%|████████████████████████████████▍ | 86.6M/104M [00:34<00:54, 323kB/s]
83%|████████████████████████████████▍ | 86.6M/104M [00:34<00:55, 317kB/s]
83%|████████████████████████████████▍ | 86.7M/104M [00:34<00:56, 313kB/s]
83%|████████████████████████████████▍ | 86.7M/104M [00:34<00:55, 316kB/s]
83%|████████████████████████████████▍ | 86.7M/104M [00:34<00:56, 310kB/s]
83%|████████████████████████████████▍ | 86.8M/104M [00:34<01:01, 286kB/s]
83%|████████████████████████████████▍ | 86.8M/104M [00:35<01:01, 283kB/s]
83%|████████████████████████████████▍ | 86.8M/104M [00:35<01:14, 235kB/s]
83%|████████████████████████████████▍ | 86.9M/104M [00:35<01:06, 262kB/s]
83%|████████████████████████████████▌ | 86.9M/104M [00:35<01:06, 263kB/s]
83%|████████████████████████████████▌ | 87.0M/104M [00:35<01:05, 266kB/s]
83%|████████████████████████████████▌ | 87.0M/104M [00:35<01:06, 260kB/s]
83%|████████████████████████████████▌ | 87.0M/104M [00:35<01:08, 253kB/s]
83%|████████████████████████████████▌ | 87.0M/104M [00:36<01:07, 257kB/s]
83%|████████████████████████████████▌ | 87.1M/104M [00:36<01:03, 273kB/s]
84%|████████████████████████████████▌ | 87.1M/104M [00:36<01:00, 284kB/s]
84%|████████████████████████████████▌ | 87.1M/104M [00:36<00:58, 294kB/s]
84%|████████████████████████████████▌ | 87.2M/104M [00:36<00:56, 301kB/s]
84%|████████████████████████████████▌ | 87.2M/104M [00:36<00:56, 305kB/s]
84%|████████████████████████████████▌ | 87.2M/104M [00:36<00:55, 306kB/s]
84%|████████████████████████████████▋ | 87.3M/104M [00:36<00:54, 310kB/s]
84%|████████████████████████████████▋ | 87.3M/104M [00:36<00:54, 312kB/s]
84%|████████████████████████████████▋ | 87.3M/104M [00:36<00:54, 313kB/s]
84%|████████████████████████████████▋ | 87.4M/104M [00:37<00:47, 358kB/s]
84%|████████████████████████████████▋ | 87.4M/104M [00:37<00:47, 355kB/s]
84%|████████████████████████████████▋ | 87.5M/104M [00:37<00:47, 353kB/s]
84%|████████████████████████████████▋ | 87.5M/104M [00:37<00:47, 351kB/s]
84%|████████████████████████████████▋ | 87.5M/104M [00:37<00:47, 350kB/s]
84%|████████████████████████████████▋ | 87.6M/104M [00:37<00:47, 349kB/s]
84%|████████████████████████████████▊ | 87.6M/104M [00:37<00:47, 350kB/s]
84%|████████████████████████████████▊ | 87.6M/104M [00:37<00:47, 350kB/s]
84%|████████████████████████████████▊ | 87.7M/104M [00:37<00:45, 367kB/s]
84%|████████████████████████████████▊ | 87.7M/104M [00:38<00:45, 366kB/s]
84%|████████████████████████████████▊ | 87.8M/104M [00:38<00:43, 383kB/s]
84%|████████████████████████████████▊ | 87.8M/104M [00:38<00:43, 381kB/s]
84%|████████████████████████████████▊ | 87.8M/104M [00:38<00:42, 391kB/s]
84%|████████████████████████████████▊ | 87.9M/104M [00:38<00:39, 415kB/s]
84%|████████████████████████████████▉ | 87.9M/104M [00:38<00:39, 413kB/s]
84%|████████████████████████████████▉ | 88.0M/104M [00:38<00:39, 410kB/s]
84%|████████████████████████████████▉ | 88.0M/104M [00:38<00:38, 422kB/s]
84%|████████████████████████████████▉ | 88.1M/104M [00:38<00:37, 438kB/s]
84%|████████████████████████████████▉ | 88.1M/104M [00:38<00:36, 449kB/s]
85%|████████████████████████████████▉ | 88.2M/104M [00:39<00:35, 457kB/s]
85%|████████████████████████████████▉ | 88.2M/104M [00:39<00:34, 462kB/s]
85%|█████████████████████████████████ | 88.3M/104M [00:39<00:34, 465kB/s]
85%|█████████████████████████████████ | 88.3M/104M [00:39<00:34, 466kB/s]
85%|█████████████████████████████████ | 88.4M/104M [00:39<00:33, 469kB/s]
85%|█████████████████████████████████ | 88.4M/104M [00:39<00:30, 513kB/s]
85%|█████████████████████████████████ | 88.5M/104M [00:39<00:30, 510kB/s]
85%|█████████████████████████████████ | 88.5M/104M [00:39<00:30, 509kB/s]
85%|█████████████████████████████████▏ | 88.6M/104M [00:39<00:31, 505kB/s]
85%|█████████████████████████████████▏ | 88.6M/104M [00:39<00:30, 519kB/s]
85%|█████████████████████████████████▏ | 88.7M/104M [00:40<00:30, 516kB/s]
85%|█████████████████████████████████▏ | 88.8M/104M [00:40<00:28, 539kB/s]
85%|█████████████████████████████████▏ | 88.8M/104M [00:40<00:28, 538kB/s]
85%|█████████████████████████████████▏ | 88.9M/104M [00:40<00:28, 547kB/s]
85%|█████████████████████████████████▎ | 88.9M/104M [00:40<00:28, 545kB/s]
85%|█████████████████████████████████▎ | 89.0M/104M [00:40<00:27, 553kB/s]
85%|█████████████████████████████████▎ | 89.1M/104M [00:40<00:26, 575kB/s]
85%|█████████████████████████████████▎ | 89.1M/104M [00:40<00:26, 583kB/s]
86%|█████████████████████████████████▎ | 89.2M/104M [00:40<00:25, 590kB/s]
86%|█████████████████████████████████▎ | 89.2M/104M [00:41<00:25, 601kB/s]
86%|█████████████████████████████████▍ | 89.3M/104M [00:41<00:24, 610kB/s]
86%|█████████████████████████████████▍ | 89.4M/104M [00:41<00:24, 613kB/s]
86%|█████████████████████████████████▍ | 89.4M/104M [00:41<00:23, 619kB/s]
86%|█████████████████████████████████▍ | 89.5M/104M [00:41<00:23, 623kB/s]
86%|█████████████████████████████████▍ | 89.6M/104M [00:41<00:23, 626kB/s]
86%|█████████████████████████████████▌ | 89.6M/104M [00:41<00:23, 630kB/s]
86%|█████████████████████████████████▌ | 89.7M/104M [00:41<00:23, 631kB/s]
86%|█████████████████████████████████▌ | 89.8M/104M [00:41<00:23, 616kB/s]
86%|█████████████████████████████████▌ | 89.9M/104M [00:41<00:21, 657kB/s]
86%|█████████████████████████████████▋ | 89.9M/104M [00:42<00:21, 655kB/s]
86%|█████████████████████████████████▋ | 90.0M/104M [00:42<00:21, 654kB/s]
86%|█████████████████████████████████▋ | 90.1M/104M [00:42<00:20, 687kB/s]
86%|█████████████████████████████████▋ | 90.2M/104M [00:42<00:19, 717kB/s]
87%|█████████████████████████████████▋ | 90.2M/104M [00:42<00:19, 737kB/s]
87%|█████████████████████████████████▊ | 90.3M/104M [00:42<00:18, 755kB/s]
87%|█████████████████████████████████▊ | 90.4M/104M [00:42<00:17, 805kB/s]
87%|█████████████████████████████████▊ | 90.5M/104M [00:42<00:17, 804kB/s]
87%|█████████████████████████████████▉ | 90.6M/104M [00:42<00:16, 847kB/s]
87%|█████████████████████████████████▉ | 90.7M/104M [00:43<00:14, 922kB/s]
87%|█████████████████████████████████▉ | 90.8M/104M [00:43<00:14, 932kB/s]
87%|██████████████████████████████████ | 90.9M/104M [00:43<00:13, 981kB/s]
87%|█████████████████████████████████▏ | 91.0M/104M [00:43<00:13, 1.02MB/s]
87%|█████████████████████████████████▏ | 91.2M/104M [00:43<00:12, 1.04MB/s]
88%|█████████████████████████████████▎ | 91.3M/104M [00:43<00:11, 1.11MB/s]
88%|█████████████████████████████████▎ | 91.4M/104M [00:43<00:11, 1.15MB/s]
88%|█████████████████████████████████▎ | 91.6M/104M [00:43<00:10, 1.19MB/s]
88%|█████████████████████████████████▍ | 91.7M/104M [00:43<00:10, 1.25MB/s]
88%|█████████████████████████████████▍ | 91.8M/104M [00:43<00:09, 1.30MB/s]
88%|█████████████████████████████████▌ | 92.0M/104M [00:44<00:09, 1.34MB/s]
88%|█████████████████████████████████▌ | 92.2M/104M [00:44<00:08, 1.41MB/s]
89%|█████████████████████████████████▋ | 92.3M/104M [00:44<00:07, 1.50MB/s]
89%|█████████████████████████████████▋ | 92.5M/104M [00:44<00:07, 1.53MB/s]
89%|█████████████████████████████████▊ | 92.7M/104M [00:44<00:07, 1.59MB/s]
89%|█████████████████████████████████▊ | 92.9M/104M [00:44<00:06, 1.68MB/s]
89%|█████████████████████████████████▉ | 93.1M/104M [00:44<00:06, 1.74MB/s]
89%|█████████████████████████████████▉ | 93.3M/104M [00:44<00:06, 1.79MB/s]
90%|██████████████████████████████████ | 93.5M/104M [00:44<00:05, 1.86MB/s]
90%|██████████████████████████████████▏ | 93.7M/104M [00:45<00:05, 1.96MB/s]
90%|██████████████████████████████████▏ | 93.9M/104M [00:45<00:05, 2.04MB/s]
90%|██████████████████████████████████▎ | 94.2M/104M [00:45<00:04, 2.09MB/s]
91%|██████████████████████████████████▍ | 94.4M/104M [00:45<00:04, 2.17MB/s]
91%|██████████████████████████████████▍ | 94.7M/104M [00:45<00:04, 2.27MB/s]
91%|██████████████████████████████████▌ | 94.9M/104M [00:45<00:03, 2.35MB/s]
91%|██████████████████████████████████▋ | 95.2M/104M [00:45<00:03, 2.44MB/s]
92%|██████████████████████████████████▊ | 95.5M/104M [00:45<00:03, 2.56MB/s]
92%|██████████████████████████████████▉ | 95.8M/104M [00:45<00:03, 2.64MB/s]
92%|███████████████████████████████████ | 96.1M/104M [00:45<00:02, 2.74MB/s]
92%|███████████████████████████████████▏ | 96.4M/104M [00:46<00:02, 2.83MB/s]
93%|███████████████████████████████████▎ | 96.8M/104M [00:46<00:02, 2.92MB/s]
93%|███████████████████████████████████▍ | 97.1M/104M [00:46<00:02, 3.04MB/s]
93%|███████████████████████████████████▌ | 97.5M/104M [00:46<00:02, 3.16MB/s]
94%|███████████████████████████████████▋ | 97.8M/104M [00:46<00:01, 3.26MB/s]
94%|███████████████████████████████████▊ | 98.2M/104M [00:46<00:01, 3.37MB/s]
95%|███████████████████████████████████▉ | 98.6M/104M [00:46<00:01, 3.50MB/s]
95%|████████████████████████████████████ | 99.0M/104M [00:46<00:01, 3.62MB/s]
95%|████████████████████████████████████▏ | 99.4M/104M [00:46<00:01, 3.76MB/s]
96%|████████████████████████████████████▍ | 99.8M/104M [00:46<00:01, 3.84MB/s]
96%|█████████████████████████████████████▍ | 100M/104M [00:47<00:01, 3.01MB/s]
97%|█████████████████████████████████████▊ | 101M/104M [00:47<00:00, 4.03MB/s]
97%|█████████████████████████████████████▉ | 101M/104M [00:47<00:00, 3.68MB/s]
98%|██████████████████████████████████████ | 102M/104M [00:47<00:00, 3.55MB/s]
98%|██████████████████████████████████████▏| 102M/104M [00:47<00:00, 3.44MB/s]
98%|██████████████████████████████████████▎| 103M/104M [00:47<00:00, 3.44MB/s]
99%|██████████████████████████████████████▍| 103M/104M [00:47<00:00, 3.43MB/s]
99%|██████████████████████████████████████▌| 103M/104M [00:47<00:00, 3.42MB/s]
99%|██████████████████████████████████████▋| 104M/104M [00:48<00:00, 3.42MB/s]
100%|██████████████████████████████████████▊| 104M/104M [00:48<00:00, 3.45MB/s]
0%| | 0.00/104M [00:00<?, ?B/s]
100%|████████████████████████████████████████| 104M/104M [00:00<00:00, 319GB/s]
[<Axes: title={'center': 'Original'}, xlabel='kx axis ($A^{-1}$)', ylabel='ky axis ($A^{-1}$)'>, <Axes: title={'center': 'GaussFilt(all)'}, xlabel='kx axis ($A^{-1}$)', ylabel='ky axis ($A^{-1}$)'>, <Axes: title={'center': 'GaussFilt(real space)'}, xlabel='kx axis ($A^{-1}$)', ylabel='ky axis ($A^{-1}$)'>]
"""
The `filter` function can also be used with a custom function as long as the function
takes a numpy array as input and returns a numpy array of the same shape.
"""
def custom_filter(array):
filtered = gaussian_filter(array, sigma=1.0)
return filtered - np.mean(filtered)
s_filtered3 = s.filter(custom_filter, inplace=False) # Custom filter
hs.plot.plot_images(
[s.inav[10, 10], s_filtered3.inav[10, 10]],
label=["Original", "GaussFilt(Custom)"],
tight_layout=True,
vmax="99th",
)
[<Axes: title={'center': 'Original'}, xlabel='kx axis ($A^{-1}$)', ylabel='ky axis ($A^{-1}$)'>, <Axes: title={'center': 'GaussFilt(Custom)'}, xlabel='kx axis ($A^{-1}$)', ylabel='ky axis ($A^{-1}$)'>]
"""
For lazy datasets, functions which operate on dask arrays can be used. For example,
the `gaussian_filter` function from `scipy.ndimage` is replaced with the `dask_image`
version which operates on dask arrays.
"""
s = s.as_lazy() # Convert to lazy dataset
s_filtered4 = s.filter(
dask_gaussian_filter, sigma=1.0, inplace=False
) # Gaussian filter with sigma=1.0
hs.plot.plot_images(
[s_filtered.inav[10, 10], s_filtered4.inav[10, 10]],
label=["GaussFilt", "GaussFilt(Lazy)"],
tight_layout=True,
vmax="99th",
)
[<Axes: title={'center': 'GaussFilt'}, xlabel='kx axis ($A^{-1}$)', ylabel='ky axis ($A^{-1}$)'>, <Axes: title={'center': 'GaussFilt(Lazy)'}, xlabel='kx axis ($A^{-1}$)', ylabel='ky axis ($A^{-1}$)'>]
Total running time of the script: (1 minutes 12.506 seconds)