C# Linq 的三种去重方式（Distinct） |
您所在的位置：网站首页 › 去重单词dis › C# Linq 的三种去重方式（Distinct） |
C# Linq 的三种去重方式（Distinct）
|
前言
关于C#中默认的Distinct方法在什么情况下才能去重，这个就不用我再多讲，针对集合对象去重默认实现将不再满足，于是乎我们需要自定义实现来解决这个问题，接下来我们详细讲解几种常见去重方案，孰好孰歹自行判之。 首先给出我们需要用到的对象，如下： public class Person { public string Name { get; set; } public int Age { get; set; } }接下来我们添加100万条数据到集合中，如下： var list = new List(); for (int i = 0; i Age = 18, Name = "迷恋自留地" }); } for (int i = 0; i Age = 19, Name = "迷恋自留地" }); } 第一种分组去重年龄和名称进行分组，然后取第一条即可达到去重，如下： var list1 = list.GroupBy(d => new { d.Age, d.Name }) .Select(d => d.FirstOrDefault()) .ToList(); 第二种 HashSet去重 （扩展方法）C#中HashSet对于重复元素会进行过滤筛选，所以我们写下如下扩展方法（在静态函数中定义），遍历集合元素，最后利用HashSet进行过滤达到去重目的，如下： public static IEnumerable Distinct( this IEnumerable source, Func keySelector) { var hashSet = new HashSet(); foreach (TSource element in source) { if (hashSet.Add(keySelector(element))) { yield return element; } } }述扩展方法即可去重，如下： var list2 = list.Distinct(d => new { d.Age, d.Name }).ToList(); 第三种 IEqualityComparer去重 （扩展方法）在实际项目中有很多通过具体实现类实现该接口，通过重写Equals和HashCode比较属性值来达到去重目的，因为对于每一个类都得实现对应比较器，所以并不通用，反而利用上述方式才是最佳，其实我们大可借助该比较接口实现通用解决方案，对于每一个类都得实现一个比较器的原因在于，我们将属性比较放在类该接口内部，如果我们将属性比较放在外围呢，这个时候就达到了通用解决方案，那么我们怎么实现呢，通过委托来实现，实现该接口的本质无非就是比较HashCode，然后通过Equals比较其值，当比较HashCode时，我们强制其值为一个常量（比如0），当重写Equals方法我们调用委托即可，如下 public static class Extensions { public static IEnumerable Distinct( this IEnumerable source, Func comparer) where T : class => source.Distinct(new DynamicEqualityComparer(comparer)); private sealed class DynamicEqualityComparer : IEqualityComparer where T : class { private readonly Func _func; public DynamicEqualityComparer(Func func) { _func = func; } public bool Equals(T x, T y) => _func(x, y); public int GetHashCode(T obj) => 0; } }最终通过指定属性进行比较即可去重，如下： list = list.Distinct((a, b) => a.Age == b.Age && a.Name == b.Name).ToList(); 性能比较以上3种常见方式我们已经介绍完毕了，当数据量比较小时，我们大可忽略对集合进行各种操作所带来的性能，但是一旦数据量很大时，我们可能需要考虑性能，能节省一点时间或许有必要，于是乎，在上述100万条数据前提下，我们来分析其耗时情况，如下： var list = new List(); for (int i = 0; i Age = 18, Name = "jeffcky" }); } var time1 = Time(() => { list.GroupBy(d => new { d.Age, d.Name }) .Select(d => d.FirstOrDefault()) .ToList(); }); Console.WriteLine($"分组耗时：{time1}"); var time2 = Time(() => { list.Distinct(d => new { d.Age, d.Name }).ToList(); }); Console.WriteLine($"HashSet耗时：{time2}"); var time3 = Time(() => { list.Distinct((a, b) => a.Age == b.Age && a.Name == b.Name).ToList(); }); Console.WriteLine($"委托耗时：{time3}"); static long Time(Action action) { var stopwatch = new Stopwatch(); stopwatch.Start(); action(); stopwatch.Stop(); return stopwatch.ElapsedMilliseconds; }
参考：https://www.cnblogs.com/CreateMyself/p/12863407.html |
【本文地址】
今日新闻 |
推荐新闻 |