我有大约250,000条记录标记为Boss,每个Boss有2到10名职员.我每天都需要了解员工的详细信息.大约有1,000,000名员工.我正在使用 Linq获取每日工作人员的唯一列表.考虑以下C#LINQ和模型
void Main()
{

    List<Boss> BossList = new List<Boss>()
    {
        new Boss()
        {
            EmpID = 101,Name = "Harry",Department = "Development",Gender = "Male",Employees = new List<Person>()
            {
                new Person() {EmpID = 102,Name = "Peter",Gender = "Male"},new Person() {EmpID = 103,Name = "emma Watson",Gender = "Female"},}
        },new Boss()
        {
            EmpID = 104,Name = "Raj",Employees = new List<Person>()
                    {
                        new Person() {EmpID = 105,Name = "Kaliya",..... ~ 250,000 Records ......

    };

    List<Person> staffList = BossList
    .SelectMany(x =>
        new[] { new Person { Name = x.Name,Department = x.Department,Gender = x.Gender,EmpID = x.EmpID } }
        .Concat(x.Employees))
    .GroupBy(x => x.EmpID) //Group by employee ID
    .Select(g => g.First()) //And select a single instance for each unique employee
    .ToList();
}

public class Person
{
    public int EmpID { get; set; }
    public string Name { get; set; }
    public string Department { get; set; }
    public string Gender { get; set; }
}

public class Boss
{
    public int EmpID { get; set; }
    public string Name { get; set; }
    public string Department { get; set; }
    public string Gender { get; set; }
    public List<Person> Employees { get; set; }
}

在上面的LINQ中我得到了不同员工或员工名单,该列表包含超过1,000条记录.从获得的列表中我需要搜索“Raj”

staffList.Where(m => m.Name.ToLowerInvariant().Contains("Raj".ToLowerInvariant()));

对于此操作,获得结果需要3到5分钟.

我怎么能让它更有效率.请帮助我……

解决方法

如果你改变Boss继承Person(公共类Boss:Person),你不仅不需要在Person和Boss中复制你的属性,你不必为每个Boss创建所有新的Person实例,因为Boss已经是一个人:
IEnumerable<Person> staff = BossList 
    .Concat(BossList
        .SelectMany(x => x.Employees)
    )
    .distinctBy(p => p.EmpId)
    .ToList()

distinctByis定义为

public static IEnumerable<TSource> distinctBy<TSource,TKey>
    (this IEnumerable<TSource> source,Func<TSource,TKey> keySelector)
{
    var seenKeys = new HashSet<TKey>();
    foreach (TSource element in source)
    {
        if (seenKeys.Add(keySelector(element)))
        {
            yield return element;
        }
    }
}

此外,在您的比较中,您将每个Name转换为小写并进行比较 – 这是您不需要的大量字符串创建.相反,尝试类似的东西

staffList.Where(m => m.Name.Equals("Raj",StringComparison.InvariantCultureIgnoreCase));

此外,请注意,您对Contains的使用也会与Rajamussen和mirajii等名称相匹配 – 可能不是您所期望的.

c# – 如何有效地使用大数据集中LINQ并行中的子句或选择的更多相关文章

  1. 如何在c中使用Linq读取Json文件#

    我有下面的Json文件,我需要获取“rec”的role_to_secrets,然后我应该为“prod”环境获取各自的secret值。

  2. FirstOrDefault正在生成异常System.NullReferenceException

    所以我有一个文档字段,里面有其他对象,我需要这个值。如果对象或值为空,并且字符串为空,我该怎么办?

  3. 如何遍历列表以构建Linq查询

    我有以下工作查询:我想替换Where(x=>x.Value>10&&x.Value

  4. c# – Linq distinct&amp;max

    我必须查询这个表:对于具有最大时间值的所有不同符号,我需要一行.我如何编写我的LINQ查询?提前致谢,解决方法按符号分组,然后从最大时间的每个组项目中进行选择:与方法语法相同:

  5. c# – LINQ to SQL转换溢出

    有没有改变这种行为?或者我甚至在正确的轨道上?

  6. c# – 将LINQ序列中的项发送到返回void的方法

    当我处理LINQ序列时,我想将每个项目发送到一个返回void的方法,避免了foreach循环.但是,我没有找到一个优雅的方式来做到这一点.今天我写了下面的代码:你可以看到,我写了一个只返回true的lambda函数,我意识到Select方法将返回一个布尔序列,我只是忽略该序列.然而,这似乎有点无聊和…或者我只是错误地使用LINQ?

  7. c# – LINQ与Method表达式的差异

    为什么Linq表达式IL会导致省略Select投影,而相应的方法表达式会保留Select投影?我想这两段代码也是一样的.那为什么IL的区别呢?解决方法在第二个示例中,对Select的调用不是多余的.如果省略Select调用,查询将只返回原始集合,而Select返回IEnumerable.在您的第一个示例中,Where已经返回IEnumerable并且select子句没有做任何工作,因此省略它.

  8. c# – Linq和Equality Operator:类型“System.Int32”的表达式不能用于“System.Object”类型的参数.

    投掷所有东西来对象,并使用一个自定义的比较方法.我还是很惊讶,Linq不像C#一样正常地进行转换.解决方法null有什么问题?

  9. c# – Linq表达式如何确定平等?

    我正在考虑使用LinqExpression作为字典中的关键.不过,我很担心我会得到奇怪的结果,因为我不知道平等是如何由Linq表达决定的.派生自表达式的类比较值相等或引用相等吗?或换句话说,解决方法您的测试比较表达式.表达本身只提供参考平等;您的测试可能会显示“假”.为了面对语义平等,你需要做很多工作,例如:和当量?作为一个粗糙的测试,您可以比较ToString(),但这将是非常脆弱的.

  10. c# – IEnumerable.Select with index

    解决方法我不确定你正在寻找什么样的指数,但如果它只是一组连续的数字那么你很幸运.有一个Select重载就是这样:它需要一个带有两个参数的委托–项目及其索引.

随机推荐

  1. c# – (wpf)Application.Current.Resources vs FindResource

    所以,我正在使用C#中的WPF创建一个GUI.它看起来像这样:它现在还没有完成.这两行是我尝试制作一种数据表,它们在XAML中是硬编码的.现在,我正在C#中实现添加新的水果按钮功能.我在XAML中有以下样式来控制行的背景图像应该是什么样子:因此,在代码中,我为每列col0,col1和col2创建一个图像,如果我使用以下代码,它添加了一个如下所示的新行:如你所见,它不太正确……为什么一个似乎忽略了一些属性而另一个没有?

  2. c# – 绑定DataGridTemplateColumn

    似乎我已经打了个墙,试图在DataGrid上使用DataTemplates.我想要做的是使用一个模板来显示每个单元格的两行文本.但是似乎无法以任何方式绑定列.以下代码希望显示我想做的事情.注意每个列的绑定:模板列没有这样的东西,因此,这个xaml不可能工作.我注定要将整个DataTemplate复制到每个列,只是对每个副本都有不同的约束?解决方法我不完全确定你想要做什么,但如果您需要获取整行的DataContext,可以使用RelativeSource绑定来移动视觉树.像这样:

  3. c# – 学习设计模式的资源

    最近我来到了这个设计模式的概念,并对此感到非常热情.你能建议一些帮助我深入设计模式的资源吗?

  4. c# – 是否有支持嵌入HTML页面的跨操作系统GUI框架?

    我想开发一个桌面应用程序来使用跨系统,是否有一个GUI框架,允许我为所有3个平台编写一次代码,并具有完全可脚本化的嵌入式Web组件?我需要它有一个API来在应用程序和网页之间进行交流.我知道C#,JavaScript和一些python.解决方法Qt有这样的事情QWebView.

  5. c# – 通过字符串在对象图中查找属性

    我试图使用任意字符串访问嵌套类结构的各个部分.给出以下(设计的)类:我想要从Person对象的一个实例的“PersonsAddress.HousePhone.Number”获取对象.目前我正在使用反思来做一些简单的递归查找,但是我希望有一些忍者有更好的想法.作为参考,这里是我开发的(crappy)方法:解决方法您可以简单地使用标准的.NETDataBinder.EvalMethod,像这样:

  6. c# – 文件下载后更新页面

    FamilyID=0a391abd-25c1-4fc0-919f-b21f31ab88b7&displaylang=en&pf=true它呈现该页面,然后使用以下元刷新标签来实际向用户提供要下载的文件:你可能需要在你的应用程序中做类似的事情.但是,如果您真的有兴趣在文件完全下载后执行某些操作,那么您的运气不佳,因为没有任何事件可以与浏览器进行通信.执行此操作的唯一方法是上传附件时使用的AJAXupload.

  7. c# – 如何在每个机器应用程序中实现单个实例?

    我必须限制我的.net4WPF应用程序,以便每台机器只能运行一次.请注意,我说每个机器,而不是每个会话.我使用一个简单的互斥体实现单实例应用程序,直到现在,但不幸的是,这样一个互斥是每个会话.有没有办法创建机器互连,还是有其他解决方案来实现每个机器应用程序的单个实例?

  8. c# – WCF和多个主机头

    我的雇主网站有多个主机名,都是同一个服务器,我们只是显示不同的皮肤来进行品牌宣传.不幸的是,在这种情况下,WCF似乎不能很好地工作.我试过overridingthedefaulthostwithacustomhostfactory.这不是一个可以接受的解决方案,因为它需要从所有主机工作,而不仅仅是1.我也看过thisblogpost,但是我无法让它工作,或者不是为了解决我的问题.我得到的错误是“这

  9. c# – ASP.NET MVC模型绑定与表单元素名称中的虚线

    我一直在搜索互联网,试图找到一种方式来容纳我的表单元素的破折号到ASP.NET的控制器在MVC2,3或甚至4中的默认模型绑定行为.作为一名前端开发人员,我更喜欢在我的CSS中使用camelCase或下划线进行破折号.在我的标记中,我想要做的是这样的:在控制器中,我会传入一个C#对象,看起来像这样:有没有办法通过一些正则表达式或其他行为来扩展Controller类来适应这种情况?我讨厌这样的事实,我必须这样做:甚至这个:思考?

  10. c# – 用户界面设计工具

    我正在寻找一个用户界面设计工具来显示文档中可能的GUI.我不能生成代码.我知道MicrosoftVisio提供了一个功能.但有什么办法吗?您使用哪种软件可视化GUI?

返回
顶部