百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

Python机器学习:适合新手的8个项目

csdh11 2025-02-09 11:57 22 浏览


再多的理论也不能代替动手实践。


教科书和课程会让你误以为精通,因为材料就在你面前。但当你尝试去应用它时,可能会发现它比看起来更难。而「项目」可帮助你快速提高应用的 ML 技能,同时让你有机会探索有趣的主题。


此外,你可以将项目添加到你的投资组合中,从而更轻松地找到工作,找到很酷的职业机会,甚至协商更高的薪水。


在这篇文章中,我们将为初学者介绍 8 个有趣的机器学习项目。可以在一个周末完成其中的任何一个,或者如果你很喜欢它们,可以将它扩展为更长的项目。


1、机器学习角斗士


我们亲切地称其为「机器学习角斗士」,但它并不新鲜。这是围绕机器学习建立 实用 直觉的最快方法之一。


目标是采用开箱即用的模型并将其应用于不同的数据集。这个项目很棒有 3 个主要原因:


首先,你将建立模型与问题拟合的直觉。哪些模型对缺失数据具有鲁棒性?哪些模型可以很好地处理分类特征?是的,你可以翻阅教科书来寻找答案,但是通过实际操作您会学得更好。


其次,这个项目将教你快速制作原型的宝贵技能。在现实世界中,如果不简单地尝试它们,通常很难知道哪种模型表现最好。


最后,本练习可以帮助你掌握模型构建的工作流程。例如,你将开始练习……


导入数据

清理数据

将其拆分为训练/测试或交叉验证集

预处理

转型

特征工程


因为你将使用开箱即用的模型,你将有机会专注于磨练这些关键步骤。


查看 sklearn (Python) 或 caret (R) 文档页面以获取说明。你应该练习回归、 分类和聚类算法。


教程


? Python: sklearn – sklearn包 的官方教程

? 使用 Scikit-Learn 预测葡萄酒质量——训练机器学习模型的分步教程

? R: caret – 由 caret 包的作者提供的网络研讨会


数据源


? UCI 机器学习存储库 ——350 多个可搜索的数据集,涵盖几乎所有主题。您一定会找到您感兴趣的数据集。

? Kaggle 数据集——Kaggle 社区上传的 100 多个数据集。这里有一些非常有趣的数据集,包括 PokemonGo 产卵地点和圣地亚哥的墨西哥卷饼。

? data.gov ——美国政府发布的开放数据集。如果您对社会科学感兴趣,可以去看看。


2、玩钱球


在《点球成金》一书中 ,奥克兰 A 队通过分析球员球探彻底改变了棒球运动。他们建立了一支有竞争力的球队,而只花费了洋基队等大型市场球队支付薪水的 1/3。


首先,如果你还没有读过这本书,你应该去看看。这是我们的最爱之一!


幸运的是,体育界有大量数据可供使用。球队、比赛、比分和球员的数据都可以在线跟踪和免费获取。


对于初学者来说,有很多有趣的机器学习项目。例如,您可以尝试……


? 体育博彩……根据每场新比赛前的可用数据预测盒子得分。

? 人才球探…… 使用大学统计数据来预测哪些球员将拥有最好的职业生涯。

? 综合管理...... 根据他们的优势创建球员集群,以建立一个全面的团队。


体育也是练习数据可视化探索性分析的绝佳领域。你可以使用这些技能来帮助您决定要在分析中包含哪些类型的数据。


数据源

? 体育统计数据库 ——体育统计和历史数据,涵盖了许多职业运动和一些大学运动。干净的界面使网页抓取更容易。

? Sports Reference – 另一个体育统计数据库。界面更杂乱,但可以将单个表格导出为 CSV 文件。

? cricsheet.org – 国际和 IPL 板球比赛的逐球数据。提供 IPL 和 T20 国际比赛的 CSV 文件。


3、预测股票价格


对于任何对金融感兴趣的数据科学家来说,股票市场就像是糖果乐园。


首先,您有多种类型的数据可供选择。您可以找到价格、基本面、全球宏观经济指标、波动率指数等……不胜枚举。


其次,数据可能非常精细。您可以轻松获取每家公司按天(甚至按分钟)的时间序列数据,从而让您创造性地思考交易策略。


最后,金融市场通常具有较短的反馈周期。因此,您可以快速验证您对新数据的预测。


你可以尝试的一些适合初学者的机器学习项目示例包括……


? 量化价值投资…… 根据公司季度报告的基本面指标预测 6 个月的价格走势。

? 预测…… 在隐含波动率和实际波动率之间的差值上构建时间序列模型,甚至是循环神经网络。

? 统计套利…… 根据价格走势和其他因素找到相似的股票,并寻找价格出现分歧的时期。


明显的免责声明:建立交易模型来练习机器学习很简单。让他们盈利是极其困难的。这里没有任何财务建议,我们不建议交易真钱。


教程

? Python: sklearn for Investing – 将机器学习应用于投资的 YouTube 视频系列。

? R: Quantitative Trading with R – 使用 R 进行量化金融的详细课堂笔记。


数据源

? Quandl – 提供免费(和优质)金融和经济数据的数据市场。例如,您可以批量下载3000 多家美国公司的日终股票价格 或美联储的经济数据。

? Quantopian – 量化金融社区,为开发交易算法提供免费平台。包括数据集。

? US Fundamentals Archive – 5000 多家美国公司的 5 年基本面数据。


4、教神经网络阅读笔迹


神经网络和深度学习是现代人工智能的两个成功案例。它们在图像识别、自动文本生成甚至自动驾驶汽车方面取得了重大进展。


要涉足这个令人兴奋的领域,您应该从可管理的数据集开始。


MNIST手写数字分类挑战赛是经典的切入点。图像数据通常比「平面」关系数据更难处理。MNIST 数据对初学者很友好,并且小到可以放在一台计算机上。

手写识别会挑战你,但它不需要高计算能力。


首先,我们建议使用下面教程中的第一章。它将教你如何从头开始构建神经网络,以高精度解决 MNIST 挑战。


教程


? 神经网络和深度学习(在线书籍) ——第 1 章介绍了如何在 Python 中从头开始编写神经网络,以对来自 MNIST 的数字进行分类。作者还对神经网络背后的直觉给出了很好的解释。


数据源

? MNIST – MNIST 是美国国家标准与技术研究院收集的两个数据集的修改子集。它包含 70,000 个带标签的手写数字图像。


5、调查安然


安然丑闻和倒闭是历史上最大的 企业崩溃之一。


2000 年,安然是美国最大的能源公司之一。然后,在因欺诈而被揭露后,它在一年内螺旋式下降到破产。


幸运的是,我们拥有安然电子邮件数据库。它包含 150 名前安然员工(主要是高级管理人员)之间的 50 万封电子邮件。它也是唯一一个真实电子邮件的大型公共数据库,这使得它更有价值。


事实上,数据科学家多年来一直在使用这个数据集进行教育和研究。


您可以尝试的初学者机器学习项目示例包括……


? 异常检测…... 按小时绘制和接收电子邮件的分布图,并尝试检测导致公共丑闻的异常行为。

? 社交网络分析…… 在员工之间建立网络图模型以找到关键影响者。

? 自然语言处理……结合电子邮件元数据分析正文消息,以根据电子邮件的目的对电子邮件进行分类。


数据源

? 安然电子邮件数据集 ——这是由 CMU 托管的安然电子邮件存档。

? 安然数据描述 (PDF) – 对安然电子邮件数据的探索性分析,可以帮助您获得基础。


6、从头开始编写 ML 算法


从头开始编写机器学习算法是一种出色的学习工具,主要有两个原因。


首先,没有更好的方法来建立对他们机制的真正理解。您将被迫考虑每一步,这将导致真正的掌握。


其次,您将学习如何将数学指令转换为工作代码。在从学术研究中调整算法时,您将需要这项技能。


我们建议选择不太复杂的算法。即使是最简单的算法,您也需要做出许多微妙的决定。在您熟悉构建简单算法后,尝试扩展它们以获得更多功能。例如,尝试通过添加正则化参数将普通逻辑回归算法扩展为套索/岭回归。


最后,这是每个初学者都应该知道的提示:不要气馁,因为您的算法不如现有软件包中的算法快或花哨。这些软件包是多年发展的成果!


教程

? Python:从零开始的逻辑回归

? Python:从零开始的 k-最近邻

? R:从零开始的逻辑回归


7、挖掘社交媒体情绪


由于用户生成的内容数量庞大,社交媒体几乎已成为「大数据」的代名词。


挖掘这些丰富的数据可以证明以前所未有的方式来掌握观点、趋势和公众情绪。Facebook、Twitter、YouTube、微信、WhatsApp、Reddit……这个名单还在继续。


此外,每一代人在社交媒体上花费的时间都比他们的前辈多。这意味着社交媒体数据将与营销、品牌和整个业务更加相关。


虽然有许多流行的社交媒体平台,但Twitter 是练习机器学习的经典切入点。


使用 Twitter 数据,您可以获得数据(推文内容)和元数据(位置、主题标签、用户、转发推文等)的有趣混合,为分析开辟了几乎无穷无尽的路径。


教程

? Python:挖掘 Twitter 数据——如何对 Twitter 数据进行情绪分析

? R:使用机器学习进行情感分析——简短而甜蜜的情感分析教程


数据源

? Twitter API – twitter API 是流数据的经典来源。您可以跟踪推文、主题标签等。

? StockTwits API – StockTwits 就像交易者和投资者的推特。 您可以通过使用时间戳和股票代码将其连接到时间序列数据集来以许多有趣的方式扩展此数据集 。


8、改善医疗保健


由于机器学习,另一个正在经历快速变化的行业是全球健康和医疗保健。


在大多数国家,成为一名医生需要多年的教育。这是一个要求高、工作时间长、风险高、进入门槛更高的领域。


因此,最近在机器学习的帮助下减轻医生的工作量并提高医疗保健系统的整体效率做出了重大努力。


用例包括:

? 预防性护理…… 预测个人和社区层面的疾病爆发。

? 诊断护理...... 自动对图像数据进行分类,例如扫描、X 射线等。

? 保险……根据公开的风险因素调整保险费。


随着医院继续对患者记录进行现代化改造,并且随着我们收集更细化的健康数据,数据科学家将有大量唾手可得的机会来发挥作用。


教程

? R:为疾病预测构建有意义的机器学习模型

? 医疗保健中的机器学习——微软研究院的精彩演讲


数据源

? 大型健康数据集——大型健康相关数据集的集合

? data.gov/health – 美国政府提供的与健康和医疗保健相关的数据集。

? 健康营养和人口统计——世界银行提供的全球健康、营养和人口统计数据。


相关推荐

Github霸榜的SpringBoot全套学习教程,从入门到实战,内容超详细

前言...

SpringBoot+LayUI后台管理系统开发脚手架

源码获取方式:关注,转发之后私信回复【源码】即可免费获取到!项目简介本项目本着避免重复造轮子的原则,建立一套快速开发JavaWEB项目(springboot-mini),能满足大部分后台管理系统基础开...

Spring Boot+Vue全栈开发实战,中文版高清PDF资源

SpringBoot+Vue全栈开发实战,中文高清PDF资源,需要的可以私我:)SpringBoot致力于简化开发配置并为企业级开发提供一系列非业务性功能,而Vue则采用数据驱动视图的方式将程序...

2021年超详细的java学习路线总结—纯干货分享

本文整理了java开发的学习路线和相关的学习资源,非常适合零基础入门java的同学,希望大家在学习的时候,能够节省时间。纯干货,良心推荐!第一阶段:Java基础...

探秘Spring Cache:让Java应用飞起来的秘密武器

探秘SpringCache:让Java应用飞起来的秘密武器在当今快节奏的软件开发环境中,性能优化显得尤为重要。SpringCache作为Spring框架的一部分,为我们提供了强大的缓存管理能力,让...

3,从零开始搭建SSHM开发框架(集成Spring MVC)

目录本专题博客已共享在(这个可能会更新的稍微一些)https://code.csdn.net/yangwei19680827/maven_sshm_blog...

Spring Boot中如何使用缓存?超简单

SpringBoot中的缓存可以减少从数据库重复获取数据或执行昂贵计算的需要,从而显著提高应用程序的性能。SpringBoot提供了与各种缓存提供程序的集成,您可以在应用程序中轻松配置和使用缓...

我敢保证,全网没有再比这更详细的Java知识点总结了,送你啊

接下来你看到的将是全网最详细的Java知识点总结,全文分为三大部分:Java基础、Java框架、Java+云数据小编将为大家仔细讲解每大部分里面的详细知识点,别眨眼,从小白到大佬、零基础到精通,你绝...

1,从零开始搭建SSHM开发框架(环境准备)

目录本专题博客已共享在https://code.csdn.net/yangwei19680827/maven_sshm_blog1,从零开始搭建SSHM开发框架(环境准备)...

做一个适合二次开发的低代码平台,把程序员从curd中解脱出来-1

干程序员也有好长时间了,大多数时间都是在做curd。现在想做一个通用的curd平台直接将我们解放出来;把核心放在业务处理中。用过代码生成器,在数据表设计好之后使用它就可以生成需要的controller...

设计一个高性能Java Web框架(java做网站的框架)

设计一个高性能JavaWeb框架在当今互联网高速发展的时代,构建高性能的JavaWeb框架对于提升用户体验至关重要。本文将从多个角度探讨如何设计这样一个框架,让我们一起进入这段充满挑战和乐趣的旅程...

【推荐】强&牛!一款开源免费的功能强大的代码生成器系统!

今天,给大家推荐一个代码生成器系统项目,这个项目目前收获了5.3KStar,个人觉得不错,值得拿出来和大家分享下。这是我目前见过最好的代码生成器系统项目。功能完整,代码结构清晰。...

Java面试题及答案总结(2025版持续更新)

大家好,我是Java面试分享最近很多小伙伴在忙着找工作,给大家整理了一份非常全面的Java面试场景题及答案。...

Java开发网站架构演变过程-从单体应用到微服务架构详解

Java开发网站架构演变过程,到目前为止,大致分为5个阶段,分别为单体架构、集群架构、分布式架构、SOA架构和微服务架构。下面玄武老师来给大家详细介绍下这5种架构模式的发展背景、各自优缺点以及涉及到的...

本地缓存GuavaCache(一)(guava本地缓存原理)

在并发量、吞吐量越来越大的情况下往往是离不开缓存的,使用缓存能减轻数据库的压力,临时存储数据。根据不同的场景选择不同的缓存,分布式缓存有Redis,Memcached、Tair、EVCache、Aer...