千(qian)鋒教(jiao)育-做有情懷、有良心(xin)、有品質的職業教(jiao)育機構(gou)
千鋒學習(xi)站 | 隨(sui)時隨(sui)地免費學
掃一(yi)掃進入(ru)千鋒手機(ji)站(zhan)
關注千鋒學習站小程序
隨(sui)時隨(sui)地免(mian)費學習課程
一.特征向量和距離
1.人工智(zhi)能技術綜述(shu)
1.1 人工(gong)智能和機(ji)器學習(xi)的關系(xi)
1.2 人工智(zhi)能(neng)主要方向剖析(xi)
1.3 人工智能學習路線規劃
2.特征提取:物理(li)世界(jie)的數學描述(shu)
2.1 onehot和multihot
2.2 圖像特征和邊緣(yuan)提(ti)取
2.3 連續特征的(de)正規化和分段
2.4 行為類特征的向量(liang)化
2.5 社交類特征的向量(liang)化
2.6 離(li)散特征的向量化(hua)
3.向量之間的距離計算以及(ji)使用場景
3.1 歐(ou)氏(shi)距離(li)、海明距離(li)、閔可(ke)夫斯基距離(li)
3.2 內積距離
3.3 雅(ya)(ya)克(ke)比(bi)相(xiang)似度和(he)雅(ya)(ya)克(ke)比(bi)距離(li)
3.5 各類距離的比較以及優缺(que)點
3.6 numpy入門以及距(ju)離計算(suan)
二.線性回歸
1.線性回歸概述
1.1線性(xing)回歸(gui)的定義
1.2線(xian)性回歸的適用(yong)場景
1.3嶺回歸
2.模型評估
2.1線(xian)性回歸的評測(ce)方法(fa)
2.2訓練(lian)集和(he)測試集
2.3模(mo)型的泛化(hua)能力(li)
3.模型學習方法
3.1損失函數MSE和(he)最小二(er)乘法
3.2導數(shu)的定義和(he)計(ji)算
3.4 極(ji)大(da)值和極(ji)小值
3.5梯度下降法
3.6 從幾何(he)角度理解梯度下(xia)降法
4.sklearn框(kuang)架
4.1 sklearn框(kuang)架的介(jie)紹、安裝方(fang)法
4.2 使(shi)用sklearn完成線性回歸模(mo)型
5.深入理解線性回歸
5.1多項式回歸(gui)解決非線(xian)性問題
5.2 特(te)征冗(rong)余和噪音特(te)征
5.3 線性回歸和正態分布
三.邏輯回歸
1.分類任務和概率
1.1多(duo)分類和二分類
1.2 分類模(mo)型和概率模(mo)型
2.邏輯回歸
2.1感知器(qi)及其局限性(xing)
2.2 Sigmoid函數詳解
2.3 邏輯(ji)回歸(gui)在分類問(wen)題上的應用
2.4 模型(xing)的正則(ze)化
3.梯度下降法
3.1 Sigmoid函數的導(dao)(dao)數推導(dao)(dao)
3.2 邏輯回歸的(de)損失函數KL距(ju)離
3.3 梯度下降法在邏輯回歸上的應用
3.4 學習因子的設(she)定
3.5 正則項在(zai)邏輯回歸(gui)中的必要性
4.邏輯回歸實戰
4.1 使(shi)用sklearn實現邏(luo)輯回歸
4.2 使用TensorFlow實現邏輯(ji)回歸
4.4 邏(luo)輯回歸調參指(zhi)南
5.損失函數的(de)選擇和對(dui)比
5.1KL距(ju)離和MSE的區別
5.2 KL距離背后的統計學(xue)原理
5.3 KL距(ju)離和(he)交叉熵
6.邏輯回歸(gui)的統計學(xue)原理
6.1最大似然(ran)估計和(he)KL損失函數
6.2.邏輯回歸和(he)正(zheng)態分(fen)布
7.模型的正則化
7.1 L1正則和L2正則的異(yi)同(tong)
7.2正則化和過擬(ni)合
7.3 從(cong)概率的(de)角度理解正則(ze)化(hua)
7.4 sklearn如何進行正(zheng)則化(hua)的實現
8.分類模型(xing)的評價指(zhi)標
8.1 正確率,準(zhun)確率和召回(hui)率
8.2 AUC和ROC
8.3 各類(lei)分類(lei)指標的優點、局(ju)限性
8.4 代碼實戰各類指標的(de)計算
四、無監督模型
1.Kmeans模(mo)型
1.1聚類的目的和意義(yi)
1.2 Kmeans模型詳解(jie)以及參數(shu)學(xue)習
1.3使用(yong)sklearn進(jin)行Kmeans模型實戰(zhan)
1.4 Kmeans模型的缺點
1.5 Kmeans各類改(gai)進版本
1.6 EM算法詳解
1.7 Kmeans算法和邏(luo)輯回歸
2.隱(yin)式主(zhu)題模(mo)型-LDA
2.1 LDA模型的原理(li)
2.2 LDA模型的(de)求解
2.3 LDA主(zhu)題模型實戰:推薦系統中(zhong)的應用
2.4 LDA模(mo)型背后(hou)的概(gai)率意義
2.5.吉布斯采樣
2.6 LDA模型代碼實戰
五、因子分解模型-FM模型
1.特征交叉原理(li)和FM模型(xing)
1.1 特征交叉的原理和意義
1.2特(te)征交叉的數學實現
1.3通(tong)過(guo)內積(ji)簡(jian)化特征交叉
1.4 FM模型原理詳(xiang)解
1.5 FM模型和邏輯回歸異同(tong)解析
2.FM模型(xing)的數學推(tui)導(dao)
2.1 FM模(mo)型在數學上的化簡
2.2梯度(du)下降法在FM模型(xing)中的(de)應用
3.使用python進行(xing)FM模型實戰
六、深度神經網絡
1.深層模型的意義
1.1特(te)征變換和特(te)征提取
1.2 激活函數的意(yi)義和(he)必要性(xing)
1.3 深層模型架構
1.4 softmax函數和多分類(lei)
1.5 深度學習和神(shen)經網絡
1.6 shortcut結構詳解(jie)
2.常見激活函數
2.1 sigmoid激活函數詳解
2.2 tanh激活函數(shu)詳解
2.3 relu激活函數詳解
2.4 relu函數的改進版本詳解
3.softmax函(han)數和多(duo)分類(lei)
3.1 softmax函數(shu)的推導(dao)和(he)onehot向量的關(guan)系(xi)
3.2 softmax的(de)導(dao)數推導(dao)
3.3多分類和多標簽
4.深度學習實戰
4.1主流機器(qi)學習(xi)框(kuang)架平(ping)臺介紹
4.2 TensorFlow和(he)keras框架詳解(jie)
4.3如何調用自己的(de)GPU
4.4深度學習實戰:用(yong)keras搭(da)建自己的神經網絡
七、深度學習進階
1.梯度下降法
1.1 矩陣和向量的求(qiu)導法則
1.2 矩陣(zhen)和向量的鏈式法則
1.3 梯度下降法在深層神經(jing)網絡中的(de)推導(dao)和應用
1.4 梯度消(xiao)失(shi)和梯度爆炸產生原因分析以(yi)及解決方案
1.5 鞍(an)點(dian)、局(ju)部極小、以及解決方案
2. 權重初始化
2.1權重(zhong)的對稱性及其危害(hai)
2.2 隨機初始化權(quan)重的方法
3. 梯度下(xia)降法(fa)及其改進
3.1傳統梯度下(xia)降(jiang)法的(de)缺點(dian)
3.2 SGD算法
3.3動量法
3.4 RMSprop算(suan)法
3.5 Adam算(suan)法
3.6改進型(xing)梯度下降法在(zai)keras中(zhong)的實(shi)現(xian)
4.輸入的標準化
4.1 標準化的意義
4.2 批標準(zhun)化以及keras的實(shi)現
4.3 層標準化以及keras的(de)實現
5.深度(du)學習的正則化
5.1 L1正則(ze)和L2正則(ze)在深度學習(xi)中(zhong)的應用
5.2 dropout以及keras實(shi)現
八、序列神經網絡
1.循環神經網絡
1.1時序模(mo)型(xing)以及使(shi)用場景
1.2 RNN模(mo)型以(yi)及keras的(de)實(shi)現(xian)
1.3 LSTM模型以(yi)及keras的實現
1.3.GRU模型以及keras的實現
1.4.時序模型代(dai)碼實戰
2.Attention神經網絡
2.1.seq2seq架構
2.2 Attention模型(xing)
2.3 常見注意(yi)力算法
2.4 self-attention
2.5多抽頭Attention
2.6 transformer架構(gou)
2.7 attention模型(xing)在圖像(xiang)中的應用
九、自然語言處理
1.word2vec和(he)fasttext
1.1.自然語言(yan)處理和(he)語言(yan)模型(xing)
1.2.詞向量模型word2vec
1.3.skipgram和cbow構建方(fang)法
1.4.霍夫(fu)曼樹和負采樣
1.5.fasttext模(mo)型和文(wen)本分(fen)類
1.6.子詞模型
1.7 word2vec和fasttext的代碼(ma)實戰
2.大模型(xing)之Bert
2.1.NLP的龍骨模型-Bert
2.2.Bert模型的訓練(lian)方(fang)法
2.3.Bert模型的應用
2.4.Bert模(mo)型實戰
2.5.Bert常見的(de)改進(jin)方法
十、計算機視覺
1.深入理解卷積層
1.1 卷積的(de)物理意義(yi)
1.2 卷(juan)積層(ceng)的操作方法(fa)
1.3 卷積層步長和(he)窗(chuang)口選取技巧
1.4卷積(ji)層(ceng)的keras實現
1.5.常見卷積改進方法
2.池化層
2.1 最大池化
2.2 均值池化
2.3 池化層的keras實現
3.圖像分類
3.1.圖像分(fen)類常用數據集介紹:coco、imagenet 等
3.2 多層卷(juan)積神經網絡在(zai)圖像(xiang)分類中的(de)應用
4.卷(juan)積在文本分類中(zhong)的(de)應用(yong)
4.1 卷積在文本特征提取的方法
4.2 textCNN詳(xiang)解
一. 推薦系(xi)統整體架構
1.內容生產和內容理解
1.1 推薦系統的內容生(sheng)產
1.2.內(nei)容審核(he)和內(nei)容打標(biao)
1.3.內容有效(xiao)期(qi)預測
2.內容分發
2.1 召回階段的目的、意義(yi)和設計思(si)想
2.2 排序階段的(de)目的(de)、意義和設計思想(xiang)
3.推(tui)薦系統的評價指標
3.1推(tui)薦系統(tong)的(de)商業價值
3.2 日活、CTR、人均時(shi)長等指標分析
二. 召回模型
1.基于行為類的召回(hui)
1.1 協同過濾:itemCF
1.2 協同過濾:UserCF
1.3 隨機游走(zou)模(mo)型:node2vec
1.4 行(xing)為類(lei)召回的(de)優勢(shi)、缺點總結
2.基(ji)于內容類(lei)的(de)召回
1.1 基(ji)于文(wen)本embedding的召回系統(tong)
2.2 基于標(biao)簽體系(xi)的召(zhao)回系(xi)統
2.3 基于(yu)up主的召回系統
2.4 微軟DSSM雙塔召回模型
2.5 最近鄰快速檢索工具(ju)annoy和faiss
3.YoutubeDNN召回(hui)系統
3.1 用戶行為特征(zheng)、自然屬(shu)性(xing)特征(zheng)的(de)提取,預處(chu)理和歸一化
3.2 Item特征(zheng)提取(qu),預處理(li)和歸(gui)一化
3.3 負采樣:NCE和sampledSoftmax
3.4 youtubeDNN召(zhao)回系(xi)統(tong)
4.交叉特征召回
4.1 FM模型在召回系統中的(de)應用
4.2 FFM模型在(zai)召回系(xi)統中的應用
4.3 矩(ju)陣分解(jie)SVD在召回系統中的應用
三. 排序系統
1.CTR預估
1.1 排(pai)序指標(biao)精講
1.2 AUC和userAUC
2. Deep & Cross
2.1 模型結構精講
2.2 特征交叉詳解
2.3 使(shi)用keras實(shi)現Deep & Cross模(mo)型
3.xDeepFM
3.1 模型結構精講
3.2 CIN模塊
3.3 使(shi)用keras實現xDeepFM模型
4.邏(luo)輯回(hui)歸在(zai)排(pai)序模型(xing)中(zhong)的應(ying)用
4.1 邏輯回歸精講
4.2 詳解大規模特征工程
4.3 邏輯回歸在百度鳳巢系統(tong)
5.阿(a)里巴(ba)巴(ba)DIN模型(xing)詳解
5.1 Base模(mo)型詳(xiang)解
5.2 DIN模型詳(xiang)解(jie)
5.3 DIEN模型詳解
5.4 DSIN模型(xing)詳(xiang)解
6.阿里CVR預(yu)估模型ESMM
6.1 CVR預(yu)估的場景和挑戰(zhan)
6.2 ESMM模型詳解
6.3 隱式學習pCVR
6.4 樣本選擇(BBS)問題的解決方案
6.5 樣(yang)本稀疏(DS)問題的解(jie)決(jue)方案
四. 推薦系統指標(biao)體系構建
1.AB測試
1.1 流量分桶(tong)的原理
1.2 AB測試置信度計算
1.3 基于分層的(de)AB測(ce)試(shi)
2.指標評價體系
2.1 推薦(jian)系統的(de)商業價值
2.2 ctr提升的方法
2.3 人(ren)均時長(chang)提(ti)升(sheng)方法
五(wu). 微信視(shi)頻號推薦實戰(zhan)
1.特征提取
1.1 文本內容特征提取
1.2 短視頻(pin)內容(rong)embedding抽取(qu)
1.3 短視頻畫面embedding抽取
1.4 短視(shi)頻多模態embedding抽(chou)取(qu)
2.推薦(jian)系統核心代碼實戰(zhan)
2.1 召回系統(tong)代碼實戰
2.2 排序系統代碼(ma)實戰(zhan)
一. 序列神經網絡
1.循環神經網絡
1.1 時序模(mo)型以及使(shi)用場(chang)景
1.2 RNN模(mo)型以及keras的實現
1.3 LSTM模型以及keras的實現
1.3 GRU模型以及keras的實(shi)現
1.4 時(shi)序(xu)模型代碼實戰(zhan)
2.Attention神經網絡
2.1 seq2seq架構
2.2 Attention模型(xing)
2.3 常見注意力算法
2.4 self-attention
2.5 多(duo)抽頭(tou)Attention
2.6 transformer架(jia)構
2.7 attention模型在圖像中(zhong)的應用(yong)
二. 自然語言處(chu)理入(ru)門
1.word2vec和(he)fasttext
1.1 自然(ran)語言(yan)處理和語言(yan)模型
1.2 詞向量模型word2vec
1.3 skipgram和cbow構建方法(fa)
1.4 霍夫曼樹和負采樣(yang)
1.5 Facebook 的fasttext模型和(he)文本分類
1.6 子詞模型
1.7 word2vec和fasttext的代碼實(shi)戰
2.卷積在(zai)文本分(fen)類中的應用
2.1 卷積在文本(ben)特(te)征提取的方法(fa)
2.2 textCNN詳解
三. 大規模預訓練模型
1.Google Bert模型精講
1.1 NLP的龍骨(gu)模型(xing)-Bert
1.2 Bert模型的訓練方(fang)法
1.3 Bert模型的應用
1.4 Bert模型實戰
2.Bert模(mo)型改進(jin)
2.1 Elmo模(mo)型精講
2.2 GPT1.0~GPT2.0精講模(mo)型
2.3 XLNet模型(xing)精講(jiang)
2.4 RoBERT模型精講
2.5 ALBert模型精講
2.6 T5模(mo)型精講
四. 中文自然(ran)語言處理
1.百度ernie模型
1.1 paddle框架學習
1.2 知識圖譜(pu)構建(jian)
1.3 ernie大模型訓練精講
1.4 ernie大(da)模型使用場(chang)景精講
2.中文分詞精講
1.1 序列標注與深度學習
1.2 HMM模型精講
1.3 CRF模型(xing)精講
1.4 CRF和LSTM結合(he)精講(jiang)
1.5 中文分詞代碼實(shi)戰
3.新詞發現
1.1 信息熵和大數據
1.2 中文信息熵計(ji)算
1.3 基于信息熵的中文新詞發現(xian)
五. 自然(ran)語言(yan)處理項目精講
1.京(jing)東客服(fu):智能聊天機(ji)器人
1.1 智能(neng)聊天機器人整體框架
1.2 文本匹配模型
1.3 深度語義理解模型
1.4 Attention和語義(yi)匹配
1.5 度量學習和語義快速檢索(suo)
2.騰訊新聞:內(nei)容平臺的(de)文(wen)本(ben)分類
2.1 文本分類(lei)任務:多標簽和多分類(lei)
2.2 情感分析實(shi)戰(zhan)
2.3 垃圾過濾實戰(zhan)
2.4 樣本不均衡和(he)解(jie)決方(fang)案
3.騰訊百萬(wan)級實體知識圖(tu)譜(pu)精講
3.1 結構(gou)化(hua)數據(ju)的抽取(qu)
3.2 neo4j數據(ju)庫介紹和常見查詢語句
3.3 transE模型及(ji)其改進
3.4 大(da)規模圖(tu)隨機游走算(suan)法
3.5 知識(shi)圖譜的落(luo)地場景(jing)和實際應用
4.騰訊新聞內(nei)容理解-長文(wen)本標(biao)簽(qian)抽取實(shi)戰
4.1 標簽抽取(qu)(qu)和關(guan)鍵詞抽取(qu)(qu)
4.2 基于textrank的標簽抽(chou)取
4.3 異質標簽的歸一(yi)化
4.4 基于(yu)雙塔模(mo)型的(de)標簽抽取
4.5 基(ji)于分類(lei)模型的(de)標簽(qian)抽(chou)取
5.新浪輿(yu)情系統-文本摘要抽(chou)取
5.1 抽取式摘要抽取
5.2 基于(yu)Bert的摘要抽取
5.3 基于大模型的生成式摘要