管道pipeline線上看的問題，透過圖書和論文來找解法和答案更準確安心。 我們找到下列問答集和資訊懶人包

敏捷測試：以持續測試促進持續交付

為了解決管道pipeline線上看的問題，作者朱少民 這樣論述：

互聯網產品的快速反覆運算，讓敏捷開發在各個領域都得到了廣泛應用。同時，也加快了敏捷測試在各家企業落地生根的進程。 本書由測試領域老兵聯合10余位測試專家對敏捷測試的實踐經驗匯總、整理而成。本書分為10章和4個附錄。從敏捷開發和敏捷測試基礎、人的因素、敏捷測試基礎設施、分析與計畫、設計與執行、測試右移、收尾與改進、展望等角度入手，幾乎涵蓋實現高效敏捷測試所需的各個方面的知識，以及測試思維、測試流程、測試基礎設施和一系列的優秀實踐，對提高測試效率進而提升產品交付品質具有重大的指導意義。 本書理論知識與實際案例深度結合，輔以思維導圖、延伸閱讀等模組，深入淺出，尤其適合有一定測試實踐經驗的軟體品質

保障和測試人員，想要較為深入瞭解敏捷測試的專業人士閱讀參考。 朱少民 國內知名測試專家、同濟大學特聘教授、軟體綠色聯盟標準評測組組長、《軟體學報》審稿人、QECon大會發起人。 近30年來，一直從事軟體測試、品質管制等工作，先後獲得安徽省、原機械工業部、青島市等多項科技進步獎，出版《全程軟體測試》《軟體測試方法和技術》《軟體品質保證和管理》《軟體專案管理》等10餘部著作。 近5年來，致力於幫助國內近百家企業提升其軟體研發能力水準，並經常在國內外學術會議或技術大會上發表演講，擁有個人公眾號“軟體品質報導”，曾任思科（中國）軟體有限公司QA（品質保證）高級總監，及IEEE IC

ST論壇主席、IEEE QRS和DSA、NASAC程式委員等。 李潔 中科創達軟體股份有限公司測試總監，曾任IBM研發經理，索尼瑞典分公司高級測試經理，諾基亞及Polycom QA總監。擁有20餘年軟體測試技術經驗及管理經驗。在測試專業雜誌發表過多篇文章。 第 1 章　 鋪墊：敏捷開發價值觀、原則與實踐／ 1 導讀／ 1 1．1　敏捷開發模式的由來／ 2 1．1．1　新產品開發方式Scrum ／ 3 1．1．2　羽量級軟體發展方法／ 5 1．1．3　敏捷宣言的誕生／ 6 1．2　敏捷價值觀／ 7 1．3　敏捷開發原則／ 8 1．4　常見的敏捷開發框架／ 9 1．4．1　極

限程式設計／ 9 1．4．2　行為驅動開發／ 13 1．4．3　特性驅動開發／ 15 1．4．4　Scrum 開發框架／ 17 1．5　敏捷與看板、精益的關係／ 20 1．5．1　看板／ 21 1．5．2　精益軟體發展實踐／ 23 1．6　敏捷與DevOps 的關係／ 26 本章小結／ 29 延伸閱讀／ 29 第 2 章　基礎：敏捷測試之道／ 31 導讀／ 31 2．1　什麼是敏捷測試／ 32 2．1．1　從一個真實的案例說起／ 32 2．1．2　敏捷測試的含義／ 35 2．1．3　敏捷測試的其他定義／ 36 2．2　傳統測試與敏捷測試／ 38 2．2．1　 鳳凰項目：一個IT 運維的傳奇故

事／ 38 2．2．2　3 步工作法／ 39 2．2．3　鳳凰項目改造前後對比／ 40 2．2．4　傳統測試和敏捷測試的區別／ 41 2．3　敏捷測試的思維方式／ 41 2．3．1　固定性思維與敏捷思維／ 42 2．3．2　成長性思維／ 42 2．3．3　以實例來辨析不同思維的測試工程師／ 43 2．3．4　團隊對品質負責的思維／ 44 2．3．5　上下文驅動的思維與用戶思維／ 45 2．4　敏捷測試流程解析／ 45 2．4．1　Scrum 模式下的測試流程／ 45 2．4．2　敏捷測試的通用流程／ 47 2．4．3　敏捷測試流程閉環與持續測試／ 48 2．4．4　 從敏捷專案管理角度來看測試

流程／ 49 2．5　新的敏捷測試四象限／ 50 2．5．1　敏捷測試四象限之歷史／ 50 2．5．2　新的敏捷測試四象限簡介／ 52 本章小結／ 53 延伸閱讀／ 54 第 3 章　人是決定性因素／ 55 導讀／ 55 3．1　敏捷團隊究竟要不要專職的測試人員／ 56 3．1．1　問題的提出及各方的理由／ 56 3．1．2　根據上下文來確定是否需要／ 58 3．1．3　存在即合理／ 59 3．2　配備專職敏捷測試人員時的操作／ 60 3．2．1　Etsy 公司的優秀實踐／ 60 3．2．2　敏捷測試人員的責任和具體任務／ 61 3．2．3　測試人員和開發人員的分工／ 63 3．2．4　測試

敏捷化對團隊意味著什麼／ 64 3．3　沒有專職的測試人員時的操作／ 64 3．3．1　是否借助灰度發佈和一鍵回滾／ 65 3．3．2　消除系統測試不足帶來的影響／ 66 3．3．3　加強敏捷接受度測試和ATDD 的實踐／ 67 3．3．4　應對其他挑戰／ 67 3．4　借助測試負責人角色完成團隊轉型／ 68 3．4．1　冰凍三尺並非一日之寒／ 69 3．4．2　多數團隊不是Google ／ 70 3．4．3　測試負責人角色的責任和具體實踐／ 71 3．4．4　測試主負責人角色／ 72 3．5　 如何創建有強烈品質意識的學習型團隊／ 73 3．5．1　達成品質共識／ 73 3．5．2　營造良好

的品質文化氛圍／ 73 3．5．3　創建學習型團隊／ 74 3．5．4　業務學習與缺陷根因分析／ 76 3．6　如何更好地為測試而學／ 76 3．6．1　系統性思維訓練／ 77 3．6．2　創造性思維訓練／ 79 3．6．3　如何提升測試自動化能力／ 80 3．6．4　如何學習測試建模／ 80 3．6．5　借力提升自己／ 81 3．7　如何與產品、開發等角色協作／ 82 3．7．1　團隊協作的五大障礙／ 82 3．7．2　團隊協作高於一切／ 84 3．7．3　達成對品質及其管理的共識／ 85 3．7．4　溝通的技巧／ 86 本章小結／ 87 延伸閱讀／ 87 第 4 章　構建強大的敏捷測試基

礎設施／ 89 導讀／ 89 4．1　持續集成與持續交付意味著什麼／ 90 4．1．1　敏捷的目標／ 91 4．1．2　持續集成中的測試活動／ 91 4．1．3　持續交付中的測試活動／ 93 4．1．4　持續集成+ 持續測試是關鍵／ 94 4．1．5　持續部署／ 95 4．1．6　持續運維／ 95 4．2　測試如何融入持續集成/ 持續交付環境／ 95 4．2．1　支撐持續集成的測試環境／ 96 4．2．2　支撐持續交付的測試環境／ 96 4．2．3　CI/CD 流水線中的測試過程／ 97 4．3　基於DevOps 的測試基礎設施構成／ 99 4．3．1　DevOps 的測試／ 100 4．3．

2　DevOps 測試基礎設施／ 101 4．3．3　基礎設施即代碼／ 103 4．3．4　對基礎設施進行驗證——Testinfra ／ 104 4．4　虛擬機器技術與容器技術的應用／ 105 4．4．1　虛擬化技術——虛擬機器技術和容器技術／ 106 4．4．2　Sidecar 模式——容器的設計模式／ 107 4．4．3　虛擬化技術之NUMA 和DPDK ／ 108 4．4．4　服務虛擬化的利器——Hoverfly ／ 109 4．4．5　Molecule——虛擬化技術的自動化測試工具／ 111 4．4．6　Kubernetes 與測試環境／ 112 4．5　如何完成自動部署／ 113 4

．5．1　配置即代碼——CI 配置管理工具：Ansible、Chef ／ 114 4．5．2　微服務的容器化部署／ 116 4．5．3　微服務在CI 環境中的自動化部署／ 117 4．5．4　 Docker 容器的集群管理之Kubernetes ／ 119 4．5．5　 基礎架構即代碼的工具——Terraform、CloudFormation ／ 122 4．5．6　 管道即代碼的工具——Concourse、Drone ／ 123 4．5．7　 新一代的部署體驗——Serverless 軟體系統架構／ 125 4．5．8　產品發佈之導流模式／ 125 4．6　如何完成全自動的BVT ／ 126

4．6．1　BVT 要驗證哪些點／ 126 4．6．2　不穩定的情況——Flaky ／ 128 4．7　自動的靜態測試和測試報告生成／ 130 4．7．1　代碼分析（靜態測試）／ 130 4．7．2　優秀的靜態測試工具／ 131 4．7．3　靜態測試報告的自動生成／ 131 4．7．4　自動化測試報告的自動生成／ 135 4．8　測試分層策略與金字塔模型／ 139 4．9　搭建敏捷自動化測試框架及其案例分析／ 140 4．9．1　自動化測試框架的構成／ 140 4．9．2　自動化測試框架的分類／ 142 4．9．3　單元測試框架JUnit 5 ／ 143 4．9．4　API 層的TA 測試框

架Karate ／ 144 4．9．5　接受度測試框架Ginkgo ／ 146 本章小結／ 148 延伸閱讀／ 149 第 5 章　測試左移更體現敏捷測試的價值／ 150 導讀／ 150 5．1　沒有ATDD，就沒有用戶故事的可測試性／ 151 5．1．1　可測試性的概念／ 151 5．1．2　需求、設計和代碼等不同層次的可測試性／ 152 5．1．3　用戶故事的可測試性和ATDD ／ 153 5．1．4　ATDD 與TDD（ UTDD）的關係／ 154 5．1．5　如何具體實施ATDD ／ 156 5．2　 產品價值分析：商業畫布、影響地圖與用戶故事地圖／ 156 5．2．1　產品價值是基

礎／ 157 5．2．2　商業畫布／ 158 5．2．3　影響地圖／ 160 5．2．4　用戶故事地圖／ 161 5．3　從Epic 到用戶故事完成需求評審／ 162 5．3．1　通用的評審標準／ 163 5．3．2　Epic 的評審／ 164 5．3．3　用戶故事的評審／ 166 5．4　不可忽視的設計評審／ 169 5．4．1　設計評審的價值和重要性／ 170 5．4．2　如何完成架構評審／ 170 5．4．3　有層次的（元件）評審／ 172 5．4．4　介面定義的評審／ 173 5．4．5　設計的可測試性／ 173 5．5　BDD 及其自動化實踐／ 174 5．5．1　什麼是BDD ／

174 5．5．2　BDD 和測試的關係／ 175 5．5．3　現有的BDD 自動化測試框架／ 177 5．5．4　BDD 實例／ 179 5．5．5　BDD 實踐中的常見問題／ 183 5．6　再進一步，讓產生實體需求落地／ 183 5．6．1　什麼是產生實體需求／ 183 5．6．2　產生實體需求的過程／ 185 5．6．3　RBE 的自動化實現／ 190 5．7　單元測試是否必須TDD ／ 191 5．7．1　為何TDD 是必需的／ 191 5．7．2　如何做好TDD ／ 192 5．7．3　UTDD 測試原則／ 193 5．7．4　UTDD 的具體實踐／ 194 本章小結／ 195 延

伸閱讀／ 196 第 6 章　敏捷測試的分析與計畫／ 197 導讀／ 197 6．1　基於上下文驅動思維的測試分析／ 198 6．1．1　上下文驅動測試流派／ 198 6．1．2　品質標準／ 201 6．1．3　專案背景／ 202 6．1．4　產品元素／ 204 6．2　如何培養自己的業務與用戶體驗分析技能／ 205 6．2．1　用戶思維／ 205 6．2．2　場景是測試需求的靈魂／ 206 6．2．3　業務分析／ 207 6．2．4　用戶體驗要素／ 208 6．3　敏捷測試的主要風險在哪裡／ 209 6．3．1　需求不清晰／ 210 6．3．2　需求頻繁變更／ 211 6．3．3　時間太緊

張／ 211 6．3．4　自動化測試的有效性／ 212 6．3．5　測試風險專案檢查表／ 212 6．3．6　風險控制／ 213 6．4　啟發式測試策略與測試策略的制定／ 215 6．4．1　什麼是測試策略／ 215 6．4．2　啟發式測試策略模型／ 216 6．4．3　快速、高效地制定測試策略／ 218 6．5　代碼依賴性分析與精准測試／ 220 6．5．1　精准測試／ 221 6．5．2　如何建立測試用例和代碼的映射關係／ 222 6．5．3　代碼依賴性分析／ 223 6．5．4　代碼的變更分析／ 225 6．5．5　測試用例集如何優化／ 225 6．5．6　優秀實踐／ 226 6．6　敏

捷測試要不要計畫／ 227 6．6．1　測試計畫的價值／ 227 6．6．2　一頁紙的測試計畫／ 228 6．6．3　如何編寫一頁紙的測試計畫／ 229 6．7　探索式測試與基於腳本的測試／ 232 6．7．1　什麼是探索式測試／ 232 6．7．2　探索式測試的應用場景／ 233 6．7．3　基於腳本的測試／ 234 6．7．4　 探索式測試與基於腳本的測試的比較／ 235 6．7．5　敏捷擁抱探索式測試／ 236 6．8　SBTM 的由來及使用／ 237 6．8．1　SBTM 的由來／ 237 6．8．2　真正理解會話／ 237 6．8．3　測試計畫分解成多個子目標／ 239 6．8．4　

測試子目標進一步分解為會話／ 240 6．9　一個應用SBTM 的真實案例／ 241 6．9．1　案例背景／ 241 6．9．2　挑戰在哪裡／ 242 6．9．3　測試子目標分解的結果／ 242 6．9．4　幾個典型的會話／ 243 6．9．5　會話表／ 246 6．9．6　口頭彙報／ 247 6．10　敏捷測試分析與計畫的案例／ 248 6．10．1　資訊收集／ 249 6．10．2　測試目標／ 249 6．10．3　通過測試分析得到測試範圍／ 250 6．10．4　根據測試分析進行風險分析和控制／ 251 6．10．5　基於風險的測試策略／ 252 6．10．6　測試計畫／ 253 本章小

結／ 254 延伸閱讀／ 255 第 7 章　敏捷測試的設計與執行／ 256 導讀／ 256 7．1　正確理解DoD 與敏捷中的接受度測試／ 257 7．1．1　什麼是DoD ／ 257 7．1．2　如何創建DoD ／ 258 7．1．3　DoD 和敏捷接受度測試的關係／ 260 7．1．4　如何驗證DoD ／ 261 7．2　如何將用戶故事轉化為測試用例／ 261 7．2．1　轉換為場景／ 262 7．2．2　場景離測試用例還差一步／ 263 7．2．3　使用者故事轉化為測試用例的模型／ 263 7．3　基於場景/ 事件流的測試用例設計／ 265 7．3．1　事件流圖／ 265 7．3．2

　在敏捷測試中的應用／ 266 7．3．3　狀態圖與有限狀態機／ 268 7．4　探索式測試過程與生態／ 270 7．4．1　調查、分析、排序和實驗／ 270 7．4．2　以分析為中心／ 270 7．4．3　自我管理環、學習環／ 271 7．4．4　協作環與測試環／ 272 7．5　探索式測試中的角色扮演與場景挖掘／ 272 7．5．1　批判性思維與探索式測試設計執行／ 272 7．5．2　角色扮演／ 273 7．5．3　場景挖掘／ 274 7．6　探索式測試的具體技巧／ 276 7．6．1　業務路徑測試／ 277 7．6．2　遍歷測試／ 279 7．6．3　極限情況的測試／ 279 7．6．

4　異常情況的測試／ 280 7．7　測試自動化設計模式：一步到位／ 280 7．7．1　基於模型的自動化測試／ 281 7．7．2　狀態圖生成測試用例／ 281 7．7．3　測試資料的自動生成／ 284 7．8　UI 腳本開發與維護的常用技巧／ 287 7．8．1　指令碼語言和測試框架的選擇／ 287 7．8．2　UI 元素定位／ 288 7．8．3　測試代碼的模組化和參數化／ 291 7．8．4　Selenium 集成自動化測試框架／ 293 7．8．5　Page Object 設計模式／ 295 7．8．6　隱式等待／ 296 7．9　 質效合一：自動化測試和手工測試的完美融合／ 296

7．9．1　一個關於測試策略的案例／ 296 7．9．2　新功能手工測試，回歸測試自動化／ 297 7．9．3　探索未知的，自動化已知的／ 299 7．9．4　自動化回歸測試怎麼做／ 300 7．10　優先實現面向介面的測試／ 300 7．10．1　介面（API）測試越來越重要／ 301 7．10．2　介面測試示例／ 301 7．10．3　如何獲取介面資訊／ 304 7．10．4　契約測試和微服務的介面測試／ 306 7．10．5　API 持續測試平臺：API Fortress ／ 308 本章小結／ 308 延伸閱讀／ 309 第 8 章　測試右移：從敏捷到DevOps ／ 310 導讀

／ 310 8．1　線上性能測試／ 311 8．1．1　全鏈路壓測／ 311 8．1．2　線上性能監控／ 313 8．1．3　流量重播技術／ 314 8．2　A/B 測試／ 316 8．2．1　什麼是A/B 測試／ 316 8．2．2　A/B 測試的設計／ 317 8．2．3　A/B 測試平臺與測試執行／ 319 8．2．4　關於用戶體驗的度量／ 320 8．3　監控告警系統／ 321 8．3．1　日誌分析及Elastic Stack 的使用／ 323 8．3．2　調用鏈分析及SkyWalking 的使用／ 324 8．3．3　指標監控及Prometheus 的使用／ 327 8．3．4　監控

系統解決方案／ 329 8．4　安全性監控／ 330 8．5　混沌工程／ 331 8．5．1　混沌工程的由來／ 332 8．5．2　基於故障注入的測試／ 333 8．5．3　混沌工程平臺與工具／ 334 8．5．4　混沌工程的具體實施／ 336 8．5．5　為系統彈性做好設計／ 337 8．6　智能運維與測試／ 340 8．6．1　從自動化運維到智慧運維／ 340 8．6．2　智能運維的典型場景／ 341 本章小結／ 342 延伸閱讀／ 343 第 9 章　敏捷測試的收尾與改進／ 344 導讀／ 344 9．1　如何分析測試結果和評估測試工作的品質／ 345 9．1．1　如何評估敏捷測試過程

／ 345 9．1．2　敏捷測試過程的度量體系／ 346 9．1．3　測試工作品質的分析／ 348 9．1．4　代碼覆蓋率／ 348 9．1．5　功能覆蓋率／ 349 9．1．6　業務覆蓋率／ 349 9．1．7　基於缺陷分析測試品質／ 350 9．2　如何獲得良好的可追溯性、視覺化／ 350 9．2．1　測試管理系統／ 351 9．2．2　需求與測試用例的映射關係，以及測試用例與缺陷的映射關係／ 352 9．2．3　示例：Jira + Zephyr 實現可追溯性／ 353 9．2．4　測試與品質度量的視覺化／ 355 9．2．5　品質雷達圖／ 357 9．3　敏捷測試優秀實踐／ 357 9．

3．1　微軟的優秀實踐／ 358 9．3．2　谷歌的優秀實踐／ 359 9．3．3　亞馬遜的優秀實踐／ 360 9．3．4　ThoughtWorks 的優秀實踐／ 361 9．3．5　騰訊的優秀實踐／ 364 9．3．6　阿裡巴巴的優秀實踐／ 365 9．4　敏捷過程的反思與持續改進／ 366 9．4．1　敏捷過程的反思／ 367 9．4．2　敏捷測試過程的改進分析／ 368 9．4．3　資料驅動改進／ 369 9．4．4　PDCA 迴圈／ 369 9．4．5　根因分析／ 371 本章小結／ 372 延伸閱讀／ 372 第 10 章　敏捷測試的展望／ 374 導讀／ 374 10．1　大資料

的測試／ 375 10．1．1　大數據的特性與挑戰／ 376 10．1．2　大資料的測試方法／ 378 10．1．3　大資料的測試實踐／ 380 10．1．4　大資料的測試工具／ 381 10．2　人工智慧系統的測試／ 382 10．2．1　人工智慧系統的不確定性和不可解釋性／ 383 10．2．2　人工智慧系統的白盒測試／ 384 10．2．3　人工智慧系統的演算法驗證／ 386 10．2．4　示例：針對智慧語音的設計與執行／ 388 10．3　人工智慧助力敏捷測試／ 392 10．3．1　基於圖像識別技術的UI測試／ 392 10．3．2　基於人工智慧的、全自動化的API 測試／ 397

10．3．3　人工智慧助力代碼深度分析／ 399 10．3．4　人工智慧驅動測試／ 401 10．3．5　人工智慧測試工具／ 403 10．4　敏捷測試工具的未來／ 406 10．4．1　敏捷測試工具的發展趨勢／ 406 10．4．2　MBT 的前景如何／ 408 10．4．3　無代碼化的測試自動化／ 409 10．5　徹底實現持續測試／ 413 10．5．1　重新理解持續測試／ 414 10．5．2　持續測試的實現框架／ 415 10．5．3　持續測試成熟度模型／ 424 10．5．4　徹底的持續測試／ 425 本章小結／ 426 延伸閱讀／ 427 附錄A　基於Kubernetes 和D

ocker搭建Jenkins 可伸縮持續集成系統／ 428 導讀／ 428 A．1　工作流程圖／ 429 A．2　系統組態／ 429 A．3　安裝Kubernetes 集群／ 430 A．3．1　安裝前的準備／ 430 A．3．2　安裝配置／ 430 A．4　Harbor 的安裝部署／ 434 A．4．1　下載Harbor 離線安裝包／ 434 A．4．2　安裝Docker ／ 435 A．4．3　安裝Docker Compose ／ 435 A．4．4　Harbor 的安裝與配置／ 435 A．4．5　用戶端訪問Harbor 倉庫／ 436 A．5　 採用Jenkins Pipeline 實

現自動構建並部署至k8s ／ 438 A．5．1　部署Jenkins ／ 438 A．5．2　新建Spring Boot Java工程／440 A．5．3　配置Jenkins Pipeline任務／ 444 A．5．4　測試Pipeline 任務／ 446 A．5．5　遇到的問題及解決方法／ 449 附錄B　敏捷實踐發展史／ 451 附錄C　後敏捷時代暨DevOps發展史／ 461 附錄D　中國敏捷測試大事記／ 463 參考文獻／ 465

Python3爬蟲實戰：數據清洗、數據分析與可視化

為了解決管道pipeline線上看的問題，作者姚良 這樣論述：

作為一個自學爬蟲的過來人，曾經走過很多彎路，在自學的道路上也迷茫過。每次面對一個全新的網站，都像是踏進一個未知的世界。你不知道前面有哪些反爬手段在等著你；你不知道你會踩進哪個坑裡。我做爬蟲的幾年時間裡，爬過很多的網站、遇到過很多的難題。這本書就是我這幾年經驗的總結，從開始的工具的學習使用，到實戰專案的爬取，難度一步一步的升級，需求也越來越複雜，有各式各樣的爬取方式。 本書主要內容與資料爬取相關，包括編寫爬蟲所需要的基礎程式設計知識，如Requests包、Scrapy框架和資料庫的使用，到專案實戰教程，適合Python基礎入門的讀者。如果你是其他行業的從業者，想進入IT行業成為一位元爬蟲工程師

，又或者你已經是IT行業的從業者，本書在能夠讓你在對爬蟲工程師的工作內容有所瞭解的同時，也能讓你掌握作為一個爬蟲工程師所需要具備的基礎技能。 姚良，2016-2019 深圳絲路天地電子商務有限公司 爬蟲工程師。熟練使用Python語法，物件導向程式設計，JS破解、分散式爬蟲、Scrapy框架、Requests庫、Redis、Mongodb、高併發、非同步程式設計。 第一篇 基礎知識 第1章　Python環境搭建 1.1 Python的安裝 2 1.1.1 Windows下Python的安裝 2 1.1.2 Mac OS X下Python的安裝 3 1.1.3

Linux下Python的安裝 3 1.1.4 安裝pip工具 4 1.2 虛擬環境Virtualenv 5 1.2.1 Virtualenv的安裝 5 1.2.2 創建虛擬環境 5 1.2.3 啟動虛擬環境 5 1.2.4 創建指定Python版本的虛擬環境 5 1.3 選擇合適的編輯器 6 1.3.1 Vim 6 1.3.2 Atom 6 1.3.3 Sublime Text 6 1.3.4 Notepad++ 6 1.3.5 Pycharm 6 第2章　常用爬蟲庫Requests 2.1 安裝Requests 7 2.1.1 用pip安裝 7 2.1.2 用github源碼安裝 7 2

.1.3 用curl安裝 7 2.2 瞭解 Requests的功能 8 2.2.1 使用GET和POST發送請求 8 2.2.2 通過URL傳遞參數 9 2.2.3 設置超時 9 2.2.4 查看返回內容 9 2.2.5 設置請求頭 10 2.2.6 更多複雜的Post請求 10 2.2.7 返回物件狀態碼 12 2.2.8 設置代理IP 13 2.3 BeautifulSoup的安裝和使用 14 2.3.1 使用pip安裝BeautifulSoup 14 2.3.2 使用BeautifulSoup定位元素 14 2.4 初識自動化測試工具Selenium 15 2.4.1 Selenium安

裝 15 2.4.2 使用Selnium爬取網站 15 2.5 Selenium定位元素 16 2.5.1 通過屬性定位 17 2.5.2 通過xpath定位 17 2.6 Selenium反爬設置 18 2.6.1 設置請求頭 18 2.6.2 設置代理IP 19 第3章　常用爬蟲框架Scrapy 3.1 認識Scrapy 21 3.1.1 Scrapy爬取quotes簡單示例 21 3.1.2 安裝所需依賴包 23 3.1.3 使用虛擬環境 23 3.2 Scrapy shell的使用 24 3.2.1 運行shell 24 3.2.2 使用Scrapy shell爬取Scrapy.org

24 3.2.3 爬蟲調用shell 26 3.3 使用Scrapy爬取quotes 26 3.3.1 創建Scrapy項目並新建爬蟲 27 3.3.2 爬取和提取資料 27 3.3.3 通過腳本運行Scrapy爬蟲 29 3.3.4 在同一進程下運行多個爬蟲 29 3.3.5 簡易的分散式爬蟲思路 30 3.3.6 防止爬蟲被ban 31 3.4 setting基本配置 31 3.5 Pipeline模組 32 3.5.1 爬取文字板塊 32 3.5.2 編寫Pipeline模組 35 3.5.3 通過Pipeline將資料寫入MongoDB資料庫 36 3.5.4 ImagesPipel

ine處理圖片 37 3.5.5 FilePipeline下載檔案 40 3.6 Middleware中介軟體 41 3.6.1 Downloader Middleware 41 3.6.2 隨機請求頭中介軟體 42 3.6.3 更換代理IP中介軟體 45 3.6.4 通過Downloader Middleware使用Selenium 46 3.6.5 Spider Middleware 47 3.7 新功能拓展 48 3.7.1 信號signals 48 3.7.2 自訂拓展 51 第4章　資料存儲——資料庫的選擇 4.1 MySQL資料庫 53 4.1.1 MySQL的安裝 53 4.1.

2 幾款視覺化工具 54 4.1.3 資料庫連接 55 4.1.4 資料庫插入操作 55 4.1.5 資料庫查詢 56 4.1.6 資料庫更新操作 56 4.1.7 爬取寫入資料庫 57 4.2 MongoDB資料庫 58 4.2.1 MongoDB安裝 58 4.2.2 連接資料庫 59 4.2.3 查詢資料庫 59 4.2.4 插入和更新資料庫 59 4.2.5 爬取資料並插入到MongoDB資料庫中 60 4.3 Redis資料庫 60 4.3.1 Redis安裝 60 4.3.2 連接Redis資料庫 61 4.3.3 Python操作Redis資料庫 61 4.3.4 爬取並寫入Re

dis做緩存 62 第5章　效率為王——分散式爬蟲 5.1 什麼是分散式爬蟲 64 5.1.1 分散式爬蟲的效率 64 5.1.2 實現分散式的方法 64 5.2 Celery 65 5.2.1 Celery入門 65 5.2.2 Celery分散式爬蟲 66 5.3 使用Scrapy-redis的分散式爬蟲 67 5.3.1 Scrapy-redis安裝與入門 67 5.3.2 創建Scrapy-redis爬蟲項目 68 第6章　抓包的使用與分析 6.1 利用抓包分析目標網站 72 6.1.1 如何抓包 72 6.1.2 網頁抓包分析 72 6.2 手機APP抓包 74 6.2.1 使用fi

ddler抓包 75 6.2.2 HTTPS證書安裝 75 6.2.3 booking手機端抓包 76 第7章　Websocket通信網站爬取 7.1 什麼是Websocket 79 7.1.1 Websocket-clinet 79 7.1.2 Websocket-clinet簡單入門 79 7.2 使用Websocket爬取財經網站 81 第8章　驗證碼破解 8.1 關於驗證碼 84 8.1.1 一般的驗證碼 84 8.1.2 極驗驗證 84 8.2 極驗滑動驗證破解 85 8.2.1 準備工具 85 8.2.2 分析滑動驗證碼 85 8.2.3 開始破解極限滑動驗證碼 87 8.3 圖片

驗證碼破解 89 8.3.1 準備工具 89 8.3.2 文字圖像識別 89 8.3.3 識別驗證碼 90 第9章　多執行緒與多進程併發爬取 9.1 多執行緒 92 9.1.1 堵塞與非堵塞 92 9.1.2 繼承threading.Thread創建類 96 9.1.3 多執行緒的鎖 98 9.1.4 queue佇列 100 9.1.5 執行緒池 101 9.2 多執行緒爬蟲 103 9.2.1 爬蟲框架 103 9.2.2 編寫爬蟲 104 9.2.3 以多執行緒方式啟動 105 9.3 多進程 107 9.3.1 multiprocessing模組 107 9.3.2 通過Pool進程池創

建進程 108 9.3.3 multiprocessing.Queue佇列 109 9.3.4 multiprocessing.Pipe管道 112 9.3.5 multiprocessing.Lock鎖 113 9.4 多進程爬蟲 114 9.4.1 多進程爬取音訊 114 9.4.2 多進程加多執行緒進行爬取 116 第10章　爬蟲介面優化 10.1 Gunicorn的安裝與使用 119 10.2 Gunicorn配置 121 10.2.1 配置參數 121 10.2.2 通過config檔啟動 123 第11章　使用Docker部署爬蟲 11.1 Docker 125 11.1.1 Do

cker的安裝 125 11.1.2 Docker的鏡像 125 11.1.3 構建自己的Docker鏡像 127 11.1.4 容器使用 127 11.1.5 Dockerfile 129 11.2 爬蟲部署 130 11.2.1 爬蟲介面 130 11.2.2 部署爬蟲介面 131 第二篇 實戰案例 第12章　實戰1：建立代理IP池 12.1 爬取免費代理IP 136 12.1.1 爬取代理IP 136 12.1.2 檢驗代理IP 138 12.2 建立代理IP池 138 12.2.1 檢驗代理IP 138 12.2.2 Redis訊息佇列 140 12.2.3 master爬蟲 142

第13章　實戰2：磁力連結搜索器 13.1 爬取磁力搜索平臺 145 13.1.1 磁力平臺 145 13.1.2 slave爬蟲 146 13.2 實現磁力搜索器 148 13.2.1 展示與交互 148 13.2.2 資料查詢 150 第14章　實戰3：爬蟲管家 14.1 QQ機器人 152 14.1.1 qqbot 152 14.1.2 基本操作 152 14.1.3 實現自己的機器人 153 14.2 爬蟲監控機器人 153 第15章　實戰4：數據視覺化 15.1 視覺化包Pyecharts 156 15.1.1 Pyecharts的安裝 156 15.1.2 地圖展示資料 157

15.2 爬取最低價機票數據 158 15.2.1 破解旅遊網站價格日曆介面 159 15.2.2 爬取旅遊網站 160 15.2.3 將數據視覺化 161 第16章　實戰5：爬取貼吧中的郵箱 16.1 爬取網站 164 16.1.1 爬取高校名單 164 16.1.2 利用規則運算式匹配號碼 165 16.2 分析貼吧搜尋網頁面並提取號碼 165 16.3 使用Scrapy開始編碼 167 16.3.1 創建貼吧Scrapy項目 167 16.3.2 新建爬蟲並編寫爬蟲邏輯 168 16.3.3 資料處理 170 第17章　實戰6：批量爬取企業資訊 17.1 從協力廠商平臺獲取企業名 172

17.2 如何爬取企業詳細資訊 174 第18章　實戰7：爬取公眾號歷史文章 18.1 分析公眾號介面 177 18.1.1 開始抓包 177 18.1.2 分析介面 179 18.1.3 嘗試請求資料 179 18.2 爬取公眾號 180 18.2.1 爬取思路 180 18.2.2 請求介面獲取文章URL 180 18.2.3 解析文章網頁源碼 181 18.2.4 合併代碼 183 第19章　實戰8：高效爬取——非同步爬蟲 19.1 非同步程式設計 186 19.1.1 asyncio庫 186 19.1.2 aiohttp庫 187 19.1.3 訪問多個URL 188 19.2 爬

取圖片 189 19.2.1 為函數命名 189 19.2.2 對網頁進行解析 190 19.2.3 非同步爬取圖片 190 第20章　實戰9：爬取漫畫網站 20.1 爬取單部漫畫 193 20.1.1 單集漫畫的爬取 193 20.1.2 全集漫畫的爬取 195 20.2 爬取漫畫全站 196 第21章　實戰10：給kindle推送爬取的小說 21.1 用Python發送郵件 199 21.1.1 純文字郵件的發送 199 21.1.2 帶附件郵件的發送 200 21.2 爬取小說 201 21.2.1 製作word文檔 201 21.2.2 爬取baka-tsuki.org 202 第22

章　實戰11：爬取遊民星空壁紙 22.1 星空壁紙的爬取準備 205 22.2 爬取壁紙 206 22.2.1 獲取圖片和下一頁位址 206 22.2.2 爬取列表頁 208 22.2.3 爬取高清圖片資源 209 第23章　綜合實戰：建立一個小網站 23.1 Flask框架 210 23.1.1 寫一個簡單的hello word網頁 210 23.1.2 添加html範本 210 23.2 Bootstrap框架 212 23.2.1 使用Bootstrap框架 213 23.2.2 Bootstrap線上範本 213 23.2.3 添加壁紙板塊 215 第24章　綜合實戰：爬取電影網站 2

4.1 理清爬蟲的思路 218 24.2 分步編碼實現爬取 219 24.2.1 爬取詳情頁 219 24.2.2 爬取列表頁 220 24.2.3 爬取首頁 221 24.2.4 寫入資料庫 222 第25章　綜合實戰：建立電影小站 25.1 搭建項目 224 25.1.1 sqlite資料庫 224 25.1.2 創建項目 225 25.1.3 通過藍圖建立電影板塊 226 25.2 建立範本 229 25.2.1 flask-bootstrap 229 25.2.2 電影頁面 231 25.2.3 電影分類 233 25.2.4 電影詳情頁 237 25.2.5 電影搜尋網頁 239 第

26章　綜合實戰：磁力搜索 26.1 磁力搜索 241 26.1.1 如何高效爬取 241 26.1.2 建立Celery任務 244 26.2 Web部分 248 26.2.1 建立模型 248 26.2.2 視圖函數 248 26.2.3 關於產品 251

公私立幼兒園使用即時通訊軟體於親師溝通之調查研究–以台中市為例

為了解決管道pipeline線上看的問題，作者劉詩吟 這樣論述：

本研究目的在探討台中市幼兒園使用 Line 及 Facebook 兩款即時通訊軟體進行親師溝通之認同度，並探討不同背景變項之教保服務人員將即時通訊軟體應用於親師溝通之成效，及使用後所面臨的困境與因應策略。研究工具為自編「臺中市公私立幼兒園教保服務人員使用即時通訊軟體於親師溝通之調查問卷」，透過分層隨機抽樣分析，進行問卷調查法，以台中市公私立幼兒園之教保服務人員為研究對象，共發出575份問卷，回收有效問卷共計391份，可用率68%。並將所得資料進行描述性統計、獨立樣本 t 檢定、單因子變異數分析及皮爾森積差相關等統計方法進行分析，歸納研究結論如下：一、 台中市幼兒園教保服務人員將即時通訊軟體

應用於親師溝通使用率近八成五，其中公私立幼兒園使用率亦近八成，由此可知台中市不管在公立或私立幼兒園中，教保服務人員均肯定使用即時通訊軟體於親師溝通，將有助於教師與家長在教學層面、幼兒學習與行為表現等溝通之成效；在功能部分Line即時通訊軟體之文字訊息功能使用率達八成五，Facebook軟體之粉絲專頁功能使用率近九成五。二、 台中市幼兒園教保服務人員進行親師溝通之管道依序為面對面對談、紙本聯絡簿、電話訪談、即時通訊軟體。其中Line軟體使用率近八成；Facebook軟體使用率近五成。三、 台中市幼兒園教保服務人員使用即時通訊軟體於親師溝通之成效量表認同度依序為即時互動與簡易便利，皆介於有些同

意以上的認同程度；而困境與因應策略量表認同度依序為因應策略、互動觀感與困境，其中因應策略介於有些同意到大部分同意的認同程度，互動觀感與困境介於不同意到有些同意的認同程度，意旨台中市教保服務人員認為使用即時通訊軟體進行親師溝通，產生困境與困擾之情形並不算多，反而能夠善用即時通訊軟體促進親師之間的關係與合作效益。四、 台中市幼兒園教保服務人員使用即時通訊軟體於親師溝通之成效量表，其中簡易便利構面中會因「年齡」、「服務年資」及「現任職務」等背景變項的不同達顯著差異；即時互動構面中會因「年齡」、「服務年資」等背景變項的不同，達到顯著差異。最後透過本研究結果，提供台中市公私立幼兒園之教保服務人員、未來

研究者，以及政府幼教機關相關建議以供參考。關鍵字：幼兒園、即時通訊軟體、親師溝通