Cost function là gì

  -  
Ở bài xích trước, họ đã biết đến Hypothesis Function và Cost Function trong Linear Regression. Hypothesis Function chính là quy định để giúp đỡ đầy đủ công tác Machine Learning dự đoán cùng tìm kiếm những trọng số buổi tối ưu trải qua Cost Function sẽ giúp các dự đoán thù này chính xác hơn.Vật nên nghỉ ngơi bài viết lần này, tôi mong mỏi giới thiệu các ví dụ cụ thể để giúp đỡ các bạn hình dung rõ rộng buổi giao lưu của 2 hàm này (nhất là Cost Function) và biện pháp bọn chúng ảnh hưởng với nhau ra sao.Tôi sẽ chuẩn bị sẵn một Dataset gồm các điểm dữ liệu khác biệt, chúng ta có thể tưởng tượng nó biểu hiện đến bất cứ dữ liệu như thế nào ngoài thực tế ( giá cả nhà đất theo số mét vuông, chi phí trong thông tin tài khoản bank của doanh nghiệp theo năm,...) để triển khai cho tư duy của công ty được sinh động rộng nối liền bài viết.

Bạn đang xem: Cost function là gì


*

Có lẽ chúng ta đã nhận ra quan hệ thân những dữ liệu bên trên là tuyến tính vị dường như nlỗi khi $x$ của chúng ta càng tăng thì $y$ cũng tăng theo. Đây là một trong trường thích hợp tuyệt vời nhất để áp dụng Linear Regression.trước hết, ta cần được lập Hypothesis Function cân xứng cùng với Dataset của chúng ta. Do ở chỗ này tài liệu của họ chỉ dự đoán thù dựa trên một tyêu thích số $x$ bắt buộc $h_ heta(x)$ sẽ sở hữu được dạng:Nhưng nó vẫn không hoàn hảo, bọn họ cần kiếm những trọng số ($ heta_0$, $ heta_1$) phù hợp nhằm thuật toán của ta hoàn toàn có thể chỉ dẫn dự đoán thù chuẩn xác. Nhỏng bạn có thể ghi nhớ lại trường đoản cú bài bác trước, trong trường thích hợp này $h_ heta(x)$ đó là pmùi hương trình đường trực tiếp vào không khí hai chiều cơ mà ta đã học tập nghỉ ngơi phổ thông. Trong đó, $ heta_0$ tất cả sứ mệnh di chuyển mặt đường trực tiếp tăng lên giảm xuống theo trục $Oy$, $ heta_1$ là mang lại độ dốc của mặt đường thẳng mà họ ao ước biểu thị. Hai tmê mệt số này phối hợp lại sở hữu đủ tài năng thể hiện mọi đường trực tiếp trong không gian hai chiều.Mục đích chủ yếu của thuật toán Linear Regression là tìm kiếm một mặt đường thẳng sao để cho khoảng cách từ con đường thẳng kia mang lại toàn bộ các điểm tài liệu là nhỏ dại duy nhất. Tôi gọi những trọng số vừa lòng yêu cầu này là các trọng số buổi tối ưu.Cá nhân bọn họ, là bạn lập trình sẵn, tất yêu dò các trọng số này bởi cảm tính. Nếu bạn có nhu cầu có tác dụng vậy thì dĩ nhiên bạn dường như không tại chỗ này. Thêm nữa, điều đó sẽ càng bất khả thi Lúc số chiều không gian tạo thêm, nhỏng 4D chẳng hạn.Và đó là thời điểm Cost Function nhẩy vào hỗ trợ. dựa vào $h_ heta(x)$ mà ta lựa chọn ngơi nghỉ bên trên. Công thức của Cost Function sẽ tiến hành biểu lộ dưới dạng:<eginalign*J( heta) &= frac12msum_i=1^m( h_ heta(x^(i)) - y^(i) )^2 \J( heta_0, heta_1) &= frac12msum_i=1^m( heta_0+ heta_1x^(i)-y^(i))^2\J( heta_0, heta_1) &= frac18sum_i=1^4( heta_0+ heta_1x^(i)-y^(i))^2endalign*>Ký hiệu $m$ dùng để chỉ con số tài liệu họ gồm. Tại biểu đồ gia dụng bên trên ta bao gồm 4 điểm, vậy đề xuất $m=4$. Còn $x^(i), y^(i)$ là dữ liệu máy $i$ vào Datamix của ta, ví dụ như bạn cũng có thể tìm hiểu thêm sinh hoạt bảng bên dưới $x^(1)$ của ta là $3.0$ còn $y^(1)$ là $1.5$. Hai lốt ngoặc đơn được chế tạo tạo điều kiện cho ta không xẩy ra lầm lẫn với phnghiền lũy vượt.
*

Bây giờ đồng hồ câu hỏi bắt buộc có tác dụng là tìm kiếm những trọng số khiến cho $J( heta)$ nhỏ dại độc nhất vô nhị. Các chúng ta nên chú ý rằng những tđắm say số $x$ với $y$ trong Cost Function đầy đủ chỉ với các số lượng ví dụ được lấy ra trường đoản cú dữ liệu của ta. Điều này khiến cho $J( heta)$ chỉ dựa vào cùng các trọng số $ heta_0$ và $ heta_1$.Nhỏng tôi sẽ nói sinh hoạt bài bác trước, hiện thời ta chỉ việc tra cứu địa điểm mà $J( heta)$ đạt cực hiếm nhỏ duy nhất, áp dụng phương pháp tra cứu quý hiếm nhỏ dại nhất trong một hàm số ta đã học tự nhiều. (tôi ý muốn các bạn vẫn còn đấy nhớ)

Đi kiếm tìm trọng số buổi tối ưu


Để tìm kiếm được quý hiếm nhỏ dại duy nhất vào một hàm, ta buộc phải rước quý giá của hàm trên các điểm rất trị, khu vực đạo hàm của nó bởi ko và đối chiếu với giá trị nhì biên.
Nhưng Cost Function của họ chỉ với tổng của nhiều hàm bậc hai dương không giống nhau
. Ở bên dưới là một hình ảnh của hàm số $y=x^2$ là một trong hàm số bậc nhị dương.
*

Không cực nhọc để được rằng $J(x)$ chỉ bao gồm một điểm cực trị và trên rất trị này quý hiếm của hàm số là bé dại độc nhất. Vấn đề này vẫn đúng dù chúng ta có bao nhiêu trọng số $ heta$ đi chăng nữa.Để ngừa các bạn không biết có mang đạo hàm của hàm số những đổi mới, trong thời điểm tạm thời tôi đã mang đến $ heta_0=0$ nhằm mục tiêu tạo nên một pmùi hương trình với 1 trọng số duy nhất. Còn tại vì sao lại là 0 thì có vẻ như chúng ta cũng ước tính được rằng đường trực tiếp đẹp tuyệt vời nhất so với những điểm tài liệu của chúng ta sẽ trải qua cội tọa độ hoặc ở đâu đó ngay gần đấy.

Xem thêm: Chơi Cờ Tướng Cờ Úp - Chơi Cờ Tướng Online


*

Vậy $h_ heta(x)$ cùng $J( heta)$ của mình đã theo thứ tự trsống thành:Nhưng Cost Function của họ vẫn không sống dạng đầy đủ của nó. Ta rất cần phải cầm những dữ liệu mà lại ta thu thập được trong Dataphối để có thể tính tân oán. Đây là bảng dữ liệu tôi để lại nhằm chúng ta có thể dò theo.
*

<eginequation*J( heta_1)=frac18Bigg( Big(3cdot heta_1-1.5Big)^2 + Big(5cdot heta_1-2.25Big)^2 + Big(3.25cdot heta_đơn.625Big)^2 + Big(1.5cdot heta_1-1Big)^2 Bigg)endequation*>Việc trước tiên để kiếm được quý hiếm nhỏ tuổi tuyệt nhất, cũng đó là rất trị duy nhất, của Cost Function là đem đạo của hàm $J( heta_1)$ theo $ heta_1$. Bạn có thể trường đoản cú làm cho vấn đề đó nếu bạn muốn. Còn không, bạn có thể coi tôi thao tác làm việc kia dưới.<eginequation*eginsplitfracd J( heta_1)d heta_1 &=frac28Bigg(3cdotBig(3cdot heta_solo.5Big) +5cdotBig(5cdot heta_1-2.25Big)+ 3.25cdotBig(3.25cdot heta_đối kháng.625Big)+1.5cdotBig(1.5cdot heta_1-0.75Big)Bigg)\&=frac14Bigg(Big(9cdot heta_1-4.5Big)+Big(25cdot heta_1-11.25Big)+Big(10.56cdot heta_1-5.28Big)+Big(2.25cdot heta_1-1.125Big)Bigg)\&=frac14Bigg(46.81cdot heta_1-22.155Bigg)endsplitendequation*>Cho $dfracd J( heta_1)d heta_1 = 0$ cùng ta có:<eginalign*fracd J( heta_1)d heta_1&= 0\frac14cdotBigg(46.81cdot heta_1-22.155Bigg)&= 0\ heta_1&= frac22.15546.81\ heta_1&approx 0.5endalign*>Vậy trọng số về tối ưu có mức giá trị $ heta_1=0.5$. Lúc này, đường trực tiếp họ dành được là:
Khá là hoàn hảo đúng không? Chỉ bằng rất nhiều tính tân oán thường thì bạn đã sở hữu thể tìm thấy trọng số về tối ưu nhưng mà ko bắt buộc ước lượng một phương pháp bằng tay. Thật ra vị chúng ta sẽ làm cho tròn trọng số này phải sẽ bao gồm một vài thông tin bị không đủ, mặc dù cho những lên tiếng chính là hết sức nhỏ dại. Tuy nhiên, nếu tôi nhằm máy vi tính đảm nhận công việc tính toán góp tôi, Việc bọn chúng làm rất tốt, ta hoàn toàn có thể ra được kết quả tốt rộng.
Tôi sẽ áp dụng Pythuôn để tính toán lại hầu hết gì họ đang có tác dụng. Nhỏng chúng ta thấy, đường thẳng màu đỏ được vẽ vì chưng máy tính có vẻ ko được khớp lắm trường hợp ta quan sát bằng đôi mắt thường nhưng mà về bản chất tân oán học, bọn chúng new là những trọng số tối ưu. Tôi hiểu được biệt lập là dong dỏng tuy nhiên trên thực tiễn ta cần làm việc cùng với con số tài liệu lên đến con số hàng trăm ngàn (và tin tôi đi, bọn chúng sẽ không "đẹp" như dữ liệu của họ đâu) khiến cho vấn đề tận dụng ưu thế tính toán của máy tính (nkhô hanh cùng chính xác) đang giỏi rộng các.
Thêm nữa, ví như tôi vẽ ra thiết bị thị của $J( heta)$ biến hóa theo $ heta$ (tôi xin phép Hotline $ heta$ cho nthêm gọn cầm bởi vì $ heta_1$) nó vẫn biểu hiện đúng các gì tôi sẽ dự đoán, rằng chỉ có một cực trị với trên địa chỉ kia, họ đã tìm được trọng số tối ưu.

Xem thêm: Cách Chơi Lux Sp Mua 6 - Bảng Ngọc Lux Mùa 11 Và Cách Lên Đồ Mạnh Nhất

Nhưng máy vi tính đâu phải chỉ là tôi!!


Máy tính rất có thể nhanh sống những tính tân oán truyền thống lâu đời. Thế tuy vậy phần nhiều tính tân oán, nguyên tắc dựa trên tư tưởng nhỏng đạo hàm, chũm số, gửi vế thay đổi dấu vốn được sáng tạo ra là giành riêng cho nhỏ fan thì sao? Chẳng lẽ các lần có tác dụng Linear Regression tôi lại phải ngồi mang đạo hàm sau đó "nhét" chiếc công thức tôi dùng để làm tính $ heta$ vào vật dụng tính? (Vậy thì thật là bất tiện)
Thật sự thì chúng ta không cần thiết phải làm cố gắng. Ở nội dung bài viết sau tôi sẽ đề cùa tới một thuật tân oán bắt đầu góp máy vi tính của chúng ta (các cỗ máy dở hơi nnơi bắt đầu chỉ biết tuân theo các mã lệnh khô cứng) rất có thể trường đoản cú thao tác này nhưng mà ko bắt buộc sự hỗ trợ của chúng ta.